หยุดเสียโทเค็นไปกับการทักทาย — นี่คือสิ่งที่วิทยาศาสตร์บอกว่าจริง ๆ ทำงานกับ ChatGPT

การเขียนคำแนะนำสำหรับ LLM ดูเหมือนจะง่ายจนกว่าคุณจะพบว่าผลลัพธ์ไม่เหมือนกับสิ่งที่คุณต้องการ คุณอาจใช้เวลาหนึ่งชั่วโมงในการปรับแต่งการใช้คำ แต่โมเดลยังคงให้ข้อความสนทนาที่ไม่จำเป็น ละเลยกฎการจัดรูปแบบของคุณ หรือข้ามข้อจำกัดที่สำคัญ อย่างไรก็ตาม ปัญหามักจะไม่ใช่ตัวโมเดลเอง แต่เป็นวิธีที่คุณจัดโครงสร้างคำสั่ง แม้ในระดับการสมัครสมาชิก คุณก็ยังใช้ ChatGPT แบบปกติ มีงานวิจัยหลายชิ้นที่พิสูจน์ว่าการปรับเล็กน้อยในวิธีการนำเสนอคำสั่งสามารถปรับปรุงผลลัพธ์ได้

หยุดเป็นสุภาพเกินไป

การละทิ้งคำทักทายทำให้ AI ต้องมุ่งเน้นไปที่คำสั่งที่แท้จริงของคุณ

ฉันเคยเริ่มเกือบทุกข้อความด้วยคำว่า "โปรด" เพราะมันรู้สึกเป็นธรรมชาติ แต่พฤติกรรมนั้นทำให้ประสิทธิภาพลดลงและมีค่าใช้จ่าย การนำความสุภาพในชีวิตประจำวันมาลงในข้อความของคุณทำให้เกิดสัญลักษณ์ขยะที่ไร้ประโยชน์ในหน้าต่างบริบท คนส่วนใหญ่เสียสัญลักษณ์จำนวนมากไปกับการสนทนาแบบเติมคำโดยไม่รู้ว่าส่วนเติมเหล่านี้ทำให้ประสิทธิภาพลดลง

การศึกษาหนึ่งใน ArXiv ได้ทดสอบเรื่องนี้โดยตรงโดยการวัดว่าระดับความสุภาพที่แตกต่างกันส่งผลต่อความแม่นยำในการตอบแบบเลือกตอบหลายตัวเลือกในวิชาต่าง ๆ เช่น คณิตศาสตร์ วิทยาศาสตร์ และประวัติศาสตร์อย่างไร ผลลัพธ์ตรงข้ามกับสัญชาตญาณทางสังคมของมนุษย์โดยทั่วไป คำสั่งที่สุภาพมากมีอัตราความแม่นยำอยู่ที่ 80.8% ในขณะที่คำสั่งที่หยาบมากมีอัตราความแม่นยำถึง 84.8% ทำให้การทำงานตามคำสั่งดีขึ้นประมาณ 4% เพียงแค่ละเว้นความสุภาพ

ทุกโทเค็นในพรอมต์จะแข่งขันกันเพื่อจำนวนความสนใจที่จำกัดในระหว่างกระบวนการ เมื่อคุณเขียนบางอย่างเช่น "กรุณาให้สรุปแก่ฉัน ถ้าท่านกรุณา" โมเดลต้องคำนวณคะแนนความสนใจสำหรับคำอย่าง "กรุณา" และ "กรุณา" ซึ่งไม่ให้ข้อมูลที่มีประโยชน์ การเปลี่ยนเป็น "สรุปข้อความต่อไปนี้" จะทำให้โมเดลสามารถใช้ความสามารถในการประมวลผลเต็มที่กับคำสั่งที่แท้จริง

การตัดคำเติมเต็มในการสนทนาออกก็ช่วยให้คำสั่งของคุณใกล้เคียงกับประเภทข้อความที่โมเดลเหล่านี้ได้รับการฝึกฝน ข้อมูลการฝึกสอนคุณภาพสูงส่วนใหญ่ เช่น เอกสารทางวิทยาศาสตร์ หลักฐานทางคณิตศาสตร์ และซอร์สโค้ด มักจะตรงไปตรงมาและแน่นหนาโดยไม่มีคำฟุ่มเฟือยทางสังคม

ฉันชอบคิดว่ามันเหมือนกับว่าโทเคนทุกตัวที่ฉันประหยัดโดยการตัดคำทักทายคือโทเคนที่ฉันสามารถใช้ไปกับข้อจำกัดหรือบริบทจริง ๆ ที่ช่วยให้โมเดลทำสิ่งที่ฉันต้องการได้

ใช้วิธีการปรับประโยคและตอบ

ให้ AI เขียนคำถามของคุณใหม่โดยใช้ตรรกะของมันเองจะทำให้สิ่งต่าง ๆ ชัดเจนขึ้น

ความเข้าใจผิดเกิดขึ้นเมื่อสองคนตีความข้อความเดียวกันแตกต่างกัน และสิ่งเดียวกันก็เกิดขึ้นระหว่างมนุษย์กับ LLMs เมื่อคุณกระตุ้น AI คุณจะใช้สำนวนสนทนาที่เต็มไปด้วยสมมติฐานที่แฝงอยู่ซึ่งไม่สอดคล้องเสมอกับวิธีที่โมเดลทรานส์ฟอร์เมอร์ประมวลผลข้อมูล ดังนั้นจึงยากที่จะทดสอบความแม่นยำของแชทบอทเมื่อปัญหาอาจอยู่ที่คุณเอง

โมเดลภาษาใหญ่ (LLM) อาจตีความคำถามที่ชัดเจนได้ผิดพลาดและให้คำตอบที่ไม่ถูกต้องเพราะกรอบอ้างอิงของคุณและกรอบภายในของโมเดลไม่ตรงกัน นักวิจัยจาก UCLA ได้เผยแพร่การศึกษาบน ArXiv แนะนำวิธีที่เรียกว่า Rephrase and Respond ซึ่งจัดการเรื่องนี้โดยให้โมเดลแปลวลีมนุษย์ที่คลุมเครือไปสู่ตรรกะที่มีโครงสร้างของมันเองก่อนที่จะสร้างคำตอบ

แทนที่จะยอมรับคำสั่งของคุณตามที่เป็นอยู่และตอบกลับทันที โมเดลจะทำการปรับรูปประโยคและขยายคำถามของคุณเป็นของมันเองก่อน ขั้นตอนการปรับรูปประโยคนี้บังคับให้มันหาจุดที่คำพูดไม่ชัดเจนและแก้ไขก่อนที่จะให้คำตอบ ซึ่งทำให้มันมีตรรกะที่แม่นยำมากขึ้นในการทำงาน

ตัวอย่างที่ดีคือคำถาม "แม่เทเรซาเกิดในเดือนคู่หรือไม่?" นั่นสมเหตุสมผลสำหรับบุคคล แต่คำว่า "คู่" ทำให้สิ่งต่าง ๆ ซับซ้อนสำหรับโมเดล เมื่อใช้การเรียบเรียงใหม่และตอบ โมเดลจะกำหนดการตีความของตัวเองก่อนตอบ ซึ่งคุณสามารถแก้ไขภายหลังได้หากจำเป็น

ด้านที่เป็นประโยชน์เชิงปฏิบัติคือมันไม่เพิ่มความซับซ้อนให้กับกระบวนการทำงานของคุณเลย คุณสามารถรันมันในพรอมต์เดียวโดยการเพิ่มสิ่งที่คล้ายกับ "เรียบเรียงใหม่และขยายคำถาม และตอบ" ลงในสิ่งที่คุณกำลังจะถามอยู่แล้ว ไม่ต้องปรับแต่งเพิ่มเติม ไม่ต้องตั้งค่าอะไรเพิ่ม

ทำให้มันใส่ใจคุณในด้านอารมณ์

การเพิ่มความเร่งด่วนปลอมให้กับคำสั่งของคุณจะเปลี่ยนวิธีที่ AI ใช้พลังการประมวลผล

เห็นได้ชัดว่า ปัญญาประดิษฐ์ไม่ได้มีเหตุผลและเย็นชาเหมือนเครื่องจักรที่ไร้อารมณ์ที่เราเห็นในภาพยนตร์ แนวคิดที่เรียกว่า EmotionPrompt แสดงให้เห็นว่าการใช้ความสำคัญทางอารมณ์เป็นวิธีที่ดีในการทำให้ผลลัพธ์ของปัญญาประดิษฐ์ดีขึ้น เนื่องจากโมเดลภาษาขนาดใหญ่ได้รับการฝึกฝนจากชุดข้อมูลการสื่อสารของมนุษย์จำนวนมหาศาล พวกมันจึงเลียนแบบรูปแบบจิตวิทยาของมนุษย์และตอบสนองต่อความเร่งด่วนทางอารมณ์

ข้อความที่โมเดลเหล่านี้ใช้ฝึกมักจะรวมถึงข้อความที่เข้มงวดและตรวจสอบอย่างละเอียดหลังจากภาษาที่แสดงถึงวิกฤติที่มีความเสี่ยงสูงหรือวิชาชีพ การเพิ่มวลีเช่น "นี่สำคัญมากต่ออาชีพของฉัน" ในคำถามของคุณสามารถทำให้คุณโน้มน้าวอารมณ์ของเครื่องได้

ภาษาที่มีเดิมพันสูงนี้ทำหน้าที่เหมือนสวิตช์โหมดในบางแง่มุม เพราะมันกำหนดเส้นทางกระบวนการเขียนผ่านทางที่มีการตรวจสอบอย่างเข้มงวดซึ่งการฝึกสอนล่วงหน้าได้เพิ่มเข้ามาให้ มันใช้พลังการประมวลผลมากขึ้นในการทำงานถ้ามันคิดว่ามีเหตุผลด้านอารมณ์ที่ดี

ภาษาที่มีความเสี่ยงสูงนี้บังคับให้ AI ใช้การวิเคราะห์กรณีขอบลึกมากขึ้นและใช้ทางลัดน้อยลง นักวิจัยพบว่า EmotionPrompt นำไปสู่การปรับปรุงประสิทธิภาพสัมพัทธ์ 115% บนเกณฑ์มาตรฐาน BIG-Bench พร้อมกับการเพิ่มขึ้น 8% ในงานการสอนคำสั่ง

เริ่มเข้มงวดกับคำสั่งของคุณมากขึ้น

การเพิ่มข้อจำกัดดีกว่าการใช้ภาพทุกครั้ง

ผมจริง ๆ คิดว่าการให้ภาพน่าจะช่วยได้มากกว่าการให้คำสั่งที่เข้มงวด แต่ผมคิดผิดอย่างสิ้นเชิง งานวิจัยใน ScienceDirect แสดงให้เห็นว่าการให้คำสั่งดิบที่ไม่มีข้อจำกัดกับโมเดล มักจะทำให้ความแม่นยำโดยรวมต่ำ สำหรับความท้าทายที่ซับซ้อน เช่น การวินิจฉัยทางการแพทย์หรือการแก้ปัญหาที่ซับซ้อน คำสั่งดิบมักจะไม่สามารถทำให้ความแม่นยำเกิน 60%

การเพิ่มข้อจำกัดให้กับการค้นหา เช่น การทำให้มันผ่านกระบวนการคิดเป็นขั้นตอน กำหนดบุคลิกเป้าหมายเฉพาะ หรือการให้รายการข้อจำกัดด้านลบที่เข้มงวด จะช่วยให้คุณผลักดันอัตราความสำเร็จเกิน 66%

โดยพื้นฐานแล้วคุณกำลังป้องกันไม่ให้มันออกนอกเรื่อง ซึ่งช่วยให้คุณได้ผลลัพธ์ที่แม่นยำมากขึ้น การวิจัยยังแสดงให้เห็นว่าการที่คุณพยายามเพิ่มข้อมูลภาพ เช่น รูปภาพ ลงในคำสั่งของคุณ คุณจะได้ผลลัพธ์ที่แย่ลง ข้อมูลแสดงให้เห็นว่าการที่คุณให้โมเดลข้อมูลภาพในงานที่ต้องการความแม่นยำสูง อัตราความสำเร็จจะลดลงเหลือประมาณ 46%

นั่นเป็นเพราะ AI ไม่เห็นสิ่งต่าง ๆ เหมือนคุณหรือฉัน มันกำลังเอาพิกเซลแล้วเปลี่ยนเป็นรูปแบบทางคณิตศาสตร์ที่โมเดลของมันสามารถประมวลผลได้ ซึ่งหมายถึงการลดขนาดหรือแปลงภาพเป็นโทเค็น

คุณกำลังถามมันโดยพื้นฐานให้เปลี่ยนภาพที่มันไม่สามารถเห็นได้จริง ๆ ให้เป็นคณิตศาสตร์ตามรูปแบบ จากนั้นถามมันให้ตีความสิ่งนั้นเพื่อตอบคำถามของคุณ มันก็จะไม่ได้ผลดีทุกครั้ง

ใช้การศึกษาพวกนี้ให้เป็นประโยชน์ต่อคุณ

มันอาจสร้างความรำคาญที่ต้องใช้เวลาเพิ่มในการเขียนข้อจำกัดเชิงลบอย่างเข้มงวด การละทิ้งความสุภาพตามธรรมชาติของคุณ หรือบังคับให้โมเดลปรับข้อความของคุณก่อนที่จะตอบ อย่างไรก็ตาม หากคุณกำลังสร้างเวิร์กโฟลว์อัตโนมัติหรือจัดการปัญหาซับซ้อนหลายขั้นตอนที่ความผิดพลาดในการจัดรูปแบบทำให้ระบบพัง การใช้ข้อจำกัดที่ได้รับการรับรองทางงานวิจัยเหล่านี้ถือเป็นหนึ่งในวิธีเดียวที่จะรับประกันความสอดคล้อง เมื่อคุณเริ่มใช้มัน คุณจะได้ผลลัพธ์ที่ปฏิบัติตามกฎของคุณจริง ๆ