การวิเคราะห์ทางเทคนิค
ปัญหา 'คอนเท็กซ์ตกรวม' เป็นความท้าทายทางเทคนิคหลายแง่มุมที่เกิดจากข้อจำกัดโดยธรรมชาติของโมเดลภาษาขนาดใหญ่ (LLMs) ในฐานะเครื่องมือการให้เหตุผลหลักสำหรับเอเจนต์ LLMs ทำงานด้วยหน้าต่างคอนเท็กซ์ตที่มีขีดจำกัด สร้างผล 'ความจำเสื่อมแบบหมุนเวียน' (rolling amnesia) โดยที่คำสั่ง เป้าหมาย และรายละเอียดสภาพแวดล้อมก่อนหน้าจางหายไปเมื่อมีการประมวลผลการโต้ตอบใหม่ สิ่งนี้นำไปสู่เอเจนต์ที่คลาดเคลื่อนจากจุดประสงค์เดิม ขัดแย้งกับตัวเอง หรือไม่สามารถรักษาความสม่ำเสมอของขั้นตอนในงานที่ใช้เวลายาวนานได้
การตอบสนองของอุตสาหกรรมได้ตกผลึกเป็นกลยุทธ์ทางสถาปัตยกรรมหลักหลายประการ ที่โดดเด่นที่สุดคือ สถาปัตยกรรมความจำแบบไฮบริด ซึ่งแยกความจำออกจากคอนเท็กซ์ตทันทีของ LLM ระบบนี้มักจะจัดวางความจำระยะสั้น (หน้าต่างคอนเท็กซ์ตของ LLM) ทับบนคลังความจำระยะยาว ซึ่งมักใช้ฐานข้อมูลเวกเตอร์สำหรับการค้นคืนความหมายของเหตุการณ์ในอดีต ความชอบของผู้ใช้ และประวัติงาน เพื่อต่อสู้กับข้อมูลล้นเกินในความจำทำงาน จะใช้เทคนิคเช่น การสรุปแบบเรียกซ้ำ ซึ่งเอเจนต์จะสรุปประวัติการโต้ตอบเป็นระยะๆ ให้เป็นบทสรุปเรื่องราวที่กระชับ รักษา 'ใจความสำคัญ' ในขณะที่ปลดปล่อยพื้นที่โทเค็น
นอกเหนือจากการเรียกคืน กรอบงานขั้นสูงกำลังนำ เครื่องสถานะและโมดูลการวางแผนที่ชัดเจน มาใช้ ระบบเหล่านี้ทำให้เอเจนต์สามารถรักษาการแสดงแทนอย่างเป็นทางการของเป้าหมายปัจจุบัน งานย่อย และความก้าวหน้า ทำให้สถานะการทำงานของมันทนทานต่อความไม่แน่นอนของกระแสการสนทนา สิ่งนี้ได้รับการเสริมด้วย ลูปการสะท้อนคิดและการแก้ไขตัวเอง ซึ่งเอเจนต์จะถูกกระตุ้นให้ทบทวนการกระทำล่าสุดและเป้าหมายที่ระบุเป็นระยะๆ เพื่อระบุและแก้ไขความไม่สอดคล้องกัน—ซึ่งเป็นรูปแบบของอภิปัญญาที่ถูกออกแบบมาเพื่อต่อสู้กับความคลาดเคลื่อน
พื้นฐานของแนวทางเหล่านี้คือการเปลี่ยนจากเอเจนต์แบบไร้สถานะที่ใช้พรอมต์เป็นหลัก ไปสู่ เอนทิตีดิจิทัลที่มีสถานะ เอเจนต์เหล่านี้มีอัตลักษณ์ถาวร ฐานความรู้ที่เติบโต และความต่อเนื่องของจุดประสงค์ข้ามหลายเซสชันที่เป็นอิสระต่อกัน สิ่งนี้ต้องการกรอบงานใหม่สำหรับการทำให้สถานะของเอเจนต์เป็นอนุกรม การจัดการแคชความจำอย่างปลอดภัย และการจัดการเวอร์ชันของ 'บุคลิกภาพ' และความรู้ที่เรียนรู้ของเอเจนต์
ผลกระทบต่ออุตสาหกรรม
การแข่งขันเพื่อแก้ไขปัญหาคอนเท็กซ์ตกรวม กำลังกลายเป็นตัวแบ่งแยกหลักในภูมิทัศน์ของกรอบงานเอเจนต์อย่างรวดเร็ว ผลกระทบทางธุรกิจนั้นลึกซึ้ง คุณค่ากำลังเปลี่ยนจากแพลตฟอร์มที่ทำให้การเรียกใช้เครื่องมือเร็วที่สุด ไปสู่แพลตฟอร์มที่ให้ ความคงอยู่ของสถานะ ที่แข็งแกร่งที่สุด ความสามารถนี้เปลี่ยนรูปแบบเศรษฐกิจสำหรับการปรับใช้เอเจนต์ แทนที่จะเป็นการทำงานเสร็จครั้งเดียว ตอนนี้สามารถมอบหมายให้เอเจนต์ดูแลกระบวนการทางธุรกิจที่ยาวนานได้—เช่น แคมเปญการตลาดหลายสัปดาห์ การพัฒนาซอฟต์แวร์ที่ซับซ้อน หรือโครงการวิจัยหลายเดือน—โดยทำหน้าที่เป็นผู้ประสานงานโครงการที่สม่ำเสมอและรอบรู้
แอปพลิเคชันที่ต้องการการสร้างความสัมพันธ์ระยะยาวและการปรับให้เป็นส่วนบุคคล ตอนนี้อยู่ในระยะที่ทำได้แล้ว เอเจนต์ติวเตอร์สามารถจดจำความเข้าใจผิดของนักเรียนจากเมื่อสามเดือนก่อนได้