Phân tích Kỹ thuật
Vấn đề 'suy giảm ngữ cảnh' là một thách thức kỹ thuật đa diện, bắt nguồn từ những hạn chế vốn có của các mô hình ngôn ngữ lớn (LLM) với vai trò là động cơ lập luận cốt lõi cho agent. LLM hoạt động với một cửa sổ ngữ cảnh hữu hạn, tạo ra hiệu ứng 'mất trí nhớ cuộn' khi các chỉ dẫn, mục tiêu và chi tiết môi trường trước đó mờ dần đi trong khi các tương tác mới được xử lý. Điều này dẫn đến các agent đi chệch khỏi mục đích ban đầu, tự mâu thuẫn hoặc không duy trì được tính nhất quán về quy trình trong các nhiệm vụ chạy dài.
Phản ứng của ngành công nghiệp đã kết tinh thành một số chiến lược kiến trúc chính. Nổi bật nhất là kiến trúc bộ nhớ lai, tách biệt bộ nhớ khỏi ngữ cảnh tức thời của LLM. Hệ thống này thường xếp lớp một bộ nhớ làm việc ngắn hạn (cửa sổ ngữ cảnh của LLM) lên trên một ngân hàng bộ nhớ dài hạn, thường được triển khai bằng cơ sở dữ liệu vector để truy xuất ngữ nghĩa các sự kiện trong quá khứ, sở thích người dùng và lịch sử tác vụ. Để chống lại tình trạng quá tải thông tin trong bộ nhớ làm việc, các kỹ thuật như tóm tắt đệ quy được sử dụng, nơi agent định kỳ cô đọng lịch sử tương tác thành một bản tóm tắt tường thuật súc tích, bảo tồn 'ý chính' trong khi giải phóng không gian token.
Vượt ra ngoài khả năng nhớ lại, các framework tiên tiến đang triển khai máy trạng thái và các mô-đun lập kế hoạch rõ ràng. Các hệ thống này cho phép một agent duy trì một biểu diễn chính thức về mục tiêu hiện tại, các nhiệm vụ phụ và tiến độ của nó, giúp trạng thái hoạt động của nó có khả năng chống chịu trước những biến động của luồng hội thoại. Điều này được bổ sung bởi các vòng lặp phản ánh và tự sửa chữa, nơi các agent được nhắc nhở định kỳ xem xét lại các hành động gần đây và mục tiêu đã nêu, xác định và sửa chữa các điểm không nhất quán — một dạng thức siêu nhận thức được thiết kế để chống lại sự trôi dạt.
Nền tảng của các phương pháp này là sự chuyển dịch từ các agent không trạng thái, dựa trên prompt sang các thực thể kỹ thuật số có trạng thái. Các agent này sở hữu một bản sắc bền vững, một cơ sở kiến thức ngày càng phát triển và tính liên tục về mục đích xuyên suốt nhiều phiên độc lập. Điều này đòi hỏi các framework mới để tuần tự hóa trạng thái agent, quản lý bộ nhớ đệm một cách an toàn và xử lý việc kiểm soát phiên bản cho 'tính cách' và kiến thức đã học của agent.
Tác động Ngành công nghiệp
Cuộc đua giải quyết sự suy giảm ngữ cảnh đang nhanh chóng trở thành yếu tố khác biệt chính trong bối cảnh framework agent. Các hàm ý kinh doanh rất sâu sắc. Giá trị đang dịch chuyển từ các nền tảng cho phép gọi công cụ nhanh nhất sang những nền tảng cung cấp khả năng duy trì trạng thái mạnh mẽ nhất. Khả năng này biến đổi mô hình kinh tế cho việc triển khai agent. Thay vì hoàn thành nhiệm vụ một lần, giờ đây các agent có thể được giao giám sát các quy trình kinh doanh dài hạn — như một chiến dịch marketing kéo dài nhiều tuần, một sprint phát triển phần mềm phức tạp, hoặc một dự án nghiên cứu kéo dài hàng tháng — đóng vai trò là một điều phối viên dự án nhất quán và toàn tri.
Các ứng dụng đòi hỏi xây dựng mối quan hệ dài hạn và cá nhân hóa giờ đây đã nằm trong tầm tay. Một agent gia sư có thể nhớ được những quan niệm sai lầm của học sinh từ ba tháng trước.