การวิเคราะห์ทางเทคนิค
การเปิดตัวคุณสมบัติการใช้คีย์ API ของผู้ใช้แสดงถึงการเปลี่ยนแปลงโครงสร้างพื้นฐานอย่างสำคัญ ทางเทคนิค ปลั๊กอินได้ถูกปรับโครงสร้างจากบริการแบบมอนอลิธิก ซึ่งโมเดลเบื้องหลังถูกฝังไว้อย่างแน่นหนาและค่าใช้จ่ายถูกรวมไว้ ไปเป็นซอฟต์แวร์กลางหรือ "ชั้นประสบการณ์" ที่ซับซ้อน คุณค่าหลักของมันตอนนี้อยู่ที่อินเทอร์เฟซผู้ใช้ วิศวกรรมคำสั่ง จัดการบริบท รูปแบบผลลัพธ์ และการผสานการทำงาน ขณะที่การคำนวณที่ใช้ทรัพยากรมาก เช่น การคาดเดา จะถูกส่งต่อไปยังจุดปลายทางภายนอกที่กำหนดโดยผู้ใช้
การนี้จำเป็นต้องมีการจัดการคีย์ด้านไคลเอนต์ที่แข็งแกร่ง (อาจใช้การจัดเก็บท้องถิ่นที่ปลอดภัย) การส่งคำขอไปยัง API ของผู้ให้บริการต่างๆ อย่างไดนามิก (OpenAI, Gemini ฯลฯ) และการมาตรฐานรูปแบบคำตอบที่แตกต่างกันให้เป็นประสบการณ์ผู้ใช้ที่สม่ำเสมอ นักพัฒนาต้องรักษาความเข้ากันได้กับข้อกำหนด API ที่เปลี่ยนแปลงของแต่ละผู้ให้บริการ ซึ่งเป็นงานวิศวกรรมที่ไม่ง่ายเลย แนวทางนี้ยังนำไปสู่ประเด็นใหม่ๆ เกี่ยวกับความล่าช้าและความน่าเชื่อถือ เพราะประสิทธิภาพของเครื่องมือตอนนี้ขึ้นอยู่กับผู้ให้บริการโมเดลที่ผู้ใช้เลือกและสภาพเครือข่าย ด้านความปลอดภัย นี่เป็นการเปลี่ยนความรับผิดชอบในการปกป้องคีย์ API ไปยังผู้ใช้ ในขณะที่แอปพลิเคชันต้องมั่นใจว่าคีย์ไม่ถูกเปิดเผยในบันทึกหรือระหว่างการส่ง