Phân tích kỹ thuật
TokenBudget hoạt động bằng cách bắt và phân tích các cuộc gọi API đến các nhà cung cấp LLM được hỗ trợ. Nó hoạt động như một middleware hoặc lớp bao bọc, ghi lại chính xác số lượng token được tiêu thụ trong cả các yêu cầu đầu vào và đầu ra cho mỗi truy vấn. Đổi mới chính của thư viện nằm ở tính đơn giản và tích hợp trực tiếp vào các dự án AI dựa trên Python hiện có. Các nhà phát triển có thể triển khai nó với ít thay đổi mã nhất, ngay lập tức nhận được cái nhìn về chi phí token theo từng lần gọi, theo từng phiên và toàn bộ dự án.
Ngoài việc theo dõi, TokenBudget giới thiệu các tính năng quản lý ngân sách chủ động. Các nhà phát triển có thể đặt giới hạn ngân sách cứng hoặc mềm, kích hoạt cảnh báo hoặc dừng tự động quy trình khi ngưỡng đạt được hoặc vượt quá. Điều này ngăn chặn chi phí phát sinh trong quá trình thử nghiệm hoặc do vòng lặp lỗi trong sản xuất. Thư viện cũng hỗ trợ phân bổ chi phí, cho phép các nhóm chia nhỏ chi phí theo dự án, tính năng hoặc phiên người dùng - khả năng quan trọng đối với các ứng dụng SaaS hoặc hệ thống đa thuê bao.
Thiết kế nhẹ nhàng là lợi thế chính, đảm bảo không gây ra độ trễ hoặc phức tạp đáng kể. Bằng cách tập trung vào dữ liệu tài chính của tương tác API, nó bổ sung cho các công cụ giám sát hiện có theo dõi hiệu suất, độ trễ và độ chính xác. Việc tách biệt trách nhiệm này là hợp lý về mặt kiến trúc, cho phép các nhóm xây dựng một bộ sưu tập quan sát toàn diện, nơi chi phí là một chỉ số hàng đầu cùng với hiệu suất kỹ thuật.