Phân Tích Kỹ Thuật
Việc hoàn thành tiền huấn luyện của Covenant-72B là một kỳ công kỹ thuật vĩ đại, giải quyết một loạt thách thức kỹ thuật phức tạp vốn có của học máy phi tập trung. Đổi mới cốt lõi không nằm ở kiến trúc mô hình mới, mà nằm ở lớp điều phối (orchestration layer) — bộ giao thức, framework và cơ chế khuyến khích cho phép huấn luyện ổn định, hiệu quả trên phần cứng không đồng nhất, phân tán toàn cầu.
Huấn luyện mô hình lớn truyền thống dựa vào các kết nối liên kết chặt chẽ, băng thông cao trong một trung tâm dữ liệu duy nhất để đồng bộ hóa gradient qua hàng nghìn GPU giống hệt nhau. Dự án Covenant phải vượt qua độ trễ, sự biến động nút (người tham gia gia nhập và rời đi), sự khác biệt phần cứng và các vấn đề về niềm tin. Họ đạt được điều này thông qua sự kết hợp của kỹ thuật huấn luyện bất đồng bộ với cơ chế checkpoint mạnh mẽ, một giao thức tính toán có thể xác minh mới để đảm bảo người tham gia thực thi chính xác nhiệm vụ huấn luyện được giao, và một hệ thống khuyến khích dựa trên token thưởng cho đóng góp dựa trên các đơn vị công việc và chất lượng dữ liệu có thể xác minh.
Một đột phá quan trọng là sự phát triển của một bộ tối ưu hóa phân tán chịu lỗi, có thể xử lý độ trễ đáng kể và các bản cập nhật một phần mà không bị phân kỳ. Điều này cho phép mô hình tiếp tục tiến triển ngay cả khi một phần đáng kể của mạng lưới tạm thời ngoại tuyến hoặc chậm. Hơn nữa, dự án đã triển khai định tuyến và phân mảnh dữ liệu tiên tiến để đảm bảo quyền riêng tư và tính toàn vẹn của dữ liệu huấn luyện trên các nút không đáng tin cậy, một điều cần thiết để xử lý các bộ dữ liệu đa dạng cần cho tiền huấn luyện.
Kết quả là một mô hình 72B tham số có quỹ đạo huấn luyện và hiệu suất benchmark cuối cùng chứng minh rằng sự phối hợp phi tập trung lần đầu tiên có thể sánh ngang với độ ổn định trước đây chỉ có ở các cụm tập trung. Điều này xác nhận một chồng công nghệ (stack) mới cho phát triển AI, được xây dựng dựa trên khả năng phục hồi và sự tham gia tự nguyện thay vì chi tiêu vốn cho cơ sở hạ tầng vật lý.
Tác Động Ngành Công Nghiệp
Thành công của Covenant-72B gây ra những cơn chấn động khắp ngành công nghiệp AI, thách thức các giả định kinh tế và vận hành nền tảng của nó. Trong nhiều năm, luận điệu phổ biến là xây dựng AI đỉnh cao đòi hỏi hàng tỷ đô la vốn cho trung tâm dữ liệu, tạo ra một hào sâu không thể vượt qua cho tất cả trừ các tập đoàn và quốc gia được tài trợ tốt nhất. Dự án này phá vỡ luận điệu đó, chứng minh rằng các nguồn lực tập thể, phân tán có thể được huy động để đạt được kết quả tương tự.
Tác động trực tiếp là sự dân chủ hóa khả năng tiếp cận. Các nhà nghiên cứu độc lập, tổ chức học thuật và startup nhỏ hơn giờ đây có một con đường khả thi để đóng góp và hưởng lợi từ việc phát triển mô hình quy mô đỉnh cao mà không cần sự bảo trợ của tập đoàn hay tín dụng điện toán đám mây. Điều này hạ thấp rào cản gia nhập cho nghiên cứu mới và tinh chỉnh chuyên biệt, có khả năng giải phóng một làn sóng đổi mới trong các ứng dụng chuyên ngành và thích hợp mà các mô hình tập đoàn đa mục đích không kinh tế để theo đuổi.
Tính minh bạch và khả năng kiểm toán trở thành các đặc tính cố hữu của mô hình này.