التحليل الفني
يُعد اكتمال التدريب المسبق لـ Covenant-72B إنجازًا هندسيًا هائلاً يحل سلسلة من التحديات التقنية المعقدة الملازمة للتعلم الآلي اللامركزي. لا تكمن الابتكار الأساسي في بنية نموذجية جديدة، بل في طبقة التنظيم والتنسيق – مجموعة البروتوكولات والأطر وآليات الحوافز التي مكّنت من تدريب مستقر وفعال عبر أجهزة غير متجانسة موزعة عالميًا.
يعتمد تدريب النماذج الكبيرة التقليدية على اتصالات مترابطة بإحكام وعالية النطاق داخل مركز بيانات واحد لمزامنة التدرجات عبر آلاف وحدات معالجة الرسومات المتطابقة. كان على مشروع Covenant التغلب على مشكلات الكمون، وتقلب العقد (انضمام المشاركين ومغادرتهم)، وتباين الأجهزة، وقضايا الثقة. وقد حقق ذلك من خلال مزيج من تقنيات التدريب غير المتزامن مع إنشاء نقاط تفتيش قوية، وبروتوكول حساب جديد قابل للتحقق لضمان قيام المشاركين بتنفيذ مهام التدريب الموكلة إليهم بشكل صحيح، ونظام حوافز قائم على الرموز المميزة يكافئ المساهمة بناءً على وحدات عمل قابلة للتحقق وجودة البيانات.
كان التقدم الحاسم هو تطوير مُحسّن موزع يتسامح مع الأخطاء ويمكنه التعامل مع تأخيرات كبيرة وتحديثات جزئية دون أن يتباعد. وهذا يسمح للنموذج بالتقدم حتى عندما يكون جزء كبير من الشبكة غير متصل مؤقتًا أو بطيئًا. علاوة على ذلك، نفذ المشروع توجيهًا وتقسيمًا متقدمًا للبيانات لضمان خصوصية وسلامة بيانات التدريب عبر العقد غير الموثوقة، وهو أمر ضروري للتعامل مع مجموعات البيانات المتنوعة المطلوبة للتدريب المسبق.
النتيجة هي نموذج بـ 72 مليار معلمة يوضح مسار تدريبه وأداؤه النهائي في المقاييس المعيارية أن التنسيق اللامركزي يمكنه، للمرة الأولى، أن يضاهي الاستقرار الذي كان حصريًا في السابق للعناقيد المركزية. وهذا يُثبِت مجموعة تقنية جديدة لتطوير الذكاء الاصطناعي، مبنية على المرونة والمشاركة التطوعية بدلاً من الإنفاق الرأسمالي على البنية التحتية المادية.
التأثير على الصناعة
يرسل نجاح Covenant-72B موجات صادمة عبر صناعة الذكاء الاصطناعي، متحديًا افتراضاتها الاقتصادية والتشغيلية الأساسية. لسنوات، كان السرد السائد هو أن بناء ذكاء اصطناعي متطور يتطلب مليارات من رأس المال لمراكز البيانات، مما يخلق خندقًا لا يمكن تجاوزه إلا للشركات والدول الأفضل تمويلًا. يحطم هذا المشروع ذلك السرد، مُثبتًا أنه يمكن حشد الموارد الجماعية الموزعة لتحقيق نتيجة مماثلة.
التأثير المباشر هو ديمقراطية الوصول. أصبح لدى الباحثين المستقلين والمؤسسات الأكاديمية والشركات الناشئة الصغيرة الآن مسار قابل للتطبيق للمساهمة في تطوير النماذج على مستوى الطليعة والاستفادة منه دون الحاجة إلى رعاية شركات أو ائتمانات سحابية. وهذا يخفض حاجز الدخول للأبحاث الجديدة والضبط الدقيق المتخصص، مما قد يُطلق موجة من الابتكار في التطبيقات المتخصصة والرأسية غير المجدية اقتصاديًا للنماذج المؤسسية ذات الأغراض العامة.
تصبح الشفافية والقابلية للمراجعة ميزتين متأصلتين في هذا النهج.