تطور نماذج تدريب الذكاء الاصطناعي: من التحكم المركزي إلى الثورة التكنولوجية للتعاون اللامركزي
في سلسلة القيمة الكاملة للذكاء الاصطناعي، تعتبر تدريب النماذج المرحلة الأكثر استهلاكًا للموارد والأعلى من حيث عتبة التقنية، حيث تحدد بشكل مباشر القدرة القصوى للنموذج وفاعلية التطبيق الفعلي. بالمقارنة مع الاستدعاء الخفيف في مرحلة الاستدلال، يتطلب عملية التدريب استثمارًا مستمرًا من القوة الحاسوبية الكبيرة، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعلها "الصناعة الثقيلة" الحقيقية لبناء أنظمة الذكاء الاصطناعي. من حيث نماذج الهندسة المعمارية، يمكن تقسيم أساليب التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي سيتم مناقشته بشكل أساسي في هذه الورقة.
يعتبر التدريب المركز هو الطريقة التقليدية الأكثر شيوعًا، حيث يتم تنفيذ جميع عمليات التدريب بواسطة مؤسسة واحدة في تجمع محلي عالي الأداء، بدءًا من الأجهزة، والبرامج الأساسية، ونظام جدولة التجمع، وصولًا إلى جميع مكونات إطار التدريب، التي يتم تنسيق تشغيلها بواسطة نظام تحكم موحد. تتيح هذه البنية المعمارية المتعمقة التعاون تحقيق كفاءة مثلى في مشاركة الذاكرة، ومزامنة التدرجات، وآليات تحمل الأخطاء، مما يجعلها مناسبة جدًا لتدريب النماذج الكبيرة مثل GPT و Gemini، حيث تتمتع بمزايا الكفاءة العالية، وقابلية التحكم في الموارد، لكنها في نفس الوقت تعاني من مشاكل احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقاط الفردية.
التدريب الموزع هو الطريقة السائدة حاليًا في تدريب النماذج الكبيرة، حيث يتمثل جوهره في تفكيك مهام تدريب النموذج ثم توزيعها على عدة آلات للتنفيذ المتعاون، وذلك لكسر قيود الحوسبة والتخزين على آلة واحدة. على الرغم من أنه يتمتع بخصائص "اللامركزية" من الناحية الفيزيائية، إلا أن التحكم والتنسيق والتزامن لا يزال يتم بواسطة مؤسسة مركزية، وغالبًا ما يعمل في بيئات الشبكات المحلية عالية السرعة، من خلال تقنية NVLink لربط الحافلات عالية السرعة، حيث يقوم العقدة الرئيسية بتنسيق المهام الفرعية بشكل موحد. تشمل الطرق السائدة:
البيانات المتوازية: كل عقدة تدرب معلمات بيانات مختلفة تتشارك فيها الأوزان النموذجية، يجب مطابقة أوزان النموذج
التوازي في النموذج: نشر أجزاء مختلفة من النموذج على عقد مختلفة، لتحقيق قابلية توسيع قوية؛
التوازي في الأنابيب: تنفيذ متسلسل على مراحل، وزيادة معدل الإرسال؛
توازي المصفوفات: تقسيم دقيق لحساب المصفوفات، تحسين درجة التوازي.
التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، يشبه توجيه نفس المدير لموظفين من عدة "مكاتب" للتعاون في إنجاز المهام. في الوقت الحالي، يتم تدريب جميع النماذج الكبيرة الرائجة تقريبًا بهذه الطريقة.
اللامركزية التدريبية تمثل مسارًا مستقبليًا أكثر انفتاحًا وخصائص مقاومة للرقابة. تتمثل الميزات الأساسية في: العديد من العقد التي لا تثق ببعضها البعض تتعاون لإكمال مهام التدريب بدون منسق مركزي، وعادةً ما يتم دفع المهام والتعاون من خلال البروتوكولات، وتستفيد من آلية الحوافز المشفرة لضمان نزاهة المساهمات. تشمل التحديات الرئيسية التي يواجهها هذا النموذج:
صعوبة التناسق بين الأجهزة المتنوعة وتقسيم المهام: صعوبة تنسيق الأجهزة المتنوعة، وكفاءة منخفضة في تقسيم المهام;
عائق كفاءة الاتصال: الاتصال الشبكي غير مستقر، وعائق تزامن التدرج واضح؛
نقص التنفيذ الموثوق: عدم وجود بيئة تنفيذ موثوقة، مما يجعل من الصعب التحقق مما إذا كانت العقدة تشارك فعلاً في الحساب؛
عدم وجود تنسيق موحد: لا يوجد جهاز مركزي، توزيع المهام، وآلية التراجع عن الاستثناءات معقدة.
يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين من جميع أنحاء العالم، يساهم كل منهم في قوة الحوسبة لتدريب النموذج بالتعاون، لكن "التدريب اللامركزي الكبير القابل للتطبيق حقًا" لا يزال يمثل تحديًا هندسيًا منهجيًا، يتضمن العديد من الجوانب مثل بنية النظام، بروتوكولات الاتصالات، أمان التشفير، الآليات الاقتصادية، والتحقق من النموذج، لكن إمكانية "التعاون الفعال + تحفيز الصدق + النتائج الصحيحة" لا تزال في مرحلة استكشاف النموذج الأولي المبكر.
التعلم الفيدرالي كونه شكل انتقال بين التوزيع واللامركزية، يبرز أهمية الاحتفاظ بالبيانات محليًا، وتركيز تجميع معلمات النموذج، وهو مناسب للسيناريوهات التي تركز على الامتثال للخصوصية. يتمتع التعلم الفيدرالي ببنية هندسية للتدريب الموزع وقدرات التعاون المحلي، بالإضافة إلى ميزة توزيع البيانات في التدريب اللامركزي، لكنه لا يزال يعتمد على طرف موثوق للتنسيق، ولا يمتلك خصائص مفتوحة تمامًا ومقاومة للرقابة. يمكن اعتباره نوعًا من "اللامركزية الخاضعة للرقابة" في سيناريوهات الامتثال للخصوصية، حيث تكون المهام التدريبية، وهياكل الثقة، وآليات الاتصال معتدلة نسبيًا، مما يجعله أكثر ملاءمة كهيكل نشر انتقالي في الصناعات.
جدول مقارنة شامل لنماذج تدريب الذكاء الاصطناعي( هيكل التقنية × الحوافز القائمة على الثقة × خصائص التطبيق)
من حيث نمط التدريب، فإن التدريب اللامركزي ليس مناسبًا لجميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهمة، واحتياجات الموارد العالية جدًا، أو صعوبة التعاون، فإنه ليس من الطبيعي أن يتم إنجازه بشكل فعال بين نقاط متعددة غير موثوقة. على سبيل المثال، يعتمد تدريب النماذج الكبيرة غالبًا على ذاكرة عالية، وتأخير منخفض، وعرض نطاق ترددي عالي، مما يجعل من الصعب تقسيمها ومزامنتها بشكل فعال في الشبكات المفتوحة؛ وتكون المهام التي تتعلق بخصوصية البيانات وحدود السيادة مقيدة بالقوانين والامتثال والقيود الأخلاقية، مما يمنع المشاركة المفتوحة؛ بينما تفتقر المهام التي لا تمتلك أساسًا للتحفيز التعاوني إلى الدافع للمشاركة الخارجية. تشكل هذه الحدود معًا القيود الواقعية للتدريب اللامركزي في الوقت الحالي.
لكن هذا لا يعني أن التدريب اللامركزي هو مفهوم زائف. في الواقع، تظهر التدريب اللامركزي آفاق تطبيق واضحة في أنواع المهام ذات الهيكل الخفيف، وسهولة التوازي، والتحفيز. بما في ذلك، على سبيل المثال لا الحصر: تعديل LoRA، مهام التدريب اللاحق الموجهة للسلوك، تدريب وتسمية البيانات الجماعية، تدريب نماذج أساسية صغيرة يمكن التحكم في مواردها، وكذلك سيناريوهات التدريب التعاوني التي تشارك فيها الأجهزة الطرفية. تتميز هذه المهام عمومًا بخصائص عالية من التوازي، وانخفاض الترابط، وقابلية التحمل للقوى الحوسبية المتباينة، مما يجعلها مناسبة جدًا للتدريب التعاوني من خلال شبكات P2P، بروتوكول Swarm، ومحسّنات موزعة.
نظرة عامة على ملاءمة مهام التدريب اللامركزية
اللامركزية تدريب كلاسيكي مشروع تحليل
في الوقت الحالي، تشمل المشاريع البارزة في مجال التدريب اللامركزي والتعلم الفيدرالي بشكل رئيسي Prime Intellect و Pluralis.ai و Gensyn و Nous Research و Flock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect و Nous Research و Pluralis.ai العديد من الاستكشافات الأصلية في تصميم النظام والخوارزميات، مما يمثل الاتجاهات المتقدمة في الأبحاث النظرية الحالية؛ بينما مسارات التنفيذ لـ Gensyn و Flock.io واضحة نسبيًا، حيث بدأت تظهر تقدمات أولية في الهندسة. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهندسة المعمارية وراء هذه المشاريع الخمسة، وستستكشف المزيد من الاختلافات والعلاقات التكميلية في نظام التدريب اللامركزي للذكاء الاصطناعي.
Prime Intellect: رائد شبكة التعلم المعزز التعاوني القابلة للتحقق من مسار التدريب
تسعى Prime Intellect لبناء شبكة تدريب AI غير مركزية لا تتطلب الثقة، مما يسمح لأي شخص بالمشاركة في التدريب والحصول على مكافآت موثوقة مقابل مساهماته الحسابية. تأمل Prime Intellect من خلال ثلاثة وحدات PRIME-RL + TOPLOC + SHARDCAST في إنشاء نظام تدريب AI لامركزي يتمتع بالتحقق والانفتاح وآلية تحفيز كاملة.
هيكل بروتوكول Prime Intellect وقيمة الوحدات الأساسية
ثانياً، شرح مفصل لآلية تدريب Prime Intellect الأساسية
PRIME-RL: هيكل مهمة التعلم المعزز غير المتزامن المفكك
PRIME-RL هو إطار نمذجة وتنفيذ المهام المخصص لمشاهد التدريب اللامركزية من قبل Prime Intellect، مصمم خصيصًا للشبكات غير المتجانسة والمشاركة غير المتزامنة. يعتمد على التعلم المعزز كهدف تكييف أولوي، يفصل بشكل هيكلي عملية التدريب والاستدلال ورفع الأوزان، مما يسمح لكل عقدة تدريب بإكمال دورة المهام محليًا بشكل مستقل، والتعاون من خلال واجهات معيارية وآليات التحقق والتجميع. مقارنةً بعمليات التعلم تحت الإشراف التقليدية، فإن PRIME-RL أكثر ملاءمة لتنفيذ التدريب المرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام ويؤسس لدعم المهام المتعددة المتوازية وتطور الاستراتيجيات.
TOPLOC: آلية تحقق سلوك التدريب خفيفة الوزن
TOPLOC هو آلية جوهرية للتحقق من التدريب اقترحها Prime Intellect، تستخدم لتحديد ما إذا كان العقدة قد أكملت حقًا تعلم سياسة فعالة بناءً على بيانات الملاحظة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل يكمل التحقق الهيكلي الخفيف من خلال تحليل المسارات المتسقة محليًا بين "سلسلة الملاحظات ↔ تحديث السياسة". إنها تحول لأول مرة مسارات السلوك خلال عملية التدريب إلى كائنات قابلة للتحقق، وهي الابتكار الرئيسي لتحقيق توزيع مكافآت التدريب بدون ثقة، وتوفر مسارًا قابلاً للتطبيق لبناء شبكة تدريب تعاونية لامركزية قابلة للتدقيق والتحفيز.
SHARDCAST: بروتوكول تجميع الوزن غير المتزامن والانتشار
SHARDCAST هو بروتوكول انتشار وتجمع الوزن المصمم بواسطة Prime Intellect، تم تحسينه خصيصًا للبيئات الشبكية الحقيقية غير المتزامنة، ذات عرض النطاق الترددي المحدود وحالة العقد المتغيرة. يجمع بين آلية انتشار gossip واستراتيجية التزامن المحلي، مما يسمح لعدة عقد بتقديم تحديثات جزئية بشكل مستمر في حالة غير متزامنة، مما يحقق التقارب التدريجي للوزن وتطور متعدد النسخ. مقارنة بأساليب AllReduce المركزية أو المتزامنة، يعزز SHARDCAST بشكل ملحوظ قابلية توسيع التدريب اللامركزي وقدرته على تحمل الأخطاء، وهو الأساس الأساسي لبناء توافق وزن مستقر وتدريب مستمر وتكراري.
OpenDiLoCo: إطار الاتصال غير المتزامن المتناثر
OpenDiLoCo هو إطار تحسين الاتصالات تم تنفيذه بشكل مستقل ومفتوح المصدر من قبل فريق Prime Intellect بناءً على فكرة DiLoCo التي اقترحتها DeepMind، وقد تم تصميمه خصيصًا للتحديات الشائعة في التدريب اللامركزي مثل قيود النطاق الترددي، والتنوع في الأجهزة، وعدم استقرار العقد. يعتمد هيكله على التوازي في البيانات، من خلال بناء هياكل طوبولوجية نادرة مثل Ring وExpander وSmall-World، مما يتجنب التكلفة العالية للتزامن العالمي ويعتمد فقط على العقد المجاورة المحلية لإكمال تدريب النموذج التعاوني. بالتزامن مع التحديث غير المتزامن وآلية تحمل نقاط التوقف، يجعل OpenDiLoCo وحدات معالجة الرسوميات الاستهلاكية والأجهزة الطرفية قادرة على المشاركة بشكل مستقر في مهام التدريب، مما يعزز بشكل كبير إمكانية المشاركة في التدريب التعاوني العالمي، ويعد أحد البنى التحتية الأساسية للتواصل لبناء شبكة تدريب لامركزية.
PCCL: مكتبة الاتصالات التعاونية
PCCL هو مكتبة اتصالات خفيفة الوزن تم تصميمها خصيصًا من قبل Prime Intellect لبيئة تدريب الذكاء الاصطناعي اللامركزية، وتهدف إلى حل عنق الزجاجة في التكيف الذي تعاني منه مكتبات الاتصالات التقليدية في الأجهزة المتنوعة والشبكات ذات النطاق الترددي المنخفض. تدعم PCCL الطوبولوجيا المتناثرة، وضغط التدرجات، والتزامن منخفض الدقة، واستعادة النقاط، ويمكن تشغيلها على وحدات معالجة الرسوميات الاستهلاكية والعقد غير المستقرة، وهي مكون أساسي يدعم القدرة على الاتصال غير المتزامن لبروتوكول OpenDiLoCo. لقد زادت بشكل ملحوظ من قدرة الشبكة على تحمل النطاق الترددي وتوافق الأجهزة، مما فتح "آخر كيلومتر" من البنية الأساسية للاتصالات لبناء شبكة تدريب تعاونية حقيقية مفتوحة وغير موثوق بها.
ثالثاً، شبكة Prime Intellect للتحفيز وتقسيم الأدوار
بنى Prime Intellect شبكة تدريب قابلة للتحقق، غير مرخصة، وذات آلية تحفيزية اقتصادية، مما يسمح لأي شخص بالمشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يقوم البروتوكول على ثلاثة أنواع من الأدوار الأساسية:
عقد التدريب: تنفيذ التدريب المحلي، تقديم تحديثات الوزن ومسارات الملاحظة
عقد التحقق: استخدم آلية TOPLOC للتحقق من صحة سلوك التدريب والمشاركة في حساب المكافآت وتجمع الاستراتيجيات
تتضمن العملية الأساسية للبروتوكول نشر المهام، تدريب العقد، التحقق من المسار، تجميع الأوزان وإصدار المكافآت، مما يشكل حلقة تحفيزية حول "سلوك التدريب الحقيقي".
أربعة، INTELLECT-2: إصدار أول نموذج تدريب يمكن التحقق منه اللامركزية
أصدرت Prime Intellect في مايو 2025 INTELLECT-2، وهو أول نموذج كبير للتعلم المعزز في العالم تم تدريبه بواسطة عقد لامركزية غير موثوقة ومتزامنة، مع حجم معلمات يصل إلى 32B. تم تدريب نموذج INTELLECT-2 بالتعاون بين أكثر من 100 عقدة GPU هتروجينية موزعة على ثلاث قارات، باستخدام بنية كاملة غير متزامنة، ومدة التدريب تجاوزت 400 ساعة، مما يظهر جدوى واستقرار الشبكة التعاونية غير المتزامنة. لا يمثل هذا النموذج مجرد اختراق في الأداء، بل هو أيضًا أول تطبيق نظامي لنموذج "التدريب هو الإجماع" الذي اقترحته Prime Intellect. يدمج INTELLECT-2 البروتوكولات الأساسية مثل PRIME-RL وTOPLOC وSHARDCAST.
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
تسجيلات الإعجاب 14
أعجبني
14
6
إعادة النشر
مشاركة
تعليق
0/400
SerumSqueezer
· 07-30 16:37
لقد قضيت أربع سنوات في اللعب مع Web3، وحدسي دقيق جداً. أنا متحمس للتشفير، لكنني أشعر بعدم الجدوى لأن هذه الدائرة مليئة بالكثير من يُستغل بغباء.
أريد استخدام التعليقات الصينية، وسألتزم بمطالبك.
أليس الأمر مجرد تلاعب بالذكاء الاصطناعي؟ لماذا كل هذا التعقيد؟
شاهد النسخة الأصليةرد0
BridgeTrustFund
· 07-29 19:07
来 قوة الحوسبة鸡汤了解解渴？不太懂
شاهد النسخة الأصليةرد0
ChainBrain
· 07-27 23:36
تكاليف التدريب مرتفعة للغاية، من الذي يقدم قوة الحوسبة؟
شاهد النسخة الأصليةرد0
GraphGuru
· 07-27 23:32
يبدو أن اللامركزية ليست مجرد كلام.
شاهد النسخة الأصليةرد0
ForumMiningMaster
· 07-27 23:28
啊这,قوة الحوسبة又要 للقمر了吧~
شاهد النسخة الأصليةرد0
DefiPlaybook
· 07-27 23:27
وفقًا للتحليل، فإن 93.7% من قوة الحوسبة تتركز في ثلاث شركات خدمات سحابية، واللامركزية أمر عاجل.
تطور نماذج تدريب الذكاء الاصطناعي: من المركزية إلى اللامركزية في الثورة التكنولوجية
تطور نماذج تدريب الذكاء الاصطناعي: من التحكم المركزي إلى الثورة التكنولوجية للتعاون اللامركزي
في سلسلة القيمة الكاملة للذكاء الاصطناعي، تعتبر تدريب النماذج المرحلة الأكثر استهلاكًا للموارد والأعلى من حيث عتبة التقنية، حيث تحدد بشكل مباشر القدرة القصوى للنموذج وفاعلية التطبيق الفعلي. بالمقارنة مع الاستدعاء الخفيف في مرحلة الاستدلال، يتطلب عملية التدريب استثمارًا مستمرًا من القوة الحاسوبية الكبيرة، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعلها "الصناعة الثقيلة" الحقيقية لبناء أنظمة الذكاء الاصطناعي. من حيث نماذج الهندسة المعمارية، يمكن تقسيم أساليب التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي سيتم مناقشته بشكل أساسي في هذه الورقة.
يعتبر التدريب المركز هو الطريقة التقليدية الأكثر شيوعًا، حيث يتم تنفيذ جميع عمليات التدريب بواسطة مؤسسة واحدة في تجمع محلي عالي الأداء، بدءًا من الأجهزة، والبرامج الأساسية، ونظام جدولة التجمع، وصولًا إلى جميع مكونات إطار التدريب، التي يتم تنسيق تشغيلها بواسطة نظام تحكم موحد. تتيح هذه البنية المعمارية المتعمقة التعاون تحقيق كفاءة مثلى في مشاركة الذاكرة، ومزامنة التدرجات، وآليات تحمل الأخطاء، مما يجعلها مناسبة جدًا لتدريب النماذج الكبيرة مثل GPT و Gemini، حيث تتمتع بمزايا الكفاءة العالية، وقابلية التحكم في الموارد، لكنها في نفس الوقت تعاني من مشاكل احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقاط الفردية.
التدريب الموزع هو الطريقة السائدة حاليًا في تدريب النماذج الكبيرة، حيث يتمثل جوهره في تفكيك مهام تدريب النموذج ثم توزيعها على عدة آلات للتنفيذ المتعاون، وذلك لكسر قيود الحوسبة والتخزين على آلة واحدة. على الرغم من أنه يتمتع بخصائص "اللامركزية" من الناحية الفيزيائية، إلا أن التحكم والتنسيق والتزامن لا يزال يتم بواسطة مؤسسة مركزية، وغالبًا ما يعمل في بيئات الشبكات المحلية عالية السرعة، من خلال تقنية NVLink لربط الحافلات عالية السرعة، حيث يقوم العقدة الرئيسية بتنسيق المهام الفرعية بشكل موحد. تشمل الطرق السائدة:
التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، يشبه توجيه نفس المدير لموظفين من عدة "مكاتب" للتعاون في إنجاز المهام. في الوقت الحالي، يتم تدريب جميع النماذج الكبيرة الرائجة تقريبًا بهذه الطريقة.
اللامركزية التدريبية تمثل مسارًا مستقبليًا أكثر انفتاحًا وخصائص مقاومة للرقابة. تتمثل الميزات الأساسية في: العديد من العقد التي لا تثق ببعضها البعض تتعاون لإكمال مهام التدريب بدون منسق مركزي، وعادةً ما يتم دفع المهام والتعاون من خلال البروتوكولات، وتستفيد من آلية الحوافز المشفرة لضمان نزاهة المساهمات. تشمل التحديات الرئيسية التي يواجهها هذا النموذج:
يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين من جميع أنحاء العالم، يساهم كل منهم في قوة الحوسبة لتدريب النموذج بالتعاون، لكن "التدريب اللامركزي الكبير القابل للتطبيق حقًا" لا يزال يمثل تحديًا هندسيًا منهجيًا، يتضمن العديد من الجوانب مثل بنية النظام، بروتوكولات الاتصالات، أمان التشفير، الآليات الاقتصادية، والتحقق من النموذج، لكن إمكانية "التعاون الفعال + تحفيز الصدق + النتائج الصحيحة" لا تزال في مرحلة استكشاف النموذج الأولي المبكر.
التعلم الفيدرالي كونه شكل انتقال بين التوزيع واللامركزية، يبرز أهمية الاحتفاظ بالبيانات محليًا، وتركيز تجميع معلمات النموذج، وهو مناسب للسيناريوهات التي تركز على الامتثال للخصوصية. يتمتع التعلم الفيدرالي ببنية هندسية للتدريب الموزع وقدرات التعاون المحلي، بالإضافة إلى ميزة توزيع البيانات في التدريب اللامركزي، لكنه لا يزال يعتمد على طرف موثوق للتنسيق، ولا يمتلك خصائص مفتوحة تمامًا ومقاومة للرقابة. يمكن اعتباره نوعًا من "اللامركزية الخاضعة للرقابة" في سيناريوهات الامتثال للخصوصية، حيث تكون المهام التدريبية، وهياكل الثقة، وآليات الاتصال معتدلة نسبيًا، مما يجعله أكثر ملاءمة كهيكل نشر انتقالي في الصناعات.
جدول مقارنة شامل لنماذج تدريب الذكاء الاصطناعي( هيكل التقنية × الحوافز القائمة على الثقة × خصائص التطبيق)
من حيث نمط التدريب، فإن التدريب اللامركزي ليس مناسبًا لجميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهمة، واحتياجات الموارد العالية جدًا، أو صعوبة التعاون، فإنه ليس من الطبيعي أن يتم إنجازه بشكل فعال بين نقاط متعددة غير موثوقة. على سبيل المثال، يعتمد تدريب النماذج الكبيرة غالبًا على ذاكرة عالية، وتأخير منخفض، وعرض نطاق ترددي عالي، مما يجعل من الصعب تقسيمها ومزامنتها بشكل فعال في الشبكات المفتوحة؛ وتكون المهام التي تتعلق بخصوصية البيانات وحدود السيادة مقيدة بالقوانين والامتثال والقيود الأخلاقية، مما يمنع المشاركة المفتوحة؛ بينما تفتقر المهام التي لا تمتلك أساسًا للتحفيز التعاوني إلى الدافع للمشاركة الخارجية. تشكل هذه الحدود معًا القيود الواقعية للتدريب اللامركزي في الوقت الحالي.
لكن هذا لا يعني أن التدريب اللامركزي هو مفهوم زائف. في الواقع، تظهر التدريب اللامركزي آفاق تطبيق واضحة في أنواع المهام ذات الهيكل الخفيف، وسهولة التوازي، والتحفيز. بما في ذلك، على سبيل المثال لا الحصر: تعديل LoRA، مهام التدريب اللاحق الموجهة للسلوك، تدريب وتسمية البيانات الجماعية، تدريب نماذج أساسية صغيرة يمكن التحكم في مواردها، وكذلك سيناريوهات التدريب التعاوني التي تشارك فيها الأجهزة الطرفية. تتميز هذه المهام عمومًا بخصائص عالية من التوازي، وانخفاض الترابط، وقابلية التحمل للقوى الحوسبية المتباينة، مما يجعلها مناسبة جدًا للتدريب التعاوني من خلال شبكات P2P، بروتوكول Swarm، ومحسّنات موزعة.
نظرة عامة على ملاءمة مهام التدريب اللامركزية
اللامركزية تدريب كلاسيكي مشروع تحليل
في الوقت الحالي، تشمل المشاريع البارزة في مجال التدريب اللامركزي والتعلم الفيدرالي بشكل رئيسي Prime Intellect و Pluralis.ai و Gensyn و Nous Research و Flock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect و Nous Research و Pluralis.ai العديد من الاستكشافات الأصلية في تصميم النظام والخوارزميات، مما يمثل الاتجاهات المتقدمة في الأبحاث النظرية الحالية؛ بينما مسارات التنفيذ لـ Gensyn و Flock.io واضحة نسبيًا، حيث بدأت تظهر تقدمات أولية في الهندسة. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهندسة المعمارية وراء هذه المشاريع الخمسة، وستستكشف المزيد من الاختلافات والعلاقات التكميلية في نظام التدريب اللامركزي للذكاء الاصطناعي.
Prime Intellect: رائد شبكة التعلم المعزز التعاوني القابلة للتحقق من مسار التدريب
تسعى Prime Intellect لبناء شبكة تدريب AI غير مركزية لا تتطلب الثقة، مما يسمح لأي شخص بالمشاركة في التدريب والحصول على مكافآت موثوقة مقابل مساهماته الحسابية. تأمل Prime Intellect من خلال ثلاثة وحدات PRIME-RL + TOPLOC + SHARDCAST في إنشاء نظام تدريب AI لامركزي يتمتع بالتحقق والانفتاح وآلية تحفيز كاملة.
ثانياً، شرح مفصل لآلية تدريب Prime Intellect الأساسية
PRIME-RL: هيكل مهمة التعلم المعزز غير المتزامن المفكك
PRIME-RL هو إطار نمذجة وتنفيذ المهام المخصص لمشاهد التدريب اللامركزية من قبل Prime Intellect، مصمم خصيصًا للشبكات غير المتجانسة والمشاركة غير المتزامنة. يعتمد على التعلم المعزز كهدف تكييف أولوي، يفصل بشكل هيكلي عملية التدريب والاستدلال ورفع الأوزان، مما يسمح لكل عقدة تدريب بإكمال دورة المهام محليًا بشكل مستقل، والتعاون من خلال واجهات معيارية وآليات التحقق والتجميع. مقارنةً بعمليات التعلم تحت الإشراف التقليدية، فإن PRIME-RL أكثر ملاءمة لتنفيذ التدريب المرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام ويؤسس لدعم المهام المتعددة المتوازية وتطور الاستراتيجيات.
TOPLOC: آلية تحقق سلوك التدريب خفيفة الوزن
TOPLOC هو آلية جوهرية للتحقق من التدريب اقترحها Prime Intellect، تستخدم لتحديد ما إذا كان العقدة قد أكملت حقًا تعلم سياسة فعالة بناءً على بيانات الملاحظة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل يكمل التحقق الهيكلي الخفيف من خلال تحليل المسارات المتسقة محليًا بين "سلسلة الملاحظات ↔ تحديث السياسة". إنها تحول لأول مرة مسارات السلوك خلال عملية التدريب إلى كائنات قابلة للتحقق، وهي الابتكار الرئيسي لتحقيق توزيع مكافآت التدريب بدون ثقة، وتوفر مسارًا قابلاً للتطبيق لبناء شبكة تدريب تعاونية لامركزية قابلة للتدقيق والتحفيز.
SHARDCAST: بروتوكول تجميع الوزن غير المتزامن والانتشار
SHARDCAST هو بروتوكول انتشار وتجمع الوزن المصمم بواسطة Prime Intellect، تم تحسينه خصيصًا للبيئات الشبكية الحقيقية غير المتزامنة، ذات عرض النطاق الترددي المحدود وحالة العقد المتغيرة. يجمع بين آلية انتشار gossip واستراتيجية التزامن المحلي، مما يسمح لعدة عقد بتقديم تحديثات جزئية بشكل مستمر في حالة غير متزامنة، مما يحقق التقارب التدريجي للوزن وتطور متعدد النسخ. مقارنة بأساليب AllReduce المركزية أو المتزامنة، يعزز SHARDCAST بشكل ملحوظ قابلية توسيع التدريب اللامركزي وقدرته على تحمل الأخطاء، وهو الأساس الأساسي لبناء توافق وزن مستقر وتدريب مستمر وتكراري.
OpenDiLoCo: إطار الاتصال غير المتزامن المتناثر
OpenDiLoCo هو إطار تحسين الاتصالات تم تنفيذه بشكل مستقل ومفتوح المصدر من قبل فريق Prime Intellect بناءً على فكرة DiLoCo التي اقترحتها DeepMind، وقد تم تصميمه خصيصًا للتحديات الشائعة في التدريب اللامركزي مثل قيود النطاق الترددي، والتنوع في الأجهزة، وعدم استقرار العقد. يعتمد هيكله على التوازي في البيانات، من خلال بناء هياكل طوبولوجية نادرة مثل Ring وExpander وSmall-World، مما يتجنب التكلفة العالية للتزامن العالمي ويعتمد فقط على العقد المجاورة المحلية لإكمال تدريب النموذج التعاوني. بالتزامن مع التحديث غير المتزامن وآلية تحمل نقاط التوقف، يجعل OpenDiLoCo وحدات معالجة الرسوميات الاستهلاكية والأجهزة الطرفية قادرة على المشاركة بشكل مستقر في مهام التدريب، مما يعزز بشكل كبير إمكانية المشاركة في التدريب التعاوني العالمي، ويعد أحد البنى التحتية الأساسية للتواصل لبناء شبكة تدريب لامركزية.
PCCL: مكتبة الاتصالات التعاونية
PCCL هو مكتبة اتصالات خفيفة الوزن تم تصميمها خصيصًا من قبل Prime Intellect لبيئة تدريب الذكاء الاصطناعي اللامركزية، وتهدف إلى حل عنق الزجاجة في التكيف الذي تعاني منه مكتبات الاتصالات التقليدية في الأجهزة المتنوعة والشبكات ذات النطاق الترددي المنخفض. تدعم PCCL الطوبولوجيا المتناثرة، وضغط التدرجات، والتزامن منخفض الدقة، واستعادة النقاط، ويمكن تشغيلها على وحدات معالجة الرسوميات الاستهلاكية والعقد غير المستقرة، وهي مكون أساسي يدعم القدرة على الاتصال غير المتزامن لبروتوكول OpenDiLoCo. لقد زادت بشكل ملحوظ من قدرة الشبكة على تحمل النطاق الترددي وتوافق الأجهزة، مما فتح "آخر كيلومتر" من البنية الأساسية للاتصالات لبناء شبكة تدريب تعاونية حقيقية مفتوحة وغير موثوق بها.
ثالثاً، شبكة Prime Intellect للتحفيز وتقسيم الأدوار
بنى Prime Intellect شبكة تدريب قابلة للتحقق، غير مرخصة، وذات آلية تحفيزية اقتصادية، مما يسمح لأي شخص بالمشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يقوم البروتوكول على ثلاثة أنواع من الأدوار الأساسية:
تتضمن العملية الأساسية للبروتوكول نشر المهام، تدريب العقد، التحقق من المسار، تجميع الأوزان وإصدار المكافآت، مما يشكل حلقة تحفيزية حول "سلوك التدريب الحقيقي".
أربعة، INTELLECT-2: إصدار أول نموذج تدريب يمكن التحقق منه اللامركزية
أصدرت Prime Intellect في مايو 2025 INTELLECT-2، وهو أول نموذج كبير للتعلم المعزز في العالم تم تدريبه بواسطة عقد لامركزية غير موثوقة ومتزامنة، مع حجم معلمات يصل إلى 32B. تم تدريب نموذج INTELLECT-2 بالتعاون بين أكثر من 100 عقدة GPU هتروجينية موزعة على ثلاث قارات، باستخدام بنية كاملة غير متزامنة، ومدة التدريب تجاوزت 400 ساعة، مما يظهر جدوى واستقرار الشبكة التعاونية غير المتزامنة. لا يمثل هذا النموذج مجرد اختراق في الأداء، بل هو أيضًا أول تطبيق نظامي لنموذج "التدريب هو الإجماع" الذي اقترحته Prime Intellect. يدمج INTELLECT-2 البروتوكولات الأساسية مثل PRIME-RL وTOPLOC وSHARDCAST.
أريد استخدام التعليقات الصينية، وسألتزم بمطالبك.
أليس الأمر مجرد تلاعب بالذكاء الاصطناعي؟ لماذا كل هذا التعقيد؟