في سلسلة القيمة الكاملة للذكاء الاصطناعي، يُعتبر تدريب النموذج هو المرحلة الأكثر استهلاكًا للموارد والأعلى من حيث الحواجز التقنية، حيث تحدد بشكل مباشر الحد الأقصى لقدرات النموذج وفعالية التطبيقات العملية. مقارنةً بعملية الاستدلال التي تتطلب استدعاءً خفيف الوزن، يتطلب تدريب النموذج استثمارًا مستمرًا في القدرة الحاسوبية الكبيرة، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعله "صناعة ثقيلة" حقيقية لبناء أنظمة الذكاء الاصطناعي. من منظور نماذج البنية، يمكن تصنيف طرق التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي يناقش في هذه المقالة.
يعد التدريب المركز طريقة تقليدية شائعة، يتم تنفيذ جميع عمليات التدريب بواسطة مؤسسة واحدة داخل تجمع محلي عالي الأداء، حيث يتم تنسيق تشغيل جميع مكونات الأجهزة والبرامج الأساسية ونظام جدولة التجمع وإطار التدريب بواسطة نظام تحكم موحد. تتيح هذه البنية التحتية المتكاملة مشاركة الذاكرة، وتزامن التدرجات، وآليات تحمل الأخطاء لتحقيق أعلى كفاءة، مما يجعلها مناسبة جدًا لتدريب نماذج كبيرة مثل GPT وGemini، مما يوفر مزايا الكفاءة العالية والتحكم في الموارد، ولكنها في الوقت نفسه تعاني من مشاكل مثل احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقاط الفردية.
يعد التدريب الموزع الطريقة السائدة لتدريب النماذج الكبيرة ، حيث يكمن جوهره في تقسيم مهام تدريب النموذج ثم توزيعها على العديد من الآلات لتنفيذها بشكل تعاوني ، وذلك لتجاوز قيود حساب وتخزين الأجهزة الفردية. على الرغم من أن لديها خصائص "اللامركزية" من الناحية الفيزيائية ، إلا أن الكل لا يزال تحت سيطرة المركزية من حيث التحكم والتنسيق والمزامنة ، وغالبًا ما تعمل في بيئة شبكة محلية عالية السرعة ، من خلال تقنية ناقل الاتصال السريع NVLink ، حيث يتم تنسيق المهام الفرعية من قبل العقدة الرئيسية. تشمل الطرق الرئيسية ما يلي:
التوازي البياني: كل عقدة تدرب معلمات بيانات مختلفة مع مشاركة المعلمات، ويجب أن تطابق أوزان النموذج
التوازي في النموذج: نشر أجزاء مختلفة من النموذج على عقد مختلفة لتحقيق قابلية توسيع قوية
تنفيذ متسلسل على مراحل: زيادة معدل الإرسال
التوازي الموتر: تقسيم دقيق لحساب المصفوفات، تحسين درجة التوازي
التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، مقارنةً بمدير واحد يقود عن بُعد تعاون موظفي "المكاتب" المتعددة لإنجاز المهام. حاليًا، يتم تدريب جميع النماذج الكبيرة الرئيسية تقريبًا (GPT-4، Gemini، LLaMA وغيرها ) بهذه الطريقة.
اللامركزية التدريب تمثل مسارًا مستقبليًا أكثر انفتاحًا ومقاومة للرقابة. تتمثل الخصائص الأساسية في: عدة عقد غير موثوقة ( قد تكون أجهزة كمبيوتر منزلية، أو GPU سحابية، أو أجهزة حافة ) تتعاون لإكمال مهام التدريب بدون منسق مركزي، وغالبًا ما يتم دفع توزيع المهام والتعاون من خلال بروتوكولات، مع الاستفادة من آليات التحفيز التشفير لضمان نزاهة المساهمات. تشمل التحديات الرئيسية التي تواجه هذا النموذج:
صعوبة التوزيع والتقسيم بين الأجهزة المتنوعة: صعوبة التنسيق بين الأجهزة المتنوعة، وانخفاض كفاءة تقسيم المهام
اختناق كفاءة الاتصال: الاتصال الشبكي غير مستقر، واختناق تزامن التدرج واضح
نقص التنفيذ الموثوق: نقص في بيئة التنفيذ الموثوق، مما يجعل من الصعب التحقق مما إذا كانت العقدة تشارك فعليًا في الحساب
نقص التنسيق الموحد: لا يوجد جهاز تحكم مركزي، وتعقيد آلية توزيع المهام والرجوع عن الأخطاء
يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين من جميع أنحاء العالم، يساهم كل منهم بقوة الحوسبة لتدريب النموذج بشكل متعاون، لكن "التدريب اللامركزي الكبير القابل للتطبيق حقًا" لا يزال تحديًا هندسيًا منهجيًا، يتعلق بهندسة النظام، وبروتوكولات الاتصال، وأمان التشفير، وآلية الاقتصاد، والتحقق من النموذج على عدة مستويات، ولكن ما إذا كان يمكن تحقيق "التعاون الفعال + تحفيز الأمانة + النتائج الصحيحة" لا يزال في مرحلة استكشاف النماذج الأولية المبكرة.
يتسم التعلم الفيدرالي كونه شكل انتقال بين التوزيع واللامركزية، بالتركيز على الاحتفاظ المحلي بالبيانات، وتجميع مركز لمتغيرات النموذج، مما يجعله مناسبًا لمشاهد التركيز على الامتثال للخصوصية مثل الرعاية الصحية، والمال. يتمتع التعلم الفيدرالي بهيكل هندسي للتدريب الموزع وقدرة على التعاون المحلي، بينما يحتفظ أيضًا بميزة توزيع البيانات في التدريب اللامركزي، لكنه لا يزال يعتمد على طرف موثوق للتنسيق، ولا يملك خصائص الانفتاح الكامل ومقاومة الرقابة. يمكن اعتباره نوعًا من "اللامركزية الخاضعة للرقابة" في مشاهد الامتثال للخصوصية، حيث يكون أكثر اعتدالًا في مهام التدريب، وهيكل الثقة وآلية الاتصال، مما يجعله أكثر ملاءمة كهيكل نشر انتقالي في الصناعة.
حدود التدريب اللامركزي، الفرص والمسارات الواقعية
من حيث نمط التدريب، فإن التدريب اللامركزي لا يناسب جميع أنواع المهام. في بعض السيناريوهات، نظراً لتعقيد هيكل المهمة، أو ارتفاع متطلبات الموارد، أو صعوبة التعاون، فإنه بطبيعته لا يناسب الكفاءة في إتمامها بين عقد غير متجانسة وموثوقة. على سبيل المثال، يعتمد تدريب النماذج الكبيرة عادةً على ذاكرة عالية، ووقت استجابة منخفض، وعرض نطاق ترددي عالي، مما يجعل من الصعب تقسيمها ومزامنتها بشكل فعال في شبكة مفتوحة؛ كما أن المهام التي تتعلق بخصوصية البيانات والقيود السيادية ( مثل الرعاية الصحية، والتمويل، والبيانات الحساسة ) مقيدة بالقوانين والامتثال والأخلاقيات، مما يمنع المشاركة المفتوحة؛ بينما المهام التي تفتقر إلى حوافز التعاون ( مثل نماذج الشركات المغلقة أو تدريب النماذج الأولية الداخلية ) تفتقر إلى حافز المشاركة الخارجية. تشكل هذه الحدود معًا القيود الواقعية الحالية للتدريب اللامركزي.
لكن هذا لا يعني أن التدريب اللامركزي هو فرضية زائفة. في الواقع، في أنواع المهام ذات الهيكل الخفيف، السهلة التوازي، القابلة للتحفيز، يظهر التدريب اللامركزي آفاق تطبيق واضحة. بما في ذلك، على سبيل المثال لا الحصر: ضبط LoRA، مهام ما بعد التدريب المتعلقة بمحاذاة السلوك ( مثل RLHF، DPO )، تدريب وتسمية البيانات عبر الحشود، تدريب نماذج أساسية صغيرة قابلة للتحكم في الموارد، وأيضًا سيناريوهات التدريب التعاوني بمشاركة أجهزة الحافة. تتمتع هذه المهام عمومًا بخصائص عالية التوازي، وانخفاض الترابط، وتحمل القدرة الحاسوبية المتنوعة، مما يجعلها مناسبة جدًا للتدريب التعاوني عبر شبكات P2P، وبروتوكول Swarm، والمحسنات الموزعة.
تحليل مشروع التدريب الكلاسيكي اللامركزي
تتضمن المشاريع الرائدة في مجال التدريب اللامركزي والتعلم الفيدرالي حاليًا على مستوى البلوكشين كل من Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التقني وصعوبة التنفيذ الهندسي، قدمت Prime Intellect وNous Research وPluralis.ai العديد من الاستكشافات الأصلية في تصميم النظام والخوارزميات، وتمثل الاتجاهات الرائدة للبحث النظري الحالي؛ بينما تعتبر طرق التنفيذ لكل من Gensyn وFlock.io أكثر وضوحًا، حيث يمكن رؤية تقدم هندسي أولي. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهياكل الهندسية وراء هذه المشاريع الخمسة، بالإضافة إلى مناقشة الفروق والعلاقات التكاملية بينها في نظام التدريب AI اللامركزي.
( Prime Intellect: مسار التدريب القابل للتحقق من صحة التعلم المعزز للشبكة التعاونية الرائدة
تسعى Prime Intellect لبناء شبكة تدريب AI غير معتمدة على الثقة، مما يسمح لأي شخص بالمشاركة في التدريب، والحصول على مكافآت موثوقة مقابل مساهماته الحسابية. تأمل Prime Intellect في بناء نظام تدريب AI اللامركزي القابل للتحقق، المفتوح، والذي يحتوي على آلية تحفيز كاملة من خلال ثلاثة وحدات: PRIME-RL + TOPLOC + SHARDCAST.
)# 01، هيكل بروتوكول Prime Intellect و قيمة الوحدات الرئيسية
![كأس القدر ل Crypto AI: استكشاف الحدود في التدريب اللامركزي]###https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp###
(# 02، شرح آلية التدريب الرئيسية لـ Prime Intellect
#PRIME-RL: هيكل مهمة التعلم المعزز غير المتزامن المفكك
PRIME-RL هو إطار نمذجة وتنفيذ المهام المخصص من قبل Prime Intellect لسيناريوهات التدريب اللامركزية، مصمم خصيصًا للشبكات غير المتجانسة والمشاركة غير المتزامنة. يعتمد على التعلم المعزز كهدف رئيسي للتكيف، ويفصل هيكليًا بين عمليات التدريب والاستدلال ورفع الأوزان، مما يسمح لكل عقدة تدريب بإكمال دورة المهام بشكل مستقل محليًا، والتعاون من خلال واجهات معيارية وآليات التحقق والتجميع. مقارنةً بعمليات التعلم الخاضعة للإشراف التقليدية، يُعتبر PRIME-RL أكثر ملاءمة لتنفيذ التدريب المرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام، ويمهد الطريق لدعم المهام المتعددة بالتوازي وتطور الاستراتيجيات.
#TOPLOC:آلية تحقق سلوك التدريب الخفيف الوزن
TOPLOC)الملاحظة الموثوقة & تحقق سياسة المحلية### هو آلية جوهرية للتحقق من التدريب قدمتها Prime Intellect، تُستخدم لتحديد ما إذا كان العقد قد أكمل حقًا تعلم استراتيجية فعالة بناءً على بيانات الملاحظة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل يكمل التحقق الهيكلي الخفيف عن طريق تحليل المسارات المحلية للتناسق بين "سلسلة الملاحظات ↔ تحديث الاستراتيجية". إنه يحوّل للمرة الأولى مسارات السلوك خلال عملية التدريب إلى كائنات قابلة للتحقق، وهي الابتكار الرئيسي لتحقيق توزيع مكافآت التدريب بدون ثقة، مما يوفر مسارًا قابلًا للتطبيق لبناء شبكة تدريب تعاونية لامركزية قابلة للتدقيق والتحفيز.
#SHARDCAST: بروتوكول تجميع الوزن غير المتزامن ونشره
SHARDCAST هو بروتوكول انتشار ودمج الوزن المصمم بواسطة Prime Intellect، تم optimizingه خصيصًا للبيئات الشبكية الحقيقية ذات الحالة غير المتزامنة، والقيود على النطاق الترددي، وتغير حالة العقد. يجمع بين آلية انتشار gossip واستراتيجية التزامن المحلي، مما يسمح لعدة عقد بتقديم تحديثات جزئية بشكل مستمر في حالة غير متزامنة، لتحقيق التقارب التدريجي للأوزان وتطور متعدد النسخ. مقارنةً بأساليب AllReduce المركزية أو المتزامنة، يعزز SHARDCAST بشكل كبير من قابلية التوسع والقدرة على تحمل الأخطاء في التدريب اللامركزي، وهو الأساس الرئيسي لبناء إجماع مستقر على الأوزان والتدريب المستمر.
#OpenDiLoCo: إطار الاتصال غير المتزامن المتناثر
OpenDiLoCo هو إطار تحسين الاتصالات الذي تم تحقيقه بشكل مستقل ومفتوح المصدر من قبل فريق Prime Intellect بناءً على فكرة DiLoCo التي قدمتها DeepMind، وهو مصمم خصيصًا للتحديات الشائعة في التدريب اللامركزي مثل قيود النطاق الترددي، تباين الأجهزة وعدم استقرار العقد. تعتمد هيكليته على التوازي في البيانات، من خلال بناء هياكل طوبولوجية نادرة مثل Ring وExpander وSmall-World، مما يتجنب تكاليف الاتصالات العالية الناتجة عن التزامن العالمي، ويعتمد فقط على العقد المجاورة المحلية لإكمال تدريب النموذج التعاوني. بالجمع بين التحديثات غير المتزامنة وآلية تحمل نقاط التوقف، يجعل OpenDiLoCo من الممكن أيضًا أن تشارك وحدات معالجة الرسوميات الاستهلاكية والأجهزة الطرفية في مهام التدريب بشكل مستقر، مما يعزز بشكل ملحوظ إمكانية المشاركة في التدريب العالمي، وهو أحد البنى التحتية الأساسية للاتصالات لبناء شبكة تدريب لامركزية.
#PCCL: مكتبة الاتصالات التعاونية
PCCL(Prime Collective Communication Library) هو مكتبة اتصالات خفيفة الوزن تم تصميمها خصيصًا من قبل Prime Intellect لبيئة تدريب AI اللامركزية، وتهدف إلى حل اختناقات التكيف في مكتبات الاتصالات التقليدية ( مثل NCCL وGloo) في الأجهزة المتنوعة والشبكات ذات النطاق الترددي المنخفض. يدعم PCCL الطوبولوجيا النادرة، وضغط التدرجات، والتزامن منخفض الدقة، واستعادة النقاط، ويمكن تشغيله على وحدات معالجة الرسوميات الاستهلاكية والعقد غير المستقرة، وهو مكون أساسي يدعم قدرة الاتصالات غير المتزامنة لبروتوكول OpenDiLoCo. لقد عزز بشكل ملحوظ من تحمل عرض النطاق الترددي لشبكات التدريب وتوافق الأجهزة، وفتح "آخر كيلومتر" من البنية التحتية للاتصالات لبناء شبكة تدريب تعاونية حقيقية مفتوحة وغير موثوقة.
(# 03، شبكة Prime Intellect والتحفيز وتقسيم الأدوار
بني Prime Intellect شبكة تدريب قابلة للتحقق، بدون إذن، وتتمتع بآلية حوافز اقتصادية، مما يتيح لأي شخص المشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول بناءً على ثلاث فئات من الأدوار الأساسية:
عقد التدريب: تنفيذ التدريب المحلي، تقديم تحديثات الوزن ومسارات المراقبة
عقد التحقق: استخدام آلية TOPLOC للتحقق من صحة سلوك التدريب، والمشاركة في حساب المكافآت وتجميع الاستراتيجيات
تتضمن العملية الأساسية للبروتوكول نشر المهام، تدريب العقد، التحقق من المسارات، تجميع الأوزان )SHARDCAST### وتوزيع المكافآت، مما يشكل حلقة تحفيزية تدور حول "سلوك التدريب الحقيقي".
(# 04، INTELLECT-2: أول إصدار لنموذج تدريب اللامركزي القابل للتحقق
أصدرت Prime Intellect INTELLECT-2 في مايو 2025، وهو الأول من نوعه في العالم من قبل
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
تسجيلات الإعجاب 10
أعجبني
10
9
إعادة النشر
مشاركة
تعليق
0/400
GasFeeCryer
· 07-29 21:37
هذا ما يسمى بالصناعة الثقيلة؟ أليس التعدين أكثر تعبًا؟
شاهد النسخة الأصليةرد0
OnChain_Detective
· 07-29 21:35
همم... تدريب الذكاء الاصطناعي المركزي؟ تم الكشف عن علم أحمر رئيسي. تحليل الأنماط يظهر مخاطر نقطة الفشل الواحدة بصراحة
شاهد النسخة الأصليةرد0
AirdropHarvester
· 07-29 02:38
خداع الناس لتحقيق الربح就完事了 谁懂谁发财
شاهد النسخة الأصليةرد0
RooftopReserver
· 07-26 22:20
رائع! إنها مشهد كبير حقاً.
شاهد النسخة الأصليةرد0
Whale_Whisperer
· 07-26 22:13
البقرة: Q غير مسموح به في هذه الموجة من مكونات التدريب
شاهد النسخة الأصليةرد0
CodeSmellHunter
· 07-26 22:12
آه، ماذا يمكن أن تفعل هذه الشيء باستثناء حرق بطاقة الرسومات؟
شاهد النسخة الأصليةرد0
ThatsNotARugPull
· 07-26 22:12
ألقى نظرة وشعر أنها كلها فخ
شاهد النسخة الأصليةرد0
DaisyUnicorn
· 07-26 22:04
واو~ اللامركزية التدريب هي مثل زهرة صغيرة فوضوية لكنها برية جدًا
شاهد النسخة الأصليةرد0
ApeWithNoFear
· 07-26 21:47
التعدين استهلاكها أصبح كبيراً الآن ماذا عن حرق كهرباء الذكاء الاصطناعي؟
تحديات وفرص تدريب الذكاء الاصطناعي اللامركزي: برايم إنتيليكت تفتح نموذجًا جديدًا
اللامركزية训练:AI领域的圣杯探索
في سلسلة القيمة الكاملة للذكاء الاصطناعي، يُعتبر تدريب النموذج هو المرحلة الأكثر استهلاكًا للموارد والأعلى من حيث الحواجز التقنية، حيث تحدد بشكل مباشر الحد الأقصى لقدرات النموذج وفعالية التطبيقات العملية. مقارنةً بعملية الاستدلال التي تتطلب استدعاءً خفيف الوزن، يتطلب تدريب النموذج استثمارًا مستمرًا في القدرة الحاسوبية الكبيرة، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعله "صناعة ثقيلة" حقيقية لبناء أنظمة الذكاء الاصطناعي. من منظور نماذج البنية، يمكن تصنيف طرق التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي يناقش في هذه المقالة.
يعد التدريب المركز طريقة تقليدية شائعة، يتم تنفيذ جميع عمليات التدريب بواسطة مؤسسة واحدة داخل تجمع محلي عالي الأداء، حيث يتم تنسيق تشغيل جميع مكونات الأجهزة والبرامج الأساسية ونظام جدولة التجمع وإطار التدريب بواسطة نظام تحكم موحد. تتيح هذه البنية التحتية المتكاملة مشاركة الذاكرة، وتزامن التدرجات، وآليات تحمل الأخطاء لتحقيق أعلى كفاءة، مما يجعلها مناسبة جدًا لتدريب نماذج كبيرة مثل GPT وGemini، مما يوفر مزايا الكفاءة العالية والتحكم في الموارد، ولكنها في الوقت نفسه تعاني من مشاكل مثل احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقاط الفردية.
يعد التدريب الموزع الطريقة السائدة لتدريب النماذج الكبيرة ، حيث يكمن جوهره في تقسيم مهام تدريب النموذج ثم توزيعها على العديد من الآلات لتنفيذها بشكل تعاوني ، وذلك لتجاوز قيود حساب وتخزين الأجهزة الفردية. على الرغم من أن لديها خصائص "اللامركزية" من الناحية الفيزيائية ، إلا أن الكل لا يزال تحت سيطرة المركزية من حيث التحكم والتنسيق والمزامنة ، وغالبًا ما تعمل في بيئة شبكة محلية عالية السرعة ، من خلال تقنية ناقل الاتصال السريع NVLink ، حيث يتم تنسيق المهام الفرعية من قبل العقدة الرئيسية. تشمل الطرق الرئيسية ما يلي:
التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، مقارنةً بمدير واحد يقود عن بُعد تعاون موظفي "المكاتب" المتعددة لإنجاز المهام. حاليًا، يتم تدريب جميع النماذج الكبيرة الرئيسية تقريبًا (GPT-4، Gemini، LLaMA وغيرها ) بهذه الطريقة.
اللامركزية التدريب تمثل مسارًا مستقبليًا أكثر انفتاحًا ومقاومة للرقابة. تتمثل الخصائص الأساسية في: عدة عقد غير موثوقة ( قد تكون أجهزة كمبيوتر منزلية، أو GPU سحابية، أو أجهزة حافة ) تتعاون لإكمال مهام التدريب بدون منسق مركزي، وغالبًا ما يتم دفع توزيع المهام والتعاون من خلال بروتوكولات، مع الاستفادة من آليات التحفيز التشفير لضمان نزاهة المساهمات. تشمل التحديات الرئيسية التي تواجه هذا النموذج:
يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين من جميع أنحاء العالم، يساهم كل منهم بقوة الحوسبة لتدريب النموذج بشكل متعاون، لكن "التدريب اللامركزي الكبير القابل للتطبيق حقًا" لا يزال تحديًا هندسيًا منهجيًا، يتعلق بهندسة النظام، وبروتوكولات الاتصال، وأمان التشفير، وآلية الاقتصاد، والتحقق من النموذج على عدة مستويات، ولكن ما إذا كان يمكن تحقيق "التعاون الفعال + تحفيز الأمانة + النتائج الصحيحة" لا يزال في مرحلة استكشاف النماذج الأولية المبكرة.
يتسم التعلم الفيدرالي كونه شكل انتقال بين التوزيع واللامركزية، بالتركيز على الاحتفاظ المحلي بالبيانات، وتجميع مركز لمتغيرات النموذج، مما يجعله مناسبًا لمشاهد التركيز على الامتثال للخصوصية مثل الرعاية الصحية، والمال. يتمتع التعلم الفيدرالي بهيكل هندسي للتدريب الموزع وقدرة على التعاون المحلي، بينما يحتفظ أيضًا بميزة توزيع البيانات في التدريب اللامركزي، لكنه لا يزال يعتمد على طرف موثوق للتنسيق، ولا يملك خصائص الانفتاح الكامل ومقاومة الرقابة. يمكن اعتباره نوعًا من "اللامركزية الخاضعة للرقابة" في مشاهد الامتثال للخصوصية، حيث يكون أكثر اعتدالًا في مهام التدريب، وهيكل الثقة وآلية الاتصال، مما يجعله أكثر ملاءمة كهيكل نشر انتقالي في الصناعة.
حدود التدريب اللامركزي، الفرص والمسارات الواقعية
من حيث نمط التدريب، فإن التدريب اللامركزي لا يناسب جميع أنواع المهام. في بعض السيناريوهات، نظراً لتعقيد هيكل المهمة، أو ارتفاع متطلبات الموارد، أو صعوبة التعاون، فإنه بطبيعته لا يناسب الكفاءة في إتمامها بين عقد غير متجانسة وموثوقة. على سبيل المثال، يعتمد تدريب النماذج الكبيرة عادةً على ذاكرة عالية، ووقت استجابة منخفض، وعرض نطاق ترددي عالي، مما يجعل من الصعب تقسيمها ومزامنتها بشكل فعال في شبكة مفتوحة؛ كما أن المهام التي تتعلق بخصوصية البيانات والقيود السيادية ( مثل الرعاية الصحية، والتمويل، والبيانات الحساسة ) مقيدة بالقوانين والامتثال والأخلاقيات، مما يمنع المشاركة المفتوحة؛ بينما المهام التي تفتقر إلى حوافز التعاون ( مثل نماذج الشركات المغلقة أو تدريب النماذج الأولية الداخلية ) تفتقر إلى حافز المشاركة الخارجية. تشكل هذه الحدود معًا القيود الواقعية الحالية للتدريب اللامركزي.
لكن هذا لا يعني أن التدريب اللامركزي هو فرضية زائفة. في الواقع، في أنواع المهام ذات الهيكل الخفيف، السهلة التوازي، القابلة للتحفيز، يظهر التدريب اللامركزي آفاق تطبيق واضحة. بما في ذلك، على سبيل المثال لا الحصر: ضبط LoRA، مهام ما بعد التدريب المتعلقة بمحاذاة السلوك ( مثل RLHF، DPO )، تدريب وتسمية البيانات عبر الحشود، تدريب نماذج أساسية صغيرة قابلة للتحكم في الموارد، وأيضًا سيناريوهات التدريب التعاوني بمشاركة أجهزة الحافة. تتمتع هذه المهام عمومًا بخصائص عالية التوازي، وانخفاض الترابط، وتحمل القدرة الحاسوبية المتنوعة، مما يجعلها مناسبة جدًا للتدريب التعاوني عبر شبكات P2P، وبروتوكول Swarm، والمحسنات الموزعة.
تحليل مشروع التدريب الكلاسيكي اللامركزي
تتضمن المشاريع الرائدة في مجال التدريب اللامركزي والتعلم الفيدرالي حاليًا على مستوى البلوكشين كل من Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التقني وصعوبة التنفيذ الهندسي، قدمت Prime Intellect وNous Research وPluralis.ai العديد من الاستكشافات الأصلية في تصميم النظام والخوارزميات، وتمثل الاتجاهات الرائدة للبحث النظري الحالي؛ بينما تعتبر طرق التنفيذ لكل من Gensyn وFlock.io أكثر وضوحًا، حيث يمكن رؤية تقدم هندسي أولي. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهياكل الهندسية وراء هذه المشاريع الخمسة، بالإضافة إلى مناقشة الفروق والعلاقات التكاملية بينها في نظام التدريب AI اللامركزي.
( Prime Intellect: مسار التدريب القابل للتحقق من صحة التعلم المعزز للشبكة التعاونية الرائدة
تسعى Prime Intellect لبناء شبكة تدريب AI غير معتمدة على الثقة، مما يسمح لأي شخص بالمشاركة في التدريب، والحصول على مكافآت موثوقة مقابل مساهماته الحسابية. تأمل Prime Intellect في بناء نظام تدريب AI اللامركزي القابل للتحقق، المفتوح، والذي يحتوي على آلية تحفيز كاملة من خلال ثلاثة وحدات: PRIME-RL + TOPLOC + SHARDCAST.
)# 01، هيكل بروتوكول Prime Intellect و قيمة الوحدات الرئيسية
![كأس القدر ل Crypto AI: استكشاف الحدود في التدريب اللامركزي]###https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp###
(# 02، شرح آلية التدريب الرئيسية لـ Prime Intellect
#PRIME-RL: هيكل مهمة التعلم المعزز غير المتزامن المفكك
PRIME-RL هو إطار نمذجة وتنفيذ المهام المخصص من قبل Prime Intellect لسيناريوهات التدريب اللامركزية، مصمم خصيصًا للشبكات غير المتجانسة والمشاركة غير المتزامنة. يعتمد على التعلم المعزز كهدف رئيسي للتكيف، ويفصل هيكليًا بين عمليات التدريب والاستدلال ورفع الأوزان، مما يسمح لكل عقدة تدريب بإكمال دورة المهام بشكل مستقل محليًا، والتعاون من خلال واجهات معيارية وآليات التحقق والتجميع. مقارنةً بعمليات التعلم الخاضعة للإشراف التقليدية، يُعتبر PRIME-RL أكثر ملاءمة لتنفيذ التدريب المرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام، ويمهد الطريق لدعم المهام المتعددة بالتوازي وتطور الاستراتيجيات.
#TOPLOC:آلية تحقق سلوك التدريب الخفيف الوزن
TOPLOC)الملاحظة الموثوقة & تحقق سياسة المحلية### هو آلية جوهرية للتحقق من التدريب قدمتها Prime Intellect، تُستخدم لتحديد ما إذا كان العقد قد أكمل حقًا تعلم استراتيجية فعالة بناءً على بيانات الملاحظة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل يكمل التحقق الهيكلي الخفيف عن طريق تحليل المسارات المحلية للتناسق بين "سلسلة الملاحظات ↔ تحديث الاستراتيجية". إنه يحوّل للمرة الأولى مسارات السلوك خلال عملية التدريب إلى كائنات قابلة للتحقق، وهي الابتكار الرئيسي لتحقيق توزيع مكافآت التدريب بدون ثقة، مما يوفر مسارًا قابلًا للتطبيق لبناء شبكة تدريب تعاونية لامركزية قابلة للتدقيق والتحفيز.
#SHARDCAST: بروتوكول تجميع الوزن غير المتزامن ونشره
SHARDCAST هو بروتوكول انتشار ودمج الوزن المصمم بواسطة Prime Intellect، تم optimizingه خصيصًا للبيئات الشبكية الحقيقية ذات الحالة غير المتزامنة، والقيود على النطاق الترددي، وتغير حالة العقد. يجمع بين آلية انتشار gossip واستراتيجية التزامن المحلي، مما يسمح لعدة عقد بتقديم تحديثات جزئية بشكل مستمر في حالة غير متزامنة، لتحقيق التقارب التدريجي للأوزان وتطور متعدد النسخ. مقارنةً بأساليب AllReduce المركزية أو المتزامنة، يعزز SHARDCAST بشكل كبير من قابلية التوسع والقدرة على تحمل الأخطاء في التدريب اللامركزي، وهو الأساس الرئيسي لبناء إجماع مستقر على الأوزان والتدريب المستمر.
#OpenDiLoCo: إطار الاتصال غير المتزامن المتناثر
OpenDiLoCo هو إطار تحسين الاتصالات الذي تم تحقيقه بشكل مستقل ومفتوح المصدر من قبل فريق Prime Intellect بناءً على فكرة DiLoCo التي قدمتها DeepMind، وهو مصمم خصيصًا للتحديات الشائعة في التدريب اللامركزي مثل قيود النطاق الترددي، تباين الأجهزة وعدم استقرار العقد. تعتمد هيكليته على التوازي في البيانات، من خلال بناء هياكل طوبولوجية نادرة مثل Ring وExpander وSmall-World، مما يتجنب تكاليف الاتصالات العالية الناتجة عن التزامن العالمي، ويعتمد فقط على العقد المجاورة المحلية لإكمال تدريب النموذج التعاوني. بالجمع بين التحديثات غير المتزامنة وآلية تحمل نقاط التوقف، يجعل OpenDiLoCo من الممكن أيضًا أن تشارك وحدات معالجة الرسوميات الاستهلاكية والأجهزة الطرفية في مهام التدريب بشكل مستقر، مما يعزز بشكل ملحوظ إمكانية المشاركة في التدريب العالمي، وهو أحد البنى التحتية الأساسية للاتصالات لبناء شبكة تدريب لامركزية.
#PCCL: مكتبة الاتصالات التعاونية
PCCL(Prime Collective Communication Library) هو مكتبة اتصالات خفيفة الوزن تم تصميمها خصيصًا من قبل Prime Intellect لبيئة تدريب AI اللامركزية، وتهدف إلى حل اختناقات التكيف في مكتبات الاتصالات التقليدية ( مثل NCCL وGloo) في الأجهزة المتنوعة والشبكات ذات النطاق الترددي المنخفض. يدعم PCCL الطوبولوجيا النادرة، وضغط التدرجات، والتزامن منخفض الدقة، واستعادة النقاط، ويمكن تشغيله على وحدات معالجة الرسوميات الاستهلاكية والعقد غير المستقرة، وهو مكون أساسي يدعم قدرة الاتصالات غير المتزامنة لبروتوكول OpenDiLoCo. لقد عزز بشكل ملحوظ من تحمل عرض النطاق الترددي لشبكات التدريب وتوافق الأجهزة، وفتح "آخر كيلومتر" من البنية التحتية للاتصالات لبناء شبكة تدريب تعاونية حقيقية مفتوحة وغير موثوقة.
(# 03، شبكة Prime Intellect والتحفيز وتقسيم الأدوار
بني Prime Intellect شبكة تدريب قابلة للتحقق، بدون إذن، وتتمتع بآلية حوافز اقتصادية، مما يتيح لأي شخص المشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول بناءً على ثلاث فئات من الأدوار الأساسية:
تتضمن العملية الأساسية للبروتوكول نشر المهام، تدريب العقد، التحقق من المسارات، تجميع الأوزان )SHARDCAST### وتوزيع المكافآت، مما يشكل حلقة تحفيزية تدور حول "سلوك التدريب الحقيقي".
(# 04، INTELLECT-2: أول إصدار لنموذج تدريب اللامركزي القابل للتحقق
أصدرت Prime Intellect INTELLECT-2 في مايو 2025، وهو الأول من نوعه في العالم من قبل