Децентрализация тренировки: Поиск святого грааля в области ИИ
В полной цепочке ценности ИИ обучение моделей является этапом с наибольшими затратами ресурсов и самым высоким техническим порогом, что напрямую определяет предельные возможности модели и фактическую эффективность применения. В отличие от легковесного вызова на этапе вывода, процесс обучения требует постоянного масштабного вычислительного ресурса, сложных процессов обработки данных и поддержки высокоинтенсивных оптимизационных алгоритмов, что является настоящей "тяжелой промышленностью" в построении ИИ-систем. С точки зрения архитектурных парадигм способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, на котором акцентируется внимание в данной статье.
Централизованное обучение — это наиболее распространенный традиционный подход, при котором весь процесс обучения выполняется одной организацией на локальном высокопроизводительном кластере. Все компоненты, от аппаратного обеспечения и программного обеспечения нижнего уровня до системы расписания кластера и фреймворка обучения, координируются единым контролирующим системом. Эта глубоко согласованная архитектура позволяет достичь максимальной эффективности в совместном использовании памяти, синхронизации градиентов и механизмах отказоустойчивости, что делает её очень подходящей для обучения крупных моделей, таких как GPT и Gemini, обладая высокой эффективностью и контролируемыми ресурсами, но одновременно сталкиваясь с проблемами монополии данных, барьеров для ресурсов, потребления энергии и рисков единой точки отказа.
Распределенное обучение является основным способом обучения больших моделей в настоящее время. Его суть заключается в том, чтобы разбить задачи обучения модели и распределить их на несколько машин для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Несмотря на то что физически обладает "дистрибутивными" характеристиками, в целом все еще контролируется централизованной организацией для управления и синхронизации, часто работает в среде высокоскоростных локальных сетей, используя технологию высокоскоростной межсоединительной шины NVLink, где главный узел координирует все подзадачи. Основные методы включают:
Параллельные данные: каждый узел обучает разные данные, параметры общие, необходимо сопоставить веса модели
Модельное параллелизм: развертывание различных частей модели на разных узлах для достижения высокой масштабируемости
Параллелизм конвейера: последовательное выполнение по этапам, повышение пропускной способности
Тензорное параллелизм: детализированное разбиение матричных вычислений, повышение параллельной гранулярности
Распределенная тренировка является комбинацией "централизованного контроля + распределенного выполнения", аналогично тому, как один и тот же начальник удаленно управляет несколькими сотрудниками из "офисов", чтобы совместно выполнять задачи. В настоящее время почти все основные большие модели (GPT-4, Gemini, LLaMA и т.д. ) тренируются именно таким образом.
Децентрализация тренировки представляет собой более открытую и антикоррупционную будущую траекторию. Его ключевыми характеристиками являются: несколько недоверяющих узлов (, которые могут быть домашними компьютерами, облачными GPU или крайними устройствами ), совместно выполняющими задачи обучения без центрального координатора, обычно с помощью протоколов для распределения задач и сотрудничества, а также с использованием криптостимулов для обеспечения честности вклада. Основные вызовы, с которыми сталкивается данный режим, включают:
Гетерогенность устройств и трудности разделения: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач
Отсутствие доверяемого исполнения: недостаток доверяемой среды выполнения затрудняет проверку того, действительно ли узлы участвуют в вычислениях.
Недостаток единой координации: нет центрального диспетчера, распределение задач и механизм отката исключений сложны
Децентрализация тренировки можно понять как: группа глобальных волонтеров, которые совместно вносят вычислительную мощность для тренировки модели, но "действительно осуществимая масштабная децентрализация тренировки" все еще является системным инженерным вызовом, затрагивающим различные уровни, такие как системная архитектура, коммуникационные протоколы, криптографическая безопасность, экономические механизмы, валидация моделей и т.д., но возможность "согласованной эффективности + стимула к честности + правильности результатов" все еще находится на стадии раннего прототипирования.
Федеративное обучение, как переходная форма между распределенным и Децентрализация, подчеркивает локальное хранение данных и централизованную агрегацию параметров модели, что подходит для сцен, ориентированных на соблюдение конфиденциальности, таких как медицина, финансы (. Федеративное обучение обладает инженерной структурой распределенного обучения и локальной коллаборационной способностью, а также преимуществами распределенных данных в Децентрализация, но все еще зависит от доверенной стороны-координатора и не обладает полностью открытыми и антикоррупционными характеристиками. Его можно рассматривать как "контролируемую Децентрализация" в условиях соблюдения конфиденциальности, которая относительно мягкая по задачам обучения, структуре доверия и механизмам связи, что делает его более подходящим для переходной архитектуры развертывания в промышленности.
![Святой Грааль Crypto AI: передовые исследования в области Децентрализации обучения])https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучение не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задачи, высокой потребности в ресурсах или большого трудности в сотрудничестве, оно естественно не подходит для эффективного выполнения между гетерогенными, доверительными узлами. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытой сети; задачи с сильными ограничениями на конфиденциальность данных и суверенитет ), такие как медицина, финансы, конфиденциальные данные (, ограничиваются правовыми нормами и этическими ограничениями, что делает невозможным открытое совместное использование; в то время как задачи ), у которых нет основы для сотрудничества, такие как закрытые модели компаний или внутреннее обучение прототипов (, не имеют внешних стимулов для участия. Эти границы вместе составляют реальные ограничения Децентрализация обучения в настоящее время.
Но это не означает, что Децентрализация тренировка является ложной проблемой. На самом деле, в задачах с легкой структурой, легкостью параллелизма и возможностью мотивации, Децентрализация тренировка демонстрирует четкие перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи постобучения для выравнивания поведения ), такие как RLHF, DPO (, задачи по краудсорсингу данных и аннотированию, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии кооперативного обучения с участием edge-устройств. Эти задачи обычно обладают высокой параллельностью, низкой связностью и терпимостью к гетерогенной вычислительной мощности, что делает их очень подходящими для кооперативного обучения через P2P сети, протокол Swarm, распределенные оптимизаторы и т.д.
![Крипто ИИ Святой Грааль: Децентрализация обучения на переднем крае исследований])https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp(
Децентрализация тренировки классических проектов анализа
В настоящее время в области Децентрализация обучения и федеративного обучения,代表性的 блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и проектирования алгоритмов, представляя собой передовые направления теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, уже можно увидеть предварительный прогресс в инженерной реализации. В данной статье последовательно будут проанализированы ключевые технологии и инженерные архитектуры этих пяти проектов, а также дополнительно исследованы их различия и взаимодополняющие отношения в системе Децентрализация AI-обучения.
) Prime Intellect: Подтверждаемая траектория обучения, совместная сеть пионеров усиленного обучения
Prime Intellect стремится построить сеть обучения ИИ, не требующую доверия, позволяя каждому участвовать в обучении и получать заслуженные награды за свои вычислительные вклад. Prime Intellect надеется создать децентрализованную систему обучения ИИ с проверяемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
01、Структура протокола Prime Intellect и ценность ключевых модулей
![Крипто ИИ Святой Грааль: Децентрализация обучения на переднем крае]###https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp(
)# 02、Подробное объяснение ключевых механизмов тренировки Prime Intellect
#PRIME-RL: Декуплированная асинхронная архитектура задач усиленного обучения
PRIME-RL является фреймворком моделирования задач и выполнения, разработанным Prime Intellect для Децентрализация тренировочных сцен, специально созданным для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно разделяя процессы обучения, вывода и загрузки весов, что позволяет каждому тренировочному узлу независимо завершать цикл задач локально и сотрудничать через стандартизированный интерфейс с механизмами проверки и агрегации. По сравнению с традиционным процессом обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в средах без централизации управления, снижая сложность системы и создавая основы для поддержки параллельного выполнения многозадачности и эволюции стратегий.
#TOPLOC:Легковесный механизм верификации поведения обучения
TOPLOC###Доверенное наблюдение и проверка локальности( - это основной механизм тренируемой проверяемости, предложенный Prime Intellect, который используется для определения того, завершил ли узел эффективное обучение стратегии на основе данных наблюдения. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от повторного расчета всей модели, а завершает верификацию легковесной структуры, анализируя локальную согласованность траекторий между "последовательностью наблюдений ↔ обновлением стратегии". Впервые он превращает траектории поведения в процессе обучения в проверяемые объекты, что является ключевым новшеством для реализации распределения вознаграждений за обучение без доверия и предоставляет жизнеспособный путь для создания可审计、可激励的去中心化协作训练网络.
#SHARDCAST: Асинхронная агрегация весов и протокол распространения
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для асинхронной, ограниченной пропускной способностью и изменяющейся состояния узлов реальной сетевой среды. Он сочетает в себе механизм распространения gossip и стратегию локальной синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях разнесенного состояния, достигая прогрессивного сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно повышает масштабируемость и устойчивость к сбоям децентрализованного обучения, являясь основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
#OpenDiLoCo: Разреженная асинхронная коммуникационная структура
OpenDiLoCo - это независимая реализация и открытый исходный код оптимизированного коммуникационного фреймворка от команды Prime Intellect, основанного на концепции DiLoCo, предложенной DeepMind. Он специально разработан для решения таких проблем, как ограниченная пропускная способность, гетерогенность устройств и нестабильность узлов, часто возникающие в процессе Децентрализация обучения. Его архитектура основана на параллельной обработке данных, с помощью построения разреженных топологических структур, таких как Ring, Expander и Small-World, что позволяет избежать высоких коммуникационных затрат на глобальную синхронизацию и завершать совместное обучение моделей, полагаясь только на локальных соседних узлов. В сочетании с асинхронными обновлениями и механизмом восстановления после сбоев OpenDiLoCo позволяет потребительским GPU и крайним устройствам стабильно участвовать в задачах обучения, что значительно повышает доступность глобального совместного обучения и является одной из ключевых коммуникационных инфраструктур для построения децентрализованной сети обучения.
#PCCL: Библиотека совместной связи
PCCL)Prime Collective Communication Library( является легковесной библиотекой коммуникаций, созданной Prime Intellect для Децентрализация AI обучающей среды, призванной решить проблемы адаптации традиционных библиотек коммуникаций), таких как NCCL и Gloo(, в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженную топологию, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, является основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Он значительно повышает допустимость пропускной способности сети для обучения и совместимость устройств, открывая "последнюю милю" коммуникационной основы для создания действительно открытой, ненадежной сети совместного обучения.
)# 03, Сеть стимулирования и ролевое подразделение Prime Intellect
Prime Intellect создала тренировочную сеть, которая не требует разрешений, может быть проверена и имеет экономические стимулы, позволяя каждому участвовать в задачах и получать вознаграждение на основе реального вклада. Протокол работает на основе трех основных ролей:
Инициатор задачи: определение обучающей среды, начальной модели, функции вознаграждения и стандартов валидации
Узел обучения: выполнение локального обучения, отправка обновлений весов и наблюдательных траекторий
Узлы проверки: использование механизма TOPLOC для проверки подлинности тренировочного поведения и участия в расчете вознаграждений и агрегации стратегий.
Ядро процесса соглашения включает в себя публикацию задач, обучение узлов, проверку траекторий, агрегацию весов ###SHARDCAST( и распределение вознаграждений, образуя замкнутый цикл стимулов вокруг "реального учебного поведения".
![Святой Грааль Crypto AI: передовые исследования децентрализованного обучения])https://img-cdn.gateio.im/webp-social/moments-0a322ea8b70c3d00d8d99606559c1864.webp(
)# 04, INTELLECT-2: Выпуск первой проверяемой Децентрализация модели обучения
Prime Intellect выпустил INTELLECT-2 в мае 2025 года, это первый в мире продукт, основанный на аномальной
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
10 Лайков
Награда
10
9
Репост
Поделиться
комментарий
0/400
GasFeeCryer
· 07-29 21:37
Что это за тяжёлая промышленность? Майнинг не более утомителен?
Посмотреть ОригиналОтветить0
OnChain_Detective
· 07-29 21:35
хм... централизованное обучение ИИ? обнаружен серьезный красный флаг. анализ шаблонов показывает риски единой точки отказа, если честно
Посмотреть ОригиналОтветить0
AirdropHarvester
· 07-29 02:38
разыгрывайте людей как лохов, кто поймет, тот и разбогатеет
Посмотреть ОригиналОтветить0
RooftopReserver
· 07-26 22:20
Какой же огромный главная сцена, впечатляет!
Посмотреть ОригиналОтветить0
Whale_Whisperer
· 07-26 22:13
бык啊 эта волна тренировочного компонента не может не использовать Q
Посмотреть ОригиналОтветить0
CodeSmellHunter
· 07-26 22:12
А эта штука кроме как жечь видеокарты, что еще может делать?
Посмотреть ОригиналОтветить0
ThatsNotARugPull
· 07-26 22:12
Сверху взглянул, кажется, это все ловушка.
Посмотреть ОригиналОтветить0
DaisyUnicorn
· 07-26 22:04
Вау~ Децентрализация тренировки — это как дикий маленький цветок, полный беспорядка.
Посмотреть ОригиналОтветить0
ApeWithNoFear
· 07-26 21:47
Майнинг потребляет уже очень много, а теперь еще и жечь электричество для ИИ?
Децентрализация AI тренировки: вызовы и возможности: Prime Intellect создает новую парадигму
Децентрализация тренировки: Поиск святого грааля в области ИИ
В полной цепочке ценности ИИ обучение моделей является этапом с наибольшими затратами ресурсов и самым высоким техническим порогом, что напрямую определяет предельные возможности модели и фактическую эффективность применения. В отличие от легковесного вызова на этапе вывода, процесс обучения требует постоянного масштабного вычислительного ресурса, сложных процессов обработки данных и поддержки высокоинтенсивных оптимизационных алгоритмов, что является настоящей "тяжелой промышленностью" в построении ИИ-систем. С точки зрения архитектурных парадигм способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, на котором акцентируется внимание в данной статье.
Централизованное обучение — это наиболее распространенный традиционный подход, при котором весь процесс обучения выполняется одной организацией на локальном высокопроизводительном кластере. Все компоненты, от аппаратного обеспечения и программного обеспечения нижнего уровня до системы расписания кластера и фреймворка обучения, координируются единым контролирующим системом. Эта глубоко согласованная архитектура позволяет достичь максимальной эффективности в совместном использовании памяти, синхронизации градиентов и механизмах отказоустойчивости, что делает её очень подходящей для обучения крупных моделей, таких как GPT и Gemini, обладая высокой эффективностью и контролируемыми ресурсами, но одновременно сталкиваясь с проблемами монополии данных, барьеров для ресурсов, потребления энергии и рисков единой точки отказа.
Распределенное обучение является основным способом обучения больших моделей в настоящее время. Его суть заключается в том, чтобы разбить задачи обучения модели и распределить их на несколько машин для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Несмотря на то что физически обладает "дистрибутивными" характеристиками, в целом все еще контролируется централизованной организацией для управления и синхронизации, часто работает в среде высокоскоростных локальных сетей, используя технологию высокоскоростной межсоединительной шины NVLink, где главный узел координирует все подзадачи. Основные методы включают:
Распределенная тренировка является комбинацией "централизованного контроля + распределенного выполнения", аналогично тому, как один и тот же начальник удаленно управляет несколькими сотрудниками из "офисов", чтобы совместно выполнять задачи. В настоящее время почти все основные большие модели (GPT-4, Gemini, LLaMA и т.д. ) тренируются именно таким образом.
Децентрализация тренировки представляет собой более открытую и антикоррупционную будущую траекторию. Его ключевыми характеристиками являются: несколько недоверяющих узлов (, которые могут быть домашними компьютерами, облачными GPU или крайними устройствами ), совместно выполняющими задачи обучения без центрального координатора, обычно с помощью протоколов для распределения задач и сотрудничества, а также с использованием криптостимулов для обеспечения честности вклада. Основные вызовы, с которыми сталкивается данный режим, включают:
Децентрализация тренировки можно понять как: группа глобальных волонтеров, которые совместно вносят вычислительную мощность для тренировки модели, но "действительно осуществимая масштабная децентрализация тренировки" все еще является системным инженерным вызовом, затрагивающим различные уровни, такие как системная архитектура, коммуникационные протоколы, криптографическая безопасность, экономические механизмы, валидация моделей и т.д., но возможность "согласованной эффективности + стимула к честности + правильности результатов" все еще находится на стадии раннего прототипирования.
Федеративное обучение, как переходная форма между распределенным и Децентрализация, подчеркивает локальное хранение данных и централизованную агрегацию параметров модели, что подходит для сцен, ориентированных на соблюдение конфиденциальности, таких как медицина, финансы (. Федеративное обучение обладает инженерной структурой распределенного обучения и локальной коллаборационной способностью, а также преимуществами распределенных данных в Децентрализация, но все еще зависит от доверенной стороны-координатора и не обладает полностью открытыми и антикоррупционными характеристиками. Его можно рассматривать как "контролируемую Децентрализация" в условиях соблюдения конфиденциальности, которая относительно мягкая по задачам обучения, структуре доверия и механизмам связи, что делает его более подходящим для переходной архитектуры развертывания в промышленности.
![Святой Грааль Crypto AI: передовые исследования в области Децентрализации обучения])https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучение не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задачи, высокой потребности в ресурсах или большого трудности в сотрудничестве, оно естественно не подходит для эффективного выполнения между гетерогенными, доверительными узлами. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытой сети; задачи с сильными ограничениями на конфиденциальность данных и суверенитет ), такие как медицина, финансы, конфиденциальные данные (, ограничиваются правовыми нормами и этическими ограничениями, что делает невозможным открытое совместное использование; в то время как задачи ), у которых нет основы для сотрудничества, такие как закрытые модели компаний или внутреннее обучение прототипов (, не имеют внешних стимулов для участия. Эти границы вместе составляют реальные ограничения Децентрализация обучения в настоящее время.
Но это не означает, что Децентрализация тренировка является ложной проблемой. На самом деле, в задачах с легкой структурой, легкостью параллелизма и возможностью мотивации, Децентрализация тренировка демонстрирует четкие перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи постобучения для выравнивания поведения ), такие как RLHF, DPO (, задачи по краудсорсингу данных и аннотированию, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии кооперативного обучения с участием edge-устройств. Эти задачи обычно обладают высокой параллельностью, низкой связностью и терпимостью к гетерогенной вычислительной мощности, что делает их очень подходящими для кооперативного обучения через P2P сети, протокол Swarm, распределенные оптимизаторы и т.д.
![Крипто ИИ Святой Грааль: Децентрализация обучения на переднем крае исследований])https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp(
Децентрализация тренировки классических проектов анализа
В настоящее время в области Децентрализация обучения и федеративного обучения,代表性的 блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и проектирования алгоритмов, представляя собой передовые направления теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, уже можно увидеть предварительный прогресс в инженерной реализации. В данной статье последовательно будут проанализированы ключевые технологии и инженерные архитектуры этих пяти проектов, а также дополнительно исследованы их различия и взаимодополняющие отношения в системе Децентрализация AI-обучения.
) Prime Intellect: Подтверждаемая траектория обучения, совместная сеть пионеров усиленного обучения
Prime Intellect стремится построить сеть обучения ИИ, не требующую доверия, позволяя каждому участвовать в обучении и получать заслуженные награды за свои вычислительные вклад. Prime Intellect надеется создать децентрализованную систему обучения ИИ с проверяемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
01、Структура протокола Prime Intellect и ценность ключевых модулей
![Крипто ИИ Святой Грааль: Децентрализация обучения на переднем крае]###https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp(
)# 02、Подробное объяснение ключевых механизмов тренировки Prime Intellect
#PRIME-RL: Декуплированная асинхронная архитектура задач усиленного обучения
PRIME-RL является фреймворком моделирования задач и выполнения, разработанным Prime Intellect для Децентрализация тренировочных сцен, специально созданным для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно разделяя процессы обучения, вывода и загрузки весов, что позволяет каждому тренировочному узлу независимо завершать цикл задач локально и сотрудничать через стандартизированный интерфейс с механизмами проверки и агрегации. По сравнению с традиционным процессом обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в средах без централизации управления, снижая сложность системы и создавая основы для поддержки параллельного выполнения многозадачности и эволюции стратегий.
#TOPLOC:Легковесный механизм верификации поведения обучения
TOPLOC###Доверенное наблюдение и проверка локальности( - это основной механизм тренируемой проверяемости, предложенный Prime Intellect, который используется для определения того, завершил ли узел эффективное обучение стратегии на основе данных наблюдения. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от повторного расчета всей модели, а завершает верификацию легковесной структуры, анализируя локальную согласованность траекторий между "последовательностью наблюдений ↔ обновлением стратегии". Впервые он превращает траектории поведения в процессе обучения в проверяемые объекты, что является ключевым новшеством для реализации распределения вознаграждений за обучение без доверия и предоставляет жизнеспособный путь для создания可审计、可激励的去中心化协作训练网络.
#SHARDCAST: Асинхронная агрегация весов и протокол распространения
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для асинхронной, ограниченной пропускной способностью и изменяющейся состояния узлов реальной сетевой среды. Он сочетает в себе механизм распространения gossip и стратегию локальной синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях разнесенного состояния, достигая прогрессивного сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно повышает масштабируемость и устойчивость к сбоям децентрализованного обучения, являясь основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
#OpenDiLoCo: Разреженная асинхронная коммуникационная структура
OpenDiLoCo - это независимая реализация и открытый исходный код оптимизированного коммуникационного фреймворка от команды Prime Intellect, основанного на концепции DiLoCo, предложенной DeepMind. Он специально разработан для решения таких проблем, как ограниченная пропускная способность, гетерогенность устройств и нестабильность узлов, часто возникающие в процессе Децентрализация обучения. Его архитектура основана на параллельной обработке данных, с помощью построения разреженных топологических структур, таких как Ring, Expander и Small-World, что позволяет избежать высоких коммуникационных затрат на глобальную синхронизацию и завершать совместное обучение моделей, полагаясь только на локальных соседних узлов. В сочетании с асинхронными обновлениями и механизмом восстановления после сбоев OpenDiLoCo позволяет потребительским GPU и крайним устройствам стабильно участвовать в задачах обучения, что значительно повышает доступность глобального совместного обучения и является одной из ключевых коммуникационных инфраструктур для построения децентрализованной сети обучения.
#PCCL: Библиотека совместной связи
PCCL)Prime Collective Communication Library( является легковесной библиотекой коммуникаций, созданной Prime Intellect для Децентрализация AI обучающей среды, призванной решить проблемы адаптации традиционных библиотек коммуникаций), таких как NCCL и Gloo(, в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженную топологию, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, является основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Он значительно повышает допустимость пропускной способности сети для обучения и совместимость устройств, открывая "последнюю милю" коммуникационной основы для создания действительно открытой, ненадежной сети совместного обучения.
)# 03, Сеть стимулирования и ролевое подразделение Prime Intellect
Prime Intellect создала тренировочную сеть, которая не требует разрешений, может быть проверена и имеет экономические стимулы, позволяя каждому участвовать в задачах и получать вознаграждение на основе реального вклада. Протокол работает на основе трех основных ролей:
Ядро процесса соглашения включает в себя публикацию задач, обучение узлов, проверку траекторий, агрегацию весов ###SHARDCAST( и распределение вознаграждений, образуя замкнутый цикл стимулов вокруг "реального учебного поведения".
![Святой Грааль Crypto AI: передовые исследования децентрализованного обучения])https://img-cdn.gateio.im/webp-social/moments-0a322ea8b70c3d00d8d99606559c1864.webp(
)# 04, INTELLECT-2: Выпуск первой проверяемой Децентрализация модели обучения
Prime Intellect выпустил INTELLECT-2 в мае 2025 года, это первый в мире продукт, основанный на аномальной