Эволюция парадигмы обучения ИИ: от централизованного управления к Децентрализация кооперативной технологической революции
В полной цепочке создания стоимости ИИ обучение моделей является этапом с наибольшими затратами ресурсов и наиболее высокими техническими барьерами, который напрямую определяет предельные возможности модели и фактическую эффективность применения. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных масштабных вычислительных затрат, сложных процессов обработки данных и поддержки высокоинтенсивных алгоритмов оптимизации, что делает это настоящей "тяжелой индустрией" в построении систем ИИ. С точки зрения архитектурных парадигм, методы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, на котором акцентируется внимание в данной статье.
Централизованное обучение является наиболее распространенным традиционным способом, при котором единая организация завершает весь процесс обучения в локальном высокопроизводительном кластере, от аппаратного обеспечения, нижнего программного обеспечения, систем управления кластером до всех компонентов обучающего фреймворка, которые координируются единой системой управления. Эта глубокая координация архитектуры позволяет достичь максимальной эффективности совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает его очень подходящим для обучения масштабных моделей, таких как GPT и Gemini, обладая высокой эффективностью и контролируемыми ресурсами, но также имеет проблемы, такие как монополизация данных, барьеры для ресурсов, потребление энергии и риски единой точки.
Распределенное обучение является основным способом обучения больших моделей в настоящее время, его суть заключается в разбиении задачи обучения модели и распределении её на несколько машин для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Несмотря на то что физически он обладает характеристиками "Децентрализация", в целом он по-прежнему контролируется и координируется централизованной организацией, часто работает в среде высокоскоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink, где главный узел координирует выполнение подзадач. Основные методы включают:
Параллельные данные: каждый узел обучает разные данные, параметры общие, необходимо сопоставить веса модели
Модельное параллелирование: развертывание различных частей модели на разных узлах для достижения высокой масштабируемости
Параллельные каналы: поэтапное последовательное выполнение, увеличение пропускной способности
Тензорное параллелизм: детализированное разбиение матричных вычислений, повышение уровня параллелизма
Распределенное обучение представляет собой комбинацию "централизованного контроля + распределенного исполнения", аналогично тому, как один и тот же начальник удаленно управляет несколькими "офисными" сотрудниками для совместного выполнения задач. В настоящее время почти все основные большие модели обучаются таким образом.
Децентрализация тренировки представляет собой более открытый и устойчивый к цензуре путь в будущее. Его ключевыми особенностями являются: множество недоверяющих друг другу узлов, которые совместно выполняют задачи тренировки без центрального координатора, обычно с помощью протоколов для распределения задач и сотрудничества, и с использованием механизмов криптостимуляции для обеспечения честности вкладов. Основные вызовы, с которыми сталкивается эта модель, включают:
Гетерогенность устройств и трудности разделения: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач
Отсутствие доверенного выполнения: отсутствие доверенной вычислительной среды, трудно проверить, действительно ли узлы участвуют в вычислениях
Отсутствие единой координации: нет центрального диспетчера, распределение задач, механизм отката при ошибках сложный
Децентрализация обучения можно понимать как: группа глобальных волонтеров, каждый из которых вносит вычислительную мощность для совместного обучения модели, но "по-настоящему осуществимое крупномасштабное децентрализованное обучение" все еще является системной инженерной задачей, затрагивающей архитектуру системы, протоколы связи, криптографическую безопасность, экономические механизмы, проверку моделей и многие другие аспекты, но возможность "совместной эффективности + стимулирования честности + правильности результатов" все еще находится на стадии раннего прототипирования.
Федеративное обучение как переходная форма между распределенной и Децентрализация подчеркивает локальное хранение данных и централизованную агрегацию параметров модели, что подходит для сценариев, акцентирующих внимание на соблюдении конфиденциальности. Федеративное обучение обладает инженерной структурой распределенного обучения и локальными координационными возможностями, при этом оно имеет преимущества децентрализованного обучения благодаря распределению данных, но все же зависит от надежных координаторов и не обладает полностью открытыми и антикоррупционными характеристиками. Его можно рассматривать как "контролируемую децентрализацию" в контексте соблюдения конфиденциальности, которая относительно мягка в задачах обучения, структурах доверия и механизмах связи, что делает ее более подходящей в качестве переходной архитектуры для промышленного развертывания.
Полный сравнительный анализ парадигм ИИ-обучения( Техническая архитектура × Доверительная мотивация × Применение особенностей)
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, крайне высоких требований к ресурсам или трудности сотрудничества, она изначально не подходит для эффективного выполнения между гетерогенными, недоверенными узлами. Например, обучение больших моделей часто зависит от высокой памяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытой сети; задачи, связанные с конфиденциальностью данных и жесткими ограничениями суверенитета, ограничены правовыми нормами и этическими ограничениями, поэтому их нельзя открыто делиться; а задачи, которые лишены базовой мотивации для сотрудничества, не имеют внешней мотивации для участия. Эти границы вместе составляют реальные ограничения текущего Децентрализованного обучения.
Но это не означает, что децентрализация обучения является ложным утверждением. На самом деле, в задачах с легкой структурой, легких для параллелизации и мотивируемых, децентрализация обучения демонстрирует явные перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи постобучения на основе выравнивания поведения, задачи обучения и аннотирования данных через краудсорсинг, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии совместного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связанностью и способностью к работе с гетерогенной вычислительной мощностью, что делает их очень подходящими для совместного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и другие методы.
Обзор совместимости задач обучения Децентрализация
Децентрализация тренировки классических проектов анализа
В настоящее время в передовых областях Децентрализация обучения и федеративного обучения представительные блокчейн-проекты в основном включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технологической инновационности и сложности инженерной реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и проектирования алгоритмов, что представляет собой передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, и уже можно наблюдать предварительный прогресс в инженерии. В данной статье последовательно будут проанализированы ключевые технологии и инженерные архитектуры, лежащие в основе этих пяти проектов, а также будет дополнительно рассмотрены их различия и взаимодополняющие отношения в системе Децентрализация AI обучения.
Prime Intellect: тренируемая траектория с проверяемым усилением обучения совместной сети
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, позволяя каждому участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect хочет построить систему децентрализованного обучения ИИ с тремя основными модулями: PRIME-RL, TOPLOC и SHARDCAST, обладающую проверяемостью, открытостью и полноценным механизмом стимулов.
1. Структура и ключевые модули ценности протокола Prime Intellect
Два. Подробное объяснение ключевых механизмов тренировки Prime Intellect
PRIME-RL: Архитектура задач асинхронного усиленного обучения с разъединением
PRIME-RL является рамочным решением для моделирования задач и их выполнения, разработанным Prime Intellect для Децентрализация учебных сценариев, специально созданным для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного адаптивного объекта, структурно разъединяя процессы обучения, вывода и загрузки весов, что позволяет каждому учебному узлу независимо выполнять цикл задач локально и взаимодействовать с механизмами проверки и агрегирования через стандартизированный интерфейс. По сравнению с традиционными процессами обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в среде без центрального управления, что снижает сложность системы и создает основу для поддержки параллельных задач и эволюции стратегий.
TOPLOC: Легковесный механизм проверки поведения тренировок
TOPLOC — это основная механика проверки обучаемости, предложенная Prime Intellect, используемая для определения того, завершил ли узел эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от полной переработки модели, а вместо этого завершает верификацию легковесной структуры, анализируя локальные согласованные траектории между "последовательностью наблюдений ↔ обновлением стратегии". Впервые он преобразует траектории поведения в процессе обучения в проверяемые объекты, что является ключевым новшеством для реализации распределения наград за обучение без необходимости доверия, предоставляя жизнеспособный путь для создания可审计、可激励的 Децентрализация сетей совместного обучения.
SHARDCAST: Асинхронный протокол агрегации и распространения весов
SHARDCAST — это протокол распространения и агрегирования весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронными, ограниченными по ширине канала и изменяющимися состояниями узлов. Он объединяет механизм распространения gossip и локальные стратегии синхронизации, позволяя нескольким узлам непрерывно отправлять частичные обновления в состояниях, не синхронизированных друг с другом, что обеспечивает渐进式收敛 и многоверсионную эволюцию весов. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно повышает масштабируемость и устойчивость к сбоям децентрализованного обучения, являясь основной основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo является независимой реализацией и открытым исходным кодом оптимизированной системы связи, разработанной командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Она специально разработана для решения таких задач, как ограниченная пропускная способность, гетерогенность устройств и нестабильность узлов, которые часто встречаются в процессе децентрализованного обучения. Архитектура основана на параллелизме данных, и, создавая разреженные топологические структуры, такие как кольцо, расширитель и малый мир, она избегает высоких затрат на коммуникацию из-за глобальной синхронизации, полагаясь только на локальных соседей для совместного обучения модели. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в учебных заданиях, значительно повышая вовлеченность в глобальное совместное обучение и являясь одной из ключевых коммуникационных инфраструктур для построения децентрализованной обучающей сети.
PCCL:Библиотека совместной связи
PCCL является легковесной библиотекой связи, разработанной Prime Intellect для Децентрализация AI тренировочной среды, предназначенной для решения проблем адаптации традиционных библиотек связи в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление с контрольной точки, может работать на потребительских GPU и нестабильных узлах, является основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Он значительно увеличивает толерантность сети к пропускной способности и совместимость устройств, прокладывая "последнюю милю" коммуникационной инфраструктуры для создания действительно открытой, бездоверительной сети совместного обучения.
Три, Сеть стимулов Prime Intellect и распределение ролей
Prime Intellect создал не требующую разрешений, проверяемую тренировочную сеть с экономическими стимулами, позволяющую любому участвовать в задачах и получать вознаграждение на основе реальных вкладов. Протокол работает на основе трех основных ролей:
Инициатор задачи: определение тренировочной среды, начальной модели, функции вознаграждения и стандартов валидации
Узлы проверки: использование механизма TOPLOC для проверки подлинности обучающих действий и участия в расчетах вознаграждений и агрегации стратегий.
Основные процессы протокола включают в себя публикацию задач, обучение узлов, проверку траекторий, агрегацию весов и распределение вознаграждений, формируя замкнутый цикл стимулов вокруг "реального тренировочного поведения".
Четыре, INTELLECT-2: первое верифицируемое публикация децентрализованной обучающей модели
Prime Intellect выпустила INTELLECT-2 в мае 2025 года, это первая в мире большая модель глубокого обучения, созданная с помощью асинхронного, доверительного Децентрализация-узлового сотрудничества, с количеством параметров 32B. Модель INTELLECT-2 была обучена с помощью более 100 GPU-гетерогенных узлов, расположенных на трех континентах, использующих полностью асинхронную архитектуру, время обучения составило более 400 часов, что демонстрирует жизнеспособность и стабильность асинхронной сети сотрудничества. Эта модель не только является прорывом в производительности, но и представляет собой концепцию Prime Intellect "обучение - это консенсус".
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
19 Лайков
Награда
19
10
Репост
Поделиться
комментарий
0/400
SleepyValidator
· 08-14 20:16
Чтобы получить данные, всё равно нужно полагаться на централизованные системы.
Посмотреть ОригиналОтветить0
ColdWalletGuardian
· 08-12 10:10
Снова будет играть для лохов новая промывание глаз?
Посмотреть ОригиналОтветить0
HodlTheDoor
· 08-12 00:27
Некоторые все еще занимаются обучением моделей.
Посмотреть ОригиналОтветить0
LuckyHashValue
· 08-12 00:26
Вывод вычислительной мощности все еще удивительный
Посмотреть ОригиналОтветить0
failed_dev_successful_ape
· 08-12 00:19
Сильно жжет видеокарты
Посмотреть ОригиналОтветить0
ser_ngmi
· 08-12 00:06
Что за тренировка, в любом случае будут играть для лохов.
Эволюция парадигм обучения ИИ: от централизованного контроля к децентрализованной кооперации в технологических преобразованиях
Эволюция парадигмы обучения ИИ: от централизованного управления к Децентрализация кооперативной технологической революции
В полной цепочке создания стоимости ИИ обучение моделей является этапом с наибольшими затратами ресурсов и наиболее высокими техническими барьерами, который напрямую определяет предельные возможности модели и фактическую эффективность применения. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных масштабных вычислительных затрат, сложных процессов обработки данных и поддержки высокоинтенсивных алгоритмов оптимизации, что делает это настоящей "тяжелой индустрией" в построении систем ИИ. С точки зрения архитектурных парадигм, методы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, на котором акцентируется внимание в данной статье.
Централизованное обучение является наиболее распространенным традиционным способом, при котором единая организация завершает весь процесс обучения в локальном высокопроизводительном кластере, от аппаратного обеспечения, нижнего программного обеспечения, систем управления кластером до всех компонентов обучающего фреймворка, которые координируются единой системой управления. Эта глубокая координация архитектуры позволяет достичь максимальной эффективности совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает его очень подходящим для обучения масштабных моделей, таких как GPT и Gemini, обладая высокой эффективностью и контролируемыми ресурсами, но также имеет проблемы, такие как монополизация данных, барьеры для ресурсов, потребление энергии и риски единой точки.
Распределенное обучение является основным способом обучения больших моделей в настоящее время, его суть заключается в разбиении задачи обучения модели и распределении её на несколько машин для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Несмотря на то что физически он обладает характеристиками "Децентрализация", в целом он по-прежнему контролируется и координируется централизованной организацией, часто работает в среде высокоскоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink, где главный узел координирует выполнение подзадач. Основные методы включают:
Распределенное обучение представляет собой комбинацию "централизованного контроля + распределенного исполнения", аналогично тому, как один и тот же начальник удаленно управляет несколькими "офисными" сотрудниками для совместного выполнения задач. В настоящее время почти все основные большие модели обучаются таким образом.
Децентрализация тренировки представляет собой более открытый и устойчивый к цензуре путь в будущее. Его ключевыми особенностями являются: множество недоверяющих друг другу узлов, которые совместно выполняют задачи тренировки без центрального координатора, обычно с помощью протоколов для распределения задач и сотрудничества, и с использованием механизмов криптостимуляции для обеспечения честности вкладов. Основные вызовы, с которыми сталкивается эта модель, включают:
Децентрализация обучения можно понимать как: группа глобальных волонтеров, каждый из которых вносит вычислительную мощность для совместного обучения модели, но "по-настоящему осуществимое крупномасштабное децентрализованное обучение" все еще является системной инженерной задачей, затрагивающей архитектуру системы, протоколы связи, криптографическую безопасность, экономические механизмы, проверку моделей и многие другие аспекты, но возможность "совместной эффективности + стимулирования честности + правильности результатов" все еще находится на стадии раннего прототипирования.
Федеративное обучение как переходная форма между распределенной и Децентрализация подчеркивает локальное хранение данных и централизованную агрегацию параметров модели, что подходит для сценариев, акцентирующих внимание на соблюдении конфиденциальности. Федеративное обучение обладает инженерной структурой распределенного обучения и локальными координационными возможностями, при этом оно имеет преимущества децентрализованного обучения благодаря распределению данных, но все же зависит от надежных координаторов и не обладает полностью открытыми и антикоррупционными характеристиками. Его можно рассматривать как "контролируемую децентрализацию" в контексте соблюдения конфиденциальности, которая относительно мягка в задачах обучения, структурах доверия и механизмах связи, что делает ее более подходящей в качестве переходной архитектуры для промышленного развертывания.
Полный сравнительный анализ парадигм ИИ-обучения( Техническая архитектура × Доверительная мотивация × Применение особенностей)
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, крайне высоких требований к ресурсам или трудности сотрудничества, она изначально не подходит для эффективного выполнения между гетерогенными, недоверенными узлами. Например, обучение больших моделей часто зависит от высокой памяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытой сети; задачи, связанные с конфиденциальностью данных и жесткими ограничениями суверенитета, ограничены правовыми нормами и этическими ограничениями, поэтому их нельзя открыто делиться; а задачи, которые лишены базовой мотивации для сотрудничества, не имеют внешней мотивации для участия. Эти границы вместе составляют реальные ограничения текущего Децентрализованного обучения.
Но это не означает, что децентрализация обучения является ложным утверждением. На самом деле, в задачах с легкой структурой, легких для параллелизации и мотивируемых, децентрализация обучения демонстрирует явные перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи постобучения на основе выравнивания поведения, задачи обучения и аннотирования данных через краудсорсинг, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии совместного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связанностью и способностью к работе с гетерогенной вычислительной мощностью, что делает их очень подходящими для совместного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и другие методы.
Обзор совместимости задач обучения Децентрализация
Децентрализация тренировки классических проектов анализа
В настоящее время в передовых областях Децентрализация обучения и федеративного обучения представительные блокчейн-проекты в основном включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технологической инновационности и сложности инженерной реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и проектирования алгоритмов, что представляет собой передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, и уже можно наблюдать предварительный прогресс в инженерии. В данной статье последовательно будут проанализированы ключевые технологии и инженерные архитектуры, лежащие в основе этих пяти проектов, а также будет дополнительно рассмотрены их различия и взаимодополняющие отношения в системе Децентрализация AI обучения.
Prime Intellect: тренируемая траектория с проверяемым усилением обучения совместной сети
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, позволяя каждому участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect хочет построить систему децентрализованного обучения ИИ с тремя основными модулями: PRIME-RL, TOPLOC и SHARDCAST, обладающую проверяемостью, открытостью и полноценным механизмом стимулов.
1. Структура и ключевые модули ценности протокола Prime Intellect
Два. Подробное объяснение ключевых механизмов тренировки Prime Intellect
PRIME-RL: Архитектура задач асинхронного усиленного обучения с разъединением
PRIME-RL является рамочным решением для моделирования задач и их выполнения, разработанным Prime Intellect для Децентрализация учебных сценариев, специально созданным для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного адаптивного объекта, структурно разъединяя процессы обучения, вывода и загрузки весов, что позволяет каждому учебному узлу независимо выполнять цикл задач локально и взаимодействовать с механизмами проверки и агрегирования через стандартизированный интерфейс. По сравнению с традиционными процессами обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в среде без центрального управления, что снижает сложность системы и создает основу для поддержки параллельных задач и эволюции стратегий.
TOPLOC: Легковесный механизм проверки поведения тренировок
TOPLOC — это основная механика проверки обучаемости, предложенная Prime Intellect, используемая для определения того, завершил ли узел эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от полной переработки модели, а вместо этого завершает верификацию легковесной структуры, анализируя локальные согласованные траектории между "последовательностью наблюдений ↔ обновлением стратегии". Впервые он преобразует траектории поведения в процессе обучения в проверяемые объекты, что является ключевым новшеством для реализации распределения наград за обучение без необходимости доверия, предоставляя жизнеспособный путь для создания可审计、可激励的 Децентрализация сетей совместного обучения.
SHARDCAST: Асинхронный протокол агрегации и распространения весов
SHARDCAST — это протокол распространения и агрегирования весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронными, ограниченными по ширине канала и изменяющимися состояниями узлов. Он объединяет механизм распространения gossip и локальные стратегии синхронизации, позволяя нескольким узлам непрерывно отправлять частичные обновления в состояниях, не синхронизированных друг с другом, что обеспечивает渐进式收敛 и многоверсионную эволюцию весов. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно повышает масштабируемость и устойчивость к сбоям децентрализованного обучения, являясь основной основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo: Разреженная асинхронная коммуникационная рамка
OpenDiLoCo является независимой реализацией и открытым исходным кодом оптимизированной системы связи, разработанной командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Она специально разработана для решения таких задач, как ограниченная пропускная способность, гетерогенность устройств и нестабильность узлов, которые часто встречаются в процессе децентрализованного обучения. Архитектура основана на параллелизме данных, и, создавая разреженные топологические структуры, такие как кольцо, расширитель и малый мир, она избегает высоких затрат на коммуникацию из-за глобальной синхронизации, полагаясь только на локальных соседей для совместного обучения модели. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в учебных заданиях, значительно повышая вовлеченность в глобальное совместное обучение и являясь одной из ключевых коммуникационных инфраструктур для построения децентрализованной обучающей сети.
PCCL:Библиотека совместной связи
PCCL является легковесной библиотекой связи, разработанной Prime Intellect для Децентрализация AI тренировочной среды, предназначенной для решения проблем адаптации традиционных библиотек связи в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление с контрольной точки, может работать на потребительских GPU и нестабильных узлах, является основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Он значительно увеличивает толерантность сети к пропускной способности и совместимость устройств, прокладывая "последнюю милю" коммуникационной инфраструктуры для создания действительно открытой, бездоверительной сети совместного обучения.
Три, Сеть стимулов Prime Intellect и распределение ролей
Prime Intellect создал не требующую разрешений, проверяемую тренировочную сеть с экономическими стимулами, позволяющую любому участвовать в задачах и получать вознаграждение на основе реальных вкладов. Протокол работает на основе трех основных ролей:
Основные процессы протокола включают в себя публикацию задач, обучение узлов, проверку траекторий, агрегацию весов и распределение вознаграждений, формируя замкнутый цикл стимулов вокруг "реального тренировочного поведения".
Четыре, INTELLECT-2: первое верифицируемое публикация децентрализованной обучающей модели
Prime Intellect выпустила INTELLECT-2 в мае 2025 года, это первая в мире большая модель глубокого обучения, созданная с помощью асинхронного, доверительного Децентрализация-узлового сотрудничества, с количеством параметров 32B. Модель INTELLECT-2 была обучена с помощью более 100 GPU-гетерогенных узлов, расположенных на трех континентах, использующих полностью асинхронную архитектуру, время обучения составило более 400 часов, что демонстрирует жизнеспособность и стабильность асинхронной сети сотрудничества. Эта модель не только является прорывом в производительности, но и представляет собой концепцию Prime Intellect "обучение - это консенсус".