Еволюція парадигми навчання ШІ: від централізованого контролю до технологічної революції децентралізованої співпраці
У повній ціннісній ланці ШІ навчання моделей є етапом з найбільшими витратами ресурсів і найвищими технологічними бар'єрами, що безпосередньо визначає верхній рівень можливостей моделей та їх фактичні результати застосування. У порівнянні з легковаговими викликами на етапі виводу, процес навчання вимагає безперервних масштабних витрат обчислювальної потужності, складних процесів обробки даних та високонавантажених оптимізаційних алгоритмів, що є справжньою "важкою промисловістю" у побудові систем ШІ. З точки зору архітектурних парадигм, способи навчання можна поділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основною темою цього документу.
Централізоване навчання є найпоширенішим традиційним способом, який виконується єдиним закладом у локальному високопродуктивному кластері, де весь процес навчання, від апаратного забезпечення, програмного забезпечення низького рівня, системи розподілу кластерів до всіх компонентів навчального фреймворку, координується єдиною системою управління. Ця глибока співпраця архітектури забезпечує оптимальну ефективність спільного використання пам'яті, синхронізації градієнтів та механізмів відмовостійкості, що робить її дуже підходящою для навчання великих моделей, таких як GPT, Gemini, з перевагами високої ефективності та контрольованих ресурсів, але водночас має проблеми з монополією даних, бар'єрами для ресурсів, споживанням енергії та ризиками одноточкових відмов.
Розподілене навчання є основним методом навчання великих моделей, його суть полягає в розподілі завдань навчання моделі на кілька машин для спільного виконання, щоб подолати обмеження обчислювальної потужності та зберігання на одному комп'ютері. Незважаючи на те, що фізично має "розподілений" характер, загалом все ще контролюється централізованим органом для планування та синхронізації, зазвичай працює в середовищі швидкої локальної мережі, використовуючи технологію високошвидкісної міжмашинної зв'язку NVLink, де головний вузол координує виконання кожного підзавдання. Основні методи включають:
Паралельність даних: кожен вузол тренує різні дані, параметри діляться, потрібно узгоджувати ваги моделі
Модельна паралельність: розгортання різних частин моделі на різних вузлах для досягнення сильної розширюваності
Паралельні труби: послідовне виконання по етапах, підвищує пропускну здатність
Тензорне паралелювання: детальне розділення матричних обчислень, підвищення паралельного ступеня
Розподілене навчання є комбінацією "централізованого контролю + розподіленого виконання", що можна порівняти з тим, як один і той же начальник віддалено керує співробітниками в кількох "офісах" для виконання завдання. Наразі майже всі основні великі моделі навчаються цим способом.
Децентралізоване навчання означає більш відкритий і стійкий до цензури шлях у майбутнє. Його основні характеристики: кілька недовірливих вузлів спільно виконують навчальні завдання без центрового координатора, зазвичай через протокол, що керує розподілом завдань та співпрацею, а також за допомогою механізму криптостимулювання для забезпечення чесності внесків. Основні виклики, з якими стикається ця модель, включають:
Гетерогенність пристроїв і труднощі розподілу: висока складність координації гетерогенних пристроїв, низька ефективність розподілу завдань
Вузьке місце в ефективності зв'язку: нестабільність мережевої комунікації, помітне вузьке місце у синхронізації градієнтів
Відсутність довіреного виконання: відсутність довіреного середовища виконання ускладнює перевірку того, чи дійсно вузли беруть участь у обчисленнях.
Відсутність єдиної координації: без центрального диспетчера, складний розподіл завдань та механізм відкату аномалій
Децентралізація тренування можна зрозуміти як: група глобальних волонтерів, які кожен вносять обчислювальну потужність для спільного навчання моделі, але "справжнє масштабне децентралізоване тренування" залишається системним інженерним викликом, що охоплює архітектуру системи, комунікаційні протоколи, криптографічну безпеку, економічні механізми, перевірку моделей та інші аспекти, але чи може "співпраця бути ефективною + стимулювання чесності + правильність результатів" поки що перебуває на ранній стадії прототипування.
Федеративне навчання як перехідна форма між розподіленістю та децентралізацією підкреслює локальне збереження даних і централізовану агрегацію параметрів моделі, що підходить для сценаріїв, де важлива конфіденційність. Федеративне навчання має інженерну структуру розподіленого навчання та локальні кооперативні можливості, одночасно маючи переваги розподілених даних децентралізованого навчання, але все ще залежить від надійних координуючих сторін і не має повністю відкритих і антикорупційних характеристик. Це можна розглядати як "контрольовану децентралізацію" в сценаріях, що вимагають конфіденційності, що є відносно м'яким у навчальних завданнях, структурах довіри та механізмах зв'язку, і краще підходить як перехідна архітектура для промисловості.
Порівняльна таблиця тренувальних парадигм штучного інтелекту( технічна архітектура × довіра та мотивація × особливості застосування)
Децентралізація тренування меж, можливості та реальні шляхи
З точки зору навчальної парадигми, децентралізоване навчання не підходить для всіх типів завдань. В деяких сценаріях, через складну структуру завдань, надзвичайно високі вимоги до ресурсів або великі труднощі в співпраці, воно природно не підходить для ефективного виконання між гетерогенними, недовіреними вузлами. Наприклад, навчання великих моделей часто потребує великої пам'яті, низької затримки та високої пропускної здатності, що ускладнює їх ефективне розподілення та синхронізацію в відкритій мережі; завдання, що сильно обмежені приватністю даних та суверенітетом, підпадають під законодавчі та етичні обмеження, що унеможливлює їх відкритий обмін; а завдання, які не мають основи для співпраці, не мають зовнішніх стимулів для участі. Ці межі разом становлять реальні обмеження сучасного децентралізованого навчання.
Але це не означає, що децентралізоване навчання є псевдопроблемою. Насправді, у структурах, що є легкими, легко паралельними та заохочувальними, децентралізоване навчання демонструє чіткі перспективи застосування. Включаючи, але не обмежуючись: тонка налаштування LoRA, завдання після навчання з поведінковим вирівнюванням, навчання та маркування даних через краудсорсинг, навчання малих базових моделей з контрольованими ресурсами, а також сценарії кооперативного навчання з участю крайових пристроїв. Ці завдання зазвичай мають високу паралельність, низьку зв'язність і терпимість до гетерогенної обчислювальної потужності, що робить їх дуже підходящими для кооперативного навчання через P2P мережі, протокол Swarm, розподілені оптимізатори та ін.
Децентралізація тренувальних завдань адаптації загальний огляд
Децентралізація тренування класичних проектів аналіз
Наразі в сфері децентралізованого навчання та федеративного навчання, представницькі блокчейн-проекти включають в себе Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технічної інноваційності та складності інженерної реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували багато оригінальних досліджень у системній архітектурі та розробці алгоритмів, представляючи передові напрямки теоретичних досліджень; в той час як шляхи реалізації Gensyn та Flock.io відносно ясні, вже можна побачити початкові інженерні досягнення. У цій статті буде поетапно розглянуто основні технології та інженерні архітектури, що стоять за цими п'ятьма проектами, а також буде додатково обговорено їхні відмінності та взаємодоповнюючі зв'язки в децентралізованій системі навчання AI.
Prime Intellect: Перша верифікована тренувальна траєкторія зміцнюючої навчальної кооперативної мережі
Prime Intellect прагне створити мережу навчання ШІ без потреби в довірі, щоб будь-хто міг брати участь у навчанні і отримувати надійні винагороди за свій обчислювальний внесок. Prime Intellect хоче побудувати децентралізовану систему навчання ШІ з трьох основних модулів: PRIME-RL + TOPLOC + SHARDCAST, яка має перевіряємість, відкритість і повноцінний механізм стимулювання.
Один. Структура стеку протоколу Prime Intellect та цінність ключових модулів
Два, детальний аналіз ключових механізмів навчання Prime Intellect
PRIME-RL: Архітектура завдань асинхронного підкріплювального навчання з декомпозицією
PRIME-RL є рамковою моделлю та виконанням завдань, розробленою компанією Prime Intellect для децентралізованих навчальних сценаріїв, спеціально призначеною для гетерогенних мереж і асинхронних учасників. Вона використовує посилене навчання як пріоритетний адаптаційний об'єкт, структурно розділяючи процеси навчання, висновків та завантаження ваг, що дозволяє кожному навчальному вузлу незалежно завершувати цикл завдання на місці та співпрацювати через стандартизовані інтерфейси з механізмами верифікації та агрегації. У порівнянні з традиційним процесом навчання під наглядом, PRIME-RL більш підходить для реалізації еластичного навчання в середовищах без централізованого планування, що знижує складність системи та закладає основи для підтримки паралельного виконання кількох завдань і еволюції стратегій.
TOPLOC: легкий механізм верифікації поведінки тренування
TOPLOC є основним механізмом перевірки навчання, запропонованим Prime Intellect, для визначення, чи дійсно вузол завершив ефективне навчання стратегій на основі спостережуваних даних. На відміну від важких рішень, таких як ZKML, TOPLOC не покладається на повторний обчислення всієї моделі, а аналізує локальні узгоджені траєкторії між "спостережуваними послідовностями ↔ оновленням стратегій" для виконання верифікації легковагової структури. Вперше він перетворює поведінкові траєкторії під час навчання на верифіковані об'єкти, що є ключовою інновацією для реалізації бездоверчого розподілу навчальних винагород, забезпечуючи здійсненний шлях для побудови аудитуємих, стимульованих децентралізованих мереж співпраці в навчанні.
SHARDCAST: Асинхронна агрегація ваг і протокол поширення
SHARDCAST — це протокол вагового поширення та агрегації, розроблений Prime Intellect, оптимізований для асинхронних, обмежених каналів та змінного стану вузлів у реальних мережевих умовах. Він поєднує механізм поширення gossip та локальну синхронізацію, що дозволяє кільком вузлам продовжувати подавати часткові оновлення в умовах несинхронізації, забезпечуючи поступову конвергенцію ваг та еволюцію з кількома версіями. У порівнянні з централізованими або синхронізованими методами AllReduce, SHARDCAST значно підвищує масштабованість та стійкість до помилок децентралізованого навчання, що є основою для побудови стабільного консенсусу ваг та безперервної ітерації навчання.
OpenDiLoCo є незалежною реалізацією та відкритим вихідним кодом оптимізаційного фреймворку для зв'язку, розробленого командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind, спеціально створеного для вирішення викликів, що виникають при децентралізованому навчанні, таких як обмежена пропускна здатність, гетерогенність пристроїв та нестабільність вузлів. Його архітектура базується на паралелізмі даних, шляхом побудови рідкісних топологічних структур, таких як кільцеві, розширювачі, малосвітові, що дозволяє уникнути великих витрат на комунікацію при глобальній синхронізації, спираючись лише на сусідні локальні вузли для виконання спільного навчання моделі. Поєднуючи асинхронне оновлення та механізм відмовостійкості, OpenDiLoCo дозволяє споживчим GPU та крайнім пристроям стабільно брати участь у навчальних завданнях, значно підвищуючи участь у глобальному колаборативному навчанні, що є однією з ключових комунікаційних інфраструктур для побудови децентралізованої навчальної мережі.
PCCL:Бібліотека координаційного зв'язку
PCCL є легковаговою комунікаційною бібліотекою, створеною Prime Intellect для децентралізованого середовища навчання AI, яка має на меті вирішення адаптаційних вузьких місць традиційних комунікаційних бібліотек у гетерогенних пристроях та мережах з низькою пропускною здатністю. PCCL підтримує рідкісну топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з контрольних точок, може працювати на споживчих GPU та нестабільних вузлах, є базовим компонентом, що підтримує асинхронну комунікаційну здатність протоколу OpenDiLoCo. Він значно підвищує толерантність до пропускної здатності навчальних мереж та сумісність пристроїв, прокладаючи "остання миля" комунікаційної інфраструктури для створення справді відкритої, бездоверчої мережі спільного навчання.
Три, мережа стимулів Prime Intellect та розподіл ролей
Prime Intellect побудував навчальну мережу, яка не потребує дозволів, є перевірною та має економічні стимули, що дозволяє кожному брати участь у завданнях та отримувати винагороду на основі реального внеску. Протокол працює на основі трьох основних ролей:
Ініціатор завдання: визначити навчальне середовище, початкову модель, функцію винагороди та критерії валідації
Тренувальний вузол: виконання локального тренування, подання оновлень ваг та спостереження за траєкторією
Вузли верифікації: використання механізму TOPLOC для перевірки достовірності навчальних дій та участі в розрахунку винагороди та агрегації стратегій
Ядро процесу договору включає в себе публікацію завдань, навчання вузлів, верифікацію траєкторій, агрегування ваг і виплату винагород, що складає стимулюючий замкнутий цикл навколо "реальних тренувальних дій".
Чотири, INTELLECT-2: перший перевіряний децентралізований тренувальний модель
Prime Intellect випустила INTELLECT-2 у травні 2025 року, це перша у світі велика модель посиленого навчання, що була навчена за допомогою асинхронних, бездоверчий децентралізованих вузлів. Кількість параметрів досягає 32B. Модель INTELLECT-2 була навчена за допомогою співпраці понад 100 GPU гетерогенних вузлів, розташованих на трьох континентах, використовуючи повністю асинхронну архітектуру, час навчання перевищує 400 годин, що демонструє життєздатність і стабільність асинхронної кооперативної мережі. Ця модель є не лише проривом у продуктивності, а й підтверджує концепцію Prime Intellect "навчання – це консенсус".
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
19 лайків
Нагородити
19
10
Репост
Поділіться
Прокоментувати
0/400
SleepyValidator
· 08-14 20:16
Для аналізу даних все ще потрібно централізоване управління.
Переглянути оригіналвідповісти на0
ColdWalletGuardian
· 08-12 10:10
Знову це обман для дурнів?
Переглянути оригіналвідповісти на0
HodlTheDoor
· 08-12 00:27
Хтось все ще навчає моделі.
Переглянути оригіналвідповісти на0
LuckyHashValue
· 08-12 00:26
Вихід обчислювальної потужності все ще дивовижний
Переглянути оригіналвідповісти на0
failed_dev_successful_ape
· 08-12 00:19
Грубо спалює графічні карти
Переглянути оригіналвідповісти на0
ser_ngmi
· 08-12 00:06
Що там за тренування, все одно це обман для дурнів.
Еволюція парадигми навчання ШІ: від централізованого контролю до децентралізованої координації технологічних змін
Еволюція парадигми навчання ШІ: від централізованого контролю до технологічної революції децентралізованої співпраці
У повній ціннісній ланці ШІ навчання моделей є етапом з найбільшими витратами ресурсів і найвищими технологічними бар'єрами, що безпосередньо визначає верхній рівень можливостей моделей та їх фактичні результати застосування. У порівнянні з легковаговими викликами на етапі виводу, процес навчання вимагає безперервних масштабних витрат обчислювальної потужності, складних процесів обробки даних та високонавантажених оптимізаційних алгоритмів, що є справжньою "важкою промисловістю" у побудові систем ШІ. З точки зору архітектурних парадигм, способи навчання можна поділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основною темою цього документу.
Централізоване навчання є найпоширенішим традиційним способом, який виконується єдиним закладом у локальному високопродуктивному кластері, де весь процес навчання, від апаратного забезпечення, програмного забезпечення низького рівня, системи розподілу кластерів до всіх компонентів навчального фреймворку, координується єдиною системою управління. Ця глибока співпраця архітектури забезпечує оптимальну ефективність спільного використання пам'яті, синхронізації градієнтів та механізмів відмовостійкості, що робить її дуже підходящою для навчання великих моделей, таких як GPT, Gemini, з перевагами високої ефективності та контрольованих ресурсів, але водночас має проблеми з монополією даних, бар'єрами для ресурсів, споживанням енергії та ризиками одноточкових відмов.
Розподілене навчання є основним методом навчання великих моделей, його суть полягає в розподілі завдань навчання моделі на кілька машин для спільного виконання, щоб подолати обмеження обчислювальної потужності та зберігання на одному комп'ютері. Незважаючи на те, що фізично має "розподілений" характер, загалом все ще контролюється централізованим органом для планування та синхронізації, зазвичай працює в середовищі швидкої локальної мережі, використовуючи технологію високошвидкісної міжмашинної зв'язку NVLink, де головний вузол координує виконання кожного підзавдання. Основні методи включають:
Розподілене навчання є комбінацією "централізованого контролю + розподіленого виконання", що можна порівняти з тим, як один і той же начальник віддалено керує співробітниками в кількох "офісах" для виконання завдання. Наразі майже всі основні великі моделі навчаються цим способом.
Децентралізоване навчання означає більш відкритий і стійкий до цензури шлях у майбутнє. Його основні характеристики: кілька недовірливих вузлів спільно виконують навчальні завдання без центрового координатора, зазвичай через протокол, що керує розподілом завдань та співпрацею, а також за допомогою механізму криптостимулювання для забезпечення чесності внесків. Основні виклики, з якими стикається ця модель, включають:
Децентралізація тренування можна зрозуміти як: група глобальних волонтерів, які кожен вносять обчислювальну потужність для спільного навчання моделі, але "справжнє масштабне децентралізоване тренування" залишається системним інженерним викликом, що охоплює архітектуру системи, комунікаційні протоколи, криптографічну безпеку, економічні механізми, перевірку моделей та інші аспекти, але чи може "співпраця бути ефективною + стимулювання чесності + правильність результатів" поки що перебуває на ранній стадії прототипування.
Федеративне навчання як перехідна форма між розподіленістю та децентралізацією підкреслює локальне збереження даних і централізовану агрегацію параметрів моделі, що підходить для сценаріїв, де важлива конфіденційність. Федеративне навчання має інженерну структуру розподіленого навчання та локальні кооперативні можливості, одночасно маючи переваги розподілених даних децентралізованого навчання, але все ще залежить від надійних координуючих сторін і не має повністю відкритих і антикорупційних характеристик. Це можна розглядати як "контрольовану децентралізацію" в сценаріях, що вимагають конфіденційності, що є відносно м'яким у навчальних завданнях, структурах довіри та механізмах зв'язку, і краще підходить як перехідна архітектура для промисловості.
Порівняльна таблиця тренувальних парадигм штучного інтелекту( технічна архітектура × довіра та мотивація × особливості застосування)
Децентралізація тренування меж, можливості та реальні шляхи
З точки зору навчальної парадигми, децентралізоване навчання не підходить для всіх типів завдань. В деяких сценаріях, через складну структуру завдань, надзвичайно високі вимоги до ресурсів або великі труднощі в співпраці, воно природно не підходить для ефективного виконання між гетерогенними, недовіреними вузлами. Наприклад, навчання великих моделей часто потребує великої пам'яті, низької затримки та високої пропускної здатності, що ускладнює їх ефективне розподілення та синхронізацію в відкритій мережі; завдання, що сильно обмежені приватністю даних та суверенітетом, підпадають під законодавчі та етичні обмеження, що унеможливлює їх відкритий обмін; а завдання, які не мають основи для співпраці, не мають зовнішніх стимулів для участі. Ці межі разом становлять реальні обмеження сучасного децентралізованого навчання.
Але це не означає, що децентралізоване навчання є псевдопроблемою. Насправді, у структурах, що є легкими, легко паралельними та заохочувальними, децентралізоване навчання демонструє чіткі перспективи застосування. Включаючи, але не обмежуючись: тонка налаштування LoRA, завдання після навчання з поведінковим вирівнюванням, навчання та маркування даних через краудсорсинг, навчання малих базових моделей з контрольованими ресурсами, а також сценарії кооперативного навчання з участю крайових пристроїв. Ці завдання зазвичай мають високу паралельність, низьку зв'язність і терпимість до гетерогенної обчислювальної потужності, що робить їх дуже підходящими для кооперативного навчання через P2P мережі, протокол Swarm, розподілені оптимізатори та ін.
Децентралізація тренувальних завдань адаптації загальний огляд
Децентралізація тренування класичних проектів аналіз
Наразі в сфері децентралізованого навчання та федеративного навчання, представницькі блокчейн-проекти включають в себе Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технічної інноваційності та складності інженерної реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували багато оригінальних досліджень у системній архітектурі та розробці алгоритмів, представляючи передові напрямки теоретичних досліджень; в той час як шляхи реалізації Gensyn та Flock.io відносно ясні, вже можна побачити початкові інженерні досягнення. У цій статті буде поетапно розглянуто основні технології та інженерні архітектури, що стоять за цими п'ятьма проектами, а також буде додатково обговорено їхні відмінності та взаємодоповнюючі зв'язки в децентралізованій системі навчання AI.
Prime Intellect: Перша верифікована тренувальна траєкторія зміцнюючої навчальної кооперативної мережі
Prime Intellect прагне створити мережу навчання ШІ без потреби в довірі, щоб будь-хто міг брати участь у навчанні і отримувати надійні винагороди за свій обчислювальний внесок. Prime Intellect хоче побудувати децентралізовану систему навчання ШІ з трьох основних модулів: PRIME-RL + TOPLOC + SHARDCAST, яка має перевіряємість, відкритість і повноцінний механізм стимулювання.
Один. Структура стеку протоколу Prime Intellect та цінність ключових модулів
Два, детальний аналіз ключових механізмів навчання Prime Intellect
PRIME-RL: Архітектура завдань асинхронного підкріплювального навчання з декомпозицією
PRIME-RL є рамковою моделлю та виконанням завдань, розробленою компанією Prime Intellect для децентралізованих навчальних сценаріїв, спеціально призначеною для гетерогенних мереж і асинхронних учасників. Вона використовує посилене навчання як пріоритетний адаптаційний об'єкт, структурно розділяючи процеси навчання, висновків та завантаження ваг, що дозволяє кожному навчальному вузлу незалежно завершувати цикл завдання на місці та співпрацювати через стандартизовані інтерфейси з механізмами верифікації та агрегації. У порівнянні з традиційним процесом навчання під наглядом, PRIME-RL більш підходить для реалізації еластичного навчання в середовищах без централізованого планування, що знижує складність системи та закладає основи для підтримки паралельного виконання кількох завдань і еволюції стратегій.
TOPLOC: легкий механізм верифікації поведінки тренування
TOPLOC є основним механізмом перевірки навчання, запропонованим Prime Intellect, для визначення, чи дійсно вузол завершив ефективне навчання стратегій на основі спостережуваних даних. На відміну від важких рішень, таких як ZKML, TOPLOC не покладається на повторний обчислення всієї моделі, а аналізує локальні узгоджені траєкторії між "спостережуваними послідовностями ↔ оновленням стратегій" для виконання верифікації легковагової структури. Вперше він перетворює поведінкові траєкторії під час навчання на верифіковані об'єкти, що є ключовою інновацією для реалізації бездоверчого розподілу навчальних винагород, забезпечуючи здійсненний шлях для побудови аудитуємих, стимульованих децентралізованих мереж співпраці в навчанні.
SHARDCAST: Асинхронна агрегація ваг і протокол поширення
SHARDCAST — це протокол вагового поширення та агрегації, розроблений Prime Intellect, оптимізований для асинхронних, обмежених каналів та змінного стану вузлів у реальних мережевих умовах. Він поєднує механізм поширення gossip та локальну синхронізацію, що дозволяє кільком вузлам продовжувати подавати часткові оновлення в умовах несинхронізації, забезпечуючи поступову конвергенцію ваг та еволюцію з кількома версіями. У порівнянні з централізованими або синхронізованими методами AllReduce, SHARDCAST значно підвищує масштабованість та стійкість до помилок децентралізованого навчання, що є основою для побудови стабільного консенсусу ваг та безперервної ітерації навчання.
OpenDiLoCo: розріджена асинхронна комунікаційна платформа
OpenDiLoCo є незалежною реалізацією та відкритим вихідним кодом оптимізаційного фреймворку для зв'язку, розробленого командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind, спеціально створеного для вирішення викликів, що виникають при децентралізованому навчанні, таких як обмежена пропускна здатність, гетерогенність пристроїв та нестабільність вузлів. Його архітектура базується на паралелізмі даних, шляхом побудови рідкісних топологічних структур, таких як кільцеві, розширювачі, малосвітові, що дозволяє уникнути великих витрат на комунікацію при глобальній синхронізації, спираючись лише на сусідні локальні вузли для виконання спільного навчання моделі. Поєднуючи асинхронне оновлення та механізм відмовостійкості, OpenDiLoCo дозволяє споживчим GPU та крайнім пристроям стабільно брати участь у навчальних завданнях, значно підвищуючи участь у глобальному колаборативному навчанні, що є однією з ключових комунікаційних інфраструктур для побудови децентралізованої навчальної мережі.
PCCL:Бібліотека координаційного зв'язку
PCCL є легковаговою комунікаційною бібліотекою, створеною Prime Intellect для децентралізованого середовища навчання AI, яка має на меті вирішення адаптаційних вузьких місць традиційних комунікаційних бібліотек у гетерогенних пристроях та мережах з низькою пропускною здатністю. PCCL підтримує рідкісну топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з контрольних точок, може працювати на споживчих GPU та нестабільних вузлах, є базовим компонентом, що підтримує асинхронну комунікаційну здатність протоколу OpenDiLoCo. Він значно підвищує толерантність до пропускної здатності навчальних мереж та сумісність пристроїв, прокладаючи "остання миля" комунікаційної інфраструктури для створення справді відкритої, бездоверчої мережі спільного навчання.
Три, мережа стимулів Prime Intellect та розподіл ролей
Prime Intellect побудував навчальну мережу, яка не потребує дозволів, є перевірною та має економічні стимули, що дозволяє кожному брати участь у завданнях та отримувати винагороду на основі реального внеску. Протокол працює на основі трьох основних ролей:
Ядро процесу договору включає в себе публікацію завдань, навчання вузлів, верифікацію траєкторій, агрегування ваг і виплату винагород, що складає стимулюючий замкнутий цикл навколо "реальних тренувальних дій".
Чотири, INTELLECT-2: перший перевіряний децентралізований тренувальний модель
Prime Intellect випустила INTELLECT-2 у травні 2025 року, це перша у світі велика модель посиленого навчання, що була навчена за допомогою асинхронних, бездоверчий децентралізованих вузлів. Кількість параметрів досягає 32B. Модель INTELLECT-2 була навчена за допомогою співпраці понад 100 GPU гетерогенних вузлів, розташованих на трьох континентах, використовуючи повністю асинхронну архітектуру, час навчання перевищує 400 годин, що демонструє життєздатність і стабільність асинхронної кооперативної мережі. Ця модель є не лише проривом у продуктивності, а й підтверджує концепцію Prime Intellect "навчання – це консенсус".