OPML: Машинне навчання на основі оптимістичного підходу

Ми представили нову рамкову структуру під назвою OPML(Оптимістичне машинне навчання), яка може ефективно виконувати інференцію та навчання AI моделей на блокчейн системах. На відміну від ZKML, OPML має нижчі витрати та вищу ефективність. Апаратні вимоги до OPML дуже низькі, звичайний ПК може виконувати завдання OPML, що містять великі мовні моделі, такі як 7B-LLaMA, без GPU.

OPML використовує механізм верифікаційних ігор для забезпечення децентралізації та верифікації послуг ML. Його процес виглядає наступним чином:

1. Користувач ініціює запит на службу ML
2. Сервер виконав завдання та подав результати в ланцюг
3. Верифікатор перевіряє результати, у разі незгоди запускається ігрова перевірка.
4. Визначення конкретних кроків помилки через бінарний протокол
5. Нарешті, одностороннє арбітраж буде проводитися смарт-контрактом

! OPML: Машинне навчання з Optimistic Rollup

Одноетапна перевірка гри

Ключові моменти одностадійного OPML включають:

• Створення віртуальної машини для позачергового виконання та арбітражу в мережі (VM)
• Реалізація спеціалізованої легковагової бібліотеки DNN для підвищення ефективності AI-висновку
• Використання технології перехресної компіляції для компіляції коду AI-інференції в команди VM
• Використання дерева Меркла для управління VM-образами, тільки кореневий хеш завантажується в ланцюг.

У базовому тестуванні ми можемо завершити DNN-інференцію за 2 секунди, а весь процес виклику може бути завершений за 2 хвилини.

! OPML: Машинне навчання з оптимістичною системою зведення

Багатоступенева верифікація гри

Щоб подолати обмеження одностадійної схеми, ми запропонували багатостадійну верифікаційну гру:

• Обчислення тільки на останньому етапі у VM, інші етапи можуть виконуватись гнучко
• Повне використання прискорення GPU/TPU та паралельної обробки
• Значно підвищити продуктивність виконання, наблизившись до рівня локального середовища
• Використання дерева Меркла для забезпечення цілісності та безпеки переходів між етапами

В якості прикладу моделі LLaMA ми використовуємо двоетапний метод OPML:

• На другому етапі проводиться верифікаційна гра на обчислювальному графі, можна використовувати прискорення GPU.
• Перший етап перетворює обчислення окремого вузла на інструкції VM

Багатоступінчастий метод може забезпечити α-разове прискорення обчислень у порівнянні з одноступінчастим, одночасно значно зменшуючи розмір дерева Меркла.

! OPML: Машинне навчання з Optimistic Rollup

Узгодженість та визначеність

Для забезпечення узгодженості результатів ML ми вжили такі заходи:

1. Використання алгоритму фіксованої точки ( для технології квантування ) зменшує вплив помилок з плаваючою комою.
2. Використання консистентної бібліотеки програмного забезпечення з плаваючою комою для різних платформ

Ці технології ефективно подолали виклики, пов'язані з плаваючими змінними та платформними відмінностями, підвищивши надійність обчислень OPML.

OPML все ще розробляється. Ми запрошуємо всіх, хто зацікавлений у цьому проекті, приєднатися та внести свій внесок у розвиток OPML.