Європейський стартап Pruna AI, який спеціалізується на алгоритмах стиснення для моделей штучного інтелекту, представив нову оптимізаційну структуру. Фреймворк дозволяє зменшувати розмір моделей, використовуючи сучасні методи, такі як кешування, скорочення, квантування та дистиляція. Це забезпечує значне підвищення ефективності роботи ШІ без суттєвих втрат якості.
Про це інформує Techcrunch.
Співзасновник і технічний директор Pruna AI Джон Рачван зазначив, що їхній інструмент також стандартизує процес збереження та завантаження стиснутих моделей. Це набагото ефективніше та спрощує їхню інтеграцію в різні системи. Окрім цього, фреймворк може оцінити, наскільки знизилася якість моделі після стиснення, а також визначити рівень продуктивності, який вдалося отримати після оптимізації.
Аналог Hugging Face, але для ефективності ШІ
Pruna AI прагне стати універсальним інструментом для оптимізації моделей, подібним до того, як Hugging Face стандартизував роботу з трансформерами та дифузійними моделями.
«Ми робимо те ж саме, але для методів ефективності», — пояснив Джон Рачван.
Великі лабораторії штучного інтелекту вже давно застосовують технології стиснення. Наприклад, OpenAI використовує дистиляцію для створення швидших версій своїх моделей. Це стосується як GPT-4 Turbo, так і моделей генерації зображень, наприклад, Flux.1-schnell від Black Forest Labs, яка є дистильованою версією Flux.1.
Дистиляція працює за принципом навчання меншої моделі («учня») за допомогою більшої моделі («вчителя»). ШІ-розробники використовують відповіді вчительської моделі, порівнюють їх із реальними даними та навчають модель-учня максимально точно повторювати поведінку більшої моделі.
Конкурентна перевага Pruna AI
Зараз великі компанії зазвичай розробляють інструменти для стиснення ШІ-моделей власними силами. Відкритий код містить лише окремі методи стиснення – наприклад, квантування для великих мовних моделей або кешування для дифузійних моделей. Однак Pruna AI об’єднує всі ці методи в єдину екосистему, що значно спрощує їх використання та комбінування.
Наразі компанія зосереджена на стисненні моделей для генерації зображень і відео, хоча її інструменти підходять для широкого спектра моделей, включаючи розпізнавання мови, комп’ютерний зір та великі мовні моделі.
Серед клієнтів Pruna AI уже є Scenario та PhotoRoom. Компанія пропонує як відкриту версію, так і корпоративне рішення з розширеними можливостями оптимізації, включаючи спеціального агента, який автоматично підбирає найкращі параметри стиснення.
Фінансування та перспективи розвитку
Одним із головних нововведень стане "агент стиснення", який дозволить розробникам швидко оптимізувати свої моделі.
«Ви просто вказуєте бажану швидкість роботи та допустиму втрату точності, і система самостійно підбирає оптимальну конфігурацію», — розповідає Рачван.
Pruna AI працює за моделлю оплати за використання, де розробники платять за кожну годину роботи професійної версії, аналогічно оренді GPU в хмарних сервісах. Оптимізовані моделі дозволяють значно знизити витрати на обчислення. Наприклад, Pruna AI змогла зменшити розмір моделі Llama у вісім разів без суттєвих втрат якості.
Кілька місяців тому стартап залучив 6,5 мільйона доларів початкового фінансування. Серед інвесторів – EQT Ventures, Daphni, Motier Ventures і Kima Ventures.
