Коли в грудні OpenAI презентувала свою нову модель штучного інтелекту з обґрунтуванням під назвою o3, компанія демонструвала її потужність на прикладі ARC-AGI. ARC-AGI це еталонний тест для перевірки здатності ШІ до вирішення складних логічних завдань. Спільно з розробниками цього тесту OpenAI прагнула продемонструвати проривні можливості нової моделі. На перший погляд, результати виглядали вражаюче, однак подальші розрахунки змінили уявлення про реальну ефективність o3.
Про це інформує Techcrunch.
Нещодавно фонд Arc Prize Foundation, який курує тест ARC-AGI, переглянув обчислювальні витрати, необхідні для роботи o3. Спочатку вартість розв’язання одного завдання для конфігурації o3 high оцінювали приблизно в 3000 доларів США. Однак актуалізовані дані показали значно вищу цифру — орієнтовно 30 000 доларів США за одне завдання, що ставить під сумнів економічну доцільність використання моделі у поточному вигляді.
Реальна ефективність викликає запитання
Редаговані розрахунки вказують на важливу проблему: передові моделі ШІ можуть бути надзвичайно дорогими у використанні, особливо на ранніх етапах розробки. Попри відсутність публічної ціни на модель o3, фонд припустив, що вартість може бути зіставна з моделлю o1-pro — найдорожчим рішенням OpenAI на сьогодні. Це порівняння дозволяє сформувати загальне уявлення про масштаб можливих витрат.
Один із співзасновників Arc Prize Foundation Майк Нооп пояснив, що така оцінка є лише орієнтиром. Попри це, модель o3 досі позначена у таблиці лідерів ARC-AGI як попередня версія через невизначеність щодо її остаточної вартості. Це підкреслює складність оцінювання реальних витрат при використанні сучасного ШІ для завдань підвищеної складності.
Штучний інтелект, який потребує сотень спроб
За підрахунками Arc Prize Foundation, o3 high задіяв у 172 рази більше обчислень порівняно з менш вимогливою конфігурацією o3 low для проходження одного і того ж завдання ARC-AGI. Це ще раз демонструє, наскільки ресурсоємним може бути просунутий ШІ, коли йдеться про завдання, що потребують багатоступеневих логічних побудов. У результаті модель виявилась не тільки дорогою, але й вельми неекономною в плані продуктивності.
Навіть якщо порівнювати з альтернативами, ефективність o3 high виглядає сумнівною. Наприклад, як зауважив дослідник Тобі Орд, ця модель потребувала 1024 спроби для отримання найкращого результату на одне завдання, що ставить її в один ряд із трудомісткими методами перебору. Це свідчить про відсутність справжньої «інтелектуальності» моделі, яка натомість більше покладається на brute force, ніж на ефективні логічні алгоритми.
Корпоративні амбіції з дорогою ціною
Ці результати з’явились на фоні чуток про нові цінові плани OpenAI для корпоративних клієнтів. У березні видання The Information повідомило, що компанія нібито розглядає можливість впровадження персоналізованих ШІ-агентів, наприклад, для розробки ПЗ, із щомісячною вартістю до 20 000 доларів. Якщо такі прогнози справдяться, використання моделей на кшталт o3 може стати доступним лише для великих компаній з відповідним бюджетом.
Попри це, деякі експерти вважають, що навіть такі витрати є прийнятними в контексті заміни найманих працівників. Але, як показує досвід із o3, ефективність штучного інтелекту ще не завжди компенсує його витрати. Компанії, які розраховують на ШІ як на економічно вигідну альтернативу людині, можуть зіткнутись із неочікуваними фінансовими труднощами на етапі впровадження.
Раніше редакція сайту AI360 писали про те, як OpenAI зробила декілька грандіозних проривів у ШІ завдяки o3. Кінець 2024 року ознаменувався значними змінами у сфері штучного інтелекту. Попри побоювання, що прогрес у напрямку більш розумного ШІ сповільнюється, нова модель OpenAI o3, представлена нещодавно, привернула увагу індустрії, демонструючи видатні досягнення. Ця модель перевершила очікування за ключовими індикаторами продуктивності, відкривши нові горизонти для штучного інтелекту 2025 року.
