Компанія Patronus AI оголосила про запуск MLLM-as-a-Judge. Першої в галузі великої мовної моделі-судді, здатної оцінювати роботу штучного інтелекту, що аналізує зображення та створює текст. Ця технологія допоможе розробникам виявляти неточності та зменшувати ризики галюцинацій у мультимодальних додатках ШІ.
Про це у своїй статті розповідає Venturebeat.
Одним із перших клієнтів нового інструменту стала компанія Etsy, яка використовує його для перевірки правильності підписів до зображень товарів. На маркетплейсі представлено мільйони виробів ручної роботи та вінтажних речей, тож автоматична перевірка якості текстових описів стала критично важливим завданням.
Чому Patronus AI обрала модель Gemini замість GPT-4V
Patronus AI розробила свою першу модель Judge-Image на основі Gemini від Google. Перед цим компанія провела масштабне дослідження, порівнюючи її з іншими варіантами, зокрема GPT-4V від OpenAI.
Співзасновник Patronus AI Ананд Каннаппан зазначив, що GPT-4V часто демонстрував упередженість, тоді як Gemini виявилася більш збалансованою при оцінюванні пар “вхідні дані – вихідний результат“. Також було встановлено, що у випадку оцінки зображень багатоетапне обґрунтування, яке зазвичай покращує ефективність мовних моделей, не дає позитивного ефекту для мультимодального аналізу.
Judge-Image автоматично перевіряє підписи до зображень за кількома критеріями: виявлення неточностей, визначення ключових та другорядних об’єктів, перевірка правильності розташування предметів, а також аналіз текстового вмісту на зображеннях.
Застосування технології за межами ритейлу
Хоча Etsy стала першою компанією, що впровадила новий інструмент, Patronus AI бачить значний потенціал його використання в інших сферах.
Зокрема, маркетингові команди можуть застосовувати Judge-Image для автоматичного створення описів до графічного контенту. Також юридичні фірми та фінансові установи можуть використовувати технологію для аналізу документів, витягування ключових даних із PDF-файлів та створення стислих резюме великих текстів.
Чому компаніям вигідніше купувати інструменти оцінки ШІ, а не розробляти власні
Зі зростанням ролі штучного інтелекту в бізнес-процесах компанії стикаються з питанням: створювати власні системи оцінки чи купувати готові рішення?
За словами Каннаппана, аутсорсинг оцінювання ШІ є більш вигідним і стратегічно правильним рішенням. Багато компаній намагаються створити внутрішні інструменти, але швидко розуміють, що це складне завдання як з погляду ШІ, так і з погляду інфраструктури. Особливо це стосується мультимодальних систем, де помилки можуть виникати на різних рівнях роботи моделі.
Фінансова модель та конкуренція з технологічними гігантами
Patronus AI пропонує кілька варіантів підписки на свій продукт. Є безкоштовний рівень із певними обмеженнями, а також платні тарифні плани для бізнесу. Великі компанії можуть замовляти корпоративні рішення з розширеними можливостями та індивідуальним налаштуванням.
Попри використання технологій Google, Patronus AI не вважає себе конкурентом таких гігантів, як OpenAI, Google чи Anthropic. Навпаки, компанія позиціонує свої інструменти як додаткові рішення, що допомагають розробникам створювати надійні системи штучного інтелекту. Patronus AI не зупиняється на оцінці зображень. Наступним кроком стане розширення технології на аналіз аудіо.
Компанія прагне розробити комплексний механізм оцінки мультимодальних систем, який буде відповідати високим вимогам комерційного ШІ. За словами Каннаппана, у міру ускладнення моделей штучного інтелекту необхідність у неупереджених цифрових суддях лише зростатиме.
