Підрядники, які працюють над вдосконаленням моделі штучного інтелекту Gemini від Google, аналізують відповіді цієї моделі, порівнюючи їх із результатами конкурента — Claude від Anthropic. Це підтверджується внутрішнім листуванням, яке потрапило до рук журналістів.
Про це пише Techcrunch.
Примітно, що Google не повідомив, чи отримував дозвіл на використання Claude у процесі тестування Gemini. Хоча це не є стандартною галузевою практикою, технологічні компанії часто оцінюють продуктивність своїх моделей, порівнюючи їх із конкурентними рішеннями. Проте зазвичай це відбувається через стандартні галузеві тести, а не через безпосередній аналіз відповідей конкурентів.
Підрядники, які беруть участь у проєкті Gemini, отримують завдання оцінювати точність та якість вихідних даних моделі за такими критеріями:
- Правдивість
- Багатослівність
- Відповідність запиту
На кожен аналіз відповіді їм надається до 30 хвилин. У процесі порівняння підрядники використовують внутрішню платформу Google. Вони виявили, що деякі відповіді чітко позначені як створені Claude. Наприклад, один із результатів прямо заявляв: «Я Клод, створений Anthropic».
Пріоритети безпеки у Claude
Порівняльний аналіз також показав, що модель Claude приділяє більше уваги безпеці, ніж Gemini. Один із підрядників зазначив, що налаштування безпеки Claude є «найсуворішими» серед усіх протестованих моделей. Зокрема, Claude уникає відповідей на запити, які він вважає небезпечними, наприклад, на рольові ігри з іншими ШІ.
У деяких випадках Gemini створював відповіді, що порушували стандарти безпеки, зокрема містили згадки про «оголене тіло та рабство». Це викликало критику серед підрядників.
Правові аспекти та реакція компаній
За комерційними умовами Anthropic, використання Claude для навчання конкурентних моделей чи створення аналогічних продуктів заборонено без дозволу. Однак представники Google DeepMind, підрозділу, що відповідає за розробку Gemini, заперечують використання моделей Anthropic для навчання.
«Ми порівнюємо результати моделей як частину нашого процесу оцінювання, але не навчаємо Gemini на основі антропічних моделей», – підкреслила Шира Макнамара, представник Google DeepMind.
Водночас повідомляється, що підрядники, які працюють над Gemini, змушені оцінювати відповіді моделі навіть у тих сферах, у яких вони не є фахівцями. Це викликало занепокоєння через можливу генерацію неточної інформації на такі делікатні теми, як охорона здоров’я.
