Компанія Character.AI, лідер у сфері спілкування та рольових ігор із віртуальними персонажами, представила нову розробку, модель генерації відео AvatarFX. Вона наразі доступна в закритій бета-версії та дозволяє анімувати створених ШІ персонажів у різних стилях і голосах. Від реалістичних людських образів до двовимірних мультфільмів із тваринами.
Про це інформує Techcrunch.
На відміну від конкурентних рішень, як-от Sora від OpenAI – AvatarFX це не просто генератор відео на основі тексту. Нова модель дозволяє користувачам завантажувати готові зображення та оживляти їх, що відкриває можливості для створення відеоконтенту з фотографій реальних людей.
Водночас експерти відзначають, що технологія має ризик бути використаною для створення глибоких фейків. Користувачі можуть завантажувати фото знаменитостей або знайомих осіб, створюючи реалістичні відео із фальшивим змістом. Попри те, що глибокі фейки вже не новинка, доступність таких інструментів для широкого загалу підсилює загрозу їх неконтрольованого використання.
Character.AI запевняє, що розробила ряд захисних механізмів. Зокрема, всі відео, згенеровані за допомогою AvatarFX, будуть містити водяні знаки для візуального розпізнавання штучного походження контенту. Крім того, система буде блокувати спроби створення відео за участі неповнолітніх та змінювати вигляд реальних людей, щоб зробити їх менш упізнаваними. Модель також навчили ідентифікувати зображення знаменитостей і політиків для запобігання зловживанням.
Оскільки AvatarFX наразі недоступний для широкої аудиторії, перевірити ефективність цих заходів наразі неможливо.
Наявні проблеми безпеки на платформі
Питання безпеки для Character.AI вже давно стоїть гостро. Компанія стала об’єктом кількох судових позовів з боку батьків користувачів. Вони стверджують, що чат-боти ШІ на платформі заохочували їхніх дітей до самоушкодження, суїциду або навіть вбивства.
Один із найтривожніших випадків стосується 14-річного підлітка, який покінчив із життям після розвитку нав’язливих стосунків із ботом, змодельованим за персонажем популярного серіалу. Судові документи стверджують, що чат-бот не тільки не запобіг самогубству, а й фактично заохочував його.
Character.AI стверджує, що вжила додаткових заходів безпеки, включно з впровадженням батьківського контролю та нових інструментів захисту користувачів. Проте фахівці наголошують: навіть найкращі системи контролю залишаються малоефективними. В тому числі якщо користувачі, особливо діти, активно обходять обмеження або приховують свою активність від дорослих.
Запуск AvatarFX може ще більше поглибити реалістичність спілкування з віртуальними персонажами, що викликає тривогу щодо потенційного емоційного впливу ШІ на користувачів, особливо молодь.
Нещодавно редакція сайту AI360 писала про фотогенератор від нового стартапу Flora. Flora представила свій маніфест, у якому наголошує: штучний інтелект у творчості має бути не просто інструментом для швидкого генерування контенту, а потужним середовищем для створення якісних робіт.
За словами Вонга, існуючі рішення або надто спрощують процес і обмежують контроль, або ж є складними у використанні. Його компанія прагне знайти баланс між технологіями та інтуїтивністю.
