Мова завжди була ключовим інструментом для людського спілкування. Вона сприяє обміну інформацією, вираженню емоцій і створенню взаєморозуміння між людьми. У цифрову епоху значення мови зростає, оскільки вона стає основою для взаємодії з технологіями, зокрема зі штучним інтелектом (ШІ) та цифровими помічниками.
Про це пише DeepMind.
Прогрес у створенні природного мовлення
Останніми роками розробники активно працюють над створенням технологій, які дозволяють генерувати природну мову. Такі технології допомагають створювати динамічні голоси, які звучать максимально природно. Це відкриває нові можливості для створення більш захопливого цифрового досвіду, зокрема у взаємодії з помічниками, які стають більш інтуїтивними і зрозумілими для користувачів.
Протягом кількох років інженери та дослідники розширювали межі генерації аудіо, створюючи моделі, здатні відтворювати якісне природне мовлення. Вони використовують різні вхідні дані, такі як текст, регулятори темпу і специфічні голоси. Ці технології вже інтегровані у багато продуктів Google, зокрема Gemini Live, Project Astra, Journey Voices, а також у функцію автоматичного дубляжу YouTube.
Співпраця з партнерами
Разом із партнерами Google було розроблено функції, які дозволяють створювати тривалі діалоги з участю кількох мовців. Це робить складний контент доступнішим для користувачів. Прикладами таких функцій є:
- NotebookLM Audio Overviews: Ця функція перетворює завантажені документи на інтерактивний діалог, де два штучно створені голоси підсумовують інформацію, знаходять зв’язки між темами та навіть жартують між собою.
- IluminateAI: Ця технологія створює формальні обговорення дослідницьких статей, що робить наукові знання доступнішими для ширшої аудиторії.
Проривні технології та нові можливості
Одним з найважливіших досягнень є створення моделей SoundStream і AudioLM. SoundStream — це нейронний аудіокодек, який дозволяє ефективно стискати та декодувати аудіо, зберігаючи при цьому високу якість звуку. Він використовує акустичні токени для збереження важливих властивостей мовлення, таких як просодія та тембр.
AudioLM підходить до генерації аудіо як до задачі моделювання мови. Він створює акустичні токени, які можна перетворювати в якісне аудіо. Ця модель є універсальною і здатна адаптуватися до різних типів звуків без потреби змін у структурі.
На основі досліджень була розроблена технологія, яка дозволяє створювати двохвилинні діалоги з участю кількох мовців. Завдяки використанню архітектури Transformer, ця модель може ефективно обробляти ієрархії інформації, створюючи якісні та природні діалоги.
Удосконалення мовного кодека, перспективи, виклики
Щоб забезпечити можливість створення тривалих діалогів, було створено новий мовний кодек, який стискає аудіо до мінімальної швидкості — лише 600 біт на секунду. Це дозволяє зберегти високу якість звуку навіть при значному зменшенні обсягу даних.
Попри досягнення, розробники продовжують працювати над удосконаленням плавності та акустичної якості моделі. Планується додати більш детальні елементи керування, такі як просодія, і досліджувати можливості інтеграції з відео. У поєднанні з моделями сімейства Gemini, потенціал цієї технології значно зростає.
Згідно з принципами відповідальної розробки ШІ, Google використовує технологію SynthID для водяного маркування аудіоконтенту, створеного за допомогою ШІ. Це допомагає запобігти зловживанням і забезпечити безпеку користувачів. Технології генерації мовлення активно розвиваються, відкриваючи нові горизонти у взаємодії з цифровими помічниками. Завдяки прогресу в цій сфері, майбутні технології стануть ще більш інтерактивними, інтуїтивними та доступними для широкого кола користувачів.
