Сім років тому Google представив світові архітектуру Transformer, яка стала основою для генеративних ШІ, як-от ChatGPT від OpenAI. Тепер компанія робить наступний крок із новою архітектурою під назвою Titans. Це інновація, яка прагне подолати ключові обмеження Transformer та наблизити штучний інтелект до людського мислення.
Про це інформує Forbes.
Головний недолік Transformer полягає у відсутності довготривалої пам’яті, через що модель не здатна ефективно зберігати та використовувати інформацію в тривалій перспективі. Titans вирішує цю проблему завдяки впровадженню нейронної довготривалої пам’яті, доповненої короткочасною пам’яттю. Інтелектуальний механізм навчання на основі «метрики несподіванки» дозволяє моделі визначати пріоритетність важливих та непередбачуваних даних.
Архітектура Titans також зберігає ключовий принцип Transformer — механізм уваги, який діє як «прожектор», зосереджуючись на релевантній інформації. У Titans цей підхід доповнюється модулем довготривалої пам’яті, що працює як «бібліотека», дозволяючи системі згадувати важливу історичну інформацію.
Здатність моделювати людське мислення
Titans демонструє схожість із когнітивними процесами людини, використовуючи три основні елементи:
- Короткочасна пам’ять, що обробляє поточний контекст.
- Довготривала пам’ять, яка зберігає ключову історичну інформацію.
- Механізм несподіванки, який визначає, що варто запам’ятати на основі важливості подій.
Ця архітектура дозволяє моделі виходити за рамки фіксованих контекстних обмежень, що є революційним у масштабному аналізі даних. Titans перевершує існуючі моделі у багатьох сферах, зокрема:
- Обробка природної мови: система ефективно працює з великими текстами, зберігаючи точність при обробці довгих контекстів.
- Прогнозування часових рядів: покращена здатність до аналізу складних послідовностей.
- Дослідження геному: успішне моделювання послідовностей ДНК.
Завдяки своїй здатності до довгострокового збереження контексту, Titans має потенціал революціонізувати наукові дослідження, виявлення аномалій у медичних і фінансових даних, а також створення інтуїтивних помічників ШІ.
Виклики та обмеження
Незважаючи на величезний потенціал, Titans стикається з викликами:
- Обчислювальні ресурси: висока складність навчання та використання.
- Конфіденційність даних: зберігання великої кількості інформації може викликати занепокоєння щодо безпеки.
- Етичні питання: здатність моделі до самостійного визначення важливих даних потребує ретельного контролю.
Архітектура Titans від Google є проривом у світі штучного інтелекту. Її здатність інтегрувати когнітивні принципи людини з технологічними інноваціями відкриває нові горизонти для розробки інтелектуальних систем. Якщо поточні виклики будуть подолані, Titans може стати основою для нового покоління ШІ, яке мислить і навчається так само, як і людина.
Раніше команда сайту AI360 писала про те, як Google представила експериментальну ШІ-модель, яка вміє «думати». Ця технологія обіцяє швидке та прозоре вирішення складних завдань, встановлюючи нові стандарти в галузі.
