У Баскському центрі пізнання, мозку та мови (Іспанія) компанія Meta випробувала передову систему Brain2Qwerty – неінвазивний інтерфейс «мозок-комп’ютер» (BCI). Він здатний декодувати нейронну активність і перетворювати її на текст. У ході експериментів 35 добровольців вводили речення, поки спеціальне обладнання реєструвало активність їхнього мозку за допомогою електроенцефалографії (ЕЕГ) та магнітоенцефалографії (МЕГ).
Про це у своїй статті повідомляє Forbes.
Brain2Qwerty дозволяє користувачам вводити текст на клавіатурі QWERTY лише завдяки нейронним імпульсам, що відкриває нові можливості для людей із порушеннями мовлення та моторики.
Дослідження Meta підтвердило, що мозок формує мовлення ієрархічно: перед тим як створити слово, він спершу визначає його контекст, далі – значення, а потім розбиває його на склади й окремі літери. Brain2Qwerty змогла відстежити ці етапи й адаптувати їх до процесу введення тексту. Це відкриття підтверджує фундаментальні лінгвістичні теорії та поглиблює розуміння того, як мозок перетворює думки у слова.
Технологічна основа: гібридна нейромережа
Архітектура Brain2Qwerty включає триетапну нейронну мережу, що поєднує згорточні нейромережі (CNN), трансформаторні моделі та мовний модуль. CNN аналізує просторово-часові патерни мозкової активності, пов’язані з набором тексту. Трансформаторна модель інтерпретує ці сигнали в контексті слів і фраз. Мовний модуль коригує помилки та підлаштовує текст під лінгвістичні закономірності. Такий підхід дозволяє системі прогнозувати слова замість окремих символів, що суттєво зменшує навантаження на користувача.
На відміну від традиційних BCI, які покладаються на реакцію на зовнішні подразники або уявні рухи, Brain2Qwerty працює на основі природних моторних процесів, що робить його використання інтуїтивно зрозумілим. Випробування показали, що система здатна розпізнавати індивідуальні нейронні сигнатури кожного натискання клавіші, а також автоматично виправляти друкарські помилки в реальному часі.
Обмеження та перспективи розвитку
Незважаючи на проривний характер технології, точність Brain2Qwerty значною мірою залежить від використовуваного методу реєстрації мозкової активності. Декодування за допомогою МЕГ досягло середнього рівня помилок у 32%, тоді як у найкращих учасників цей показник складав 19%. Водночас ЕЕГ демонструвала значно нижчу точність – 67% помилок. Для порівняння, професійні стенографісти мають рівень помилок 8%, а інвазивні імпланти Neuralink – менше 5%.
Важливим викликом залишається мініатюризація обладнання. Система працює не в реальному часі, а аналізує речення після їх завершення, що обмежує її застосування для живої комунікації. Також поки що незрозуміло, як Brain2Qwerty адаптується до користувачів із нейродегенеративними захворюваннями.
Поточна установка Meta важить 500 кг і коштує 2 мільйони доларів, що робить її непридатною для повсякденного використання.
Етичні виклики та майбутнє Brain2Qwerty
Meta підкреслює, що система декодує лише навмисні натискання клавіш, а не хаотичні думки, що є важливим аспектом конфіденційності. Проте розвиток BCI потребує чітких етичних рамок, зокрема щодо захисту даних і добровільної згоди користувачів.
Наступні кроки Meta включають вдосконалення алгоритмів через «трансферне навчання», інтеграцію Brain2Qwerty з великими мовними моделями, такими як GPT-4, а також створення портативних МЕГ-пристроїв. Дослідники також розглядають можливість поєднання цієї технології з системами відстеження очей та жестовими інтерфейсами для розширення комунікаційних можливостей пацієнтів.
Brain2Qwerty – важливий крок до майбутнього, де люди зможуть спілкуватися без фізичних обмежень. Попри наявні виклики, ця розробка відкриває перспективи для створення доступних та ефективних нейроінтерфейсів, що можуть змінити життя мільйонів людей.
