Дослідники з Google DeepMind і Корнельського університету нещодавно представили інноваційний метод, відомий як MC-ViT. Спрямований на підвищення здатності систем ШІ розуміти події в розширених відеопослідовностях.
У статті під назвою «Консолідація пам’яті забезпечує розуміння відео з довгим контекстом». Дослідники представляють новий підхід до обробки відео під назвою Memory-Consolidated Vision Transformer (MC-ViT). Який ефективно керує довгими часовими контекстами у відео, використовуючи консолідацію пам’яті. Запропонована модель MC-ViT перевершує як загальнодоступні, так і великомасштабні пропрієтарні моделі. Дозволяючи їй розширити свій контекст далеко в минуле та перевершити методи з більшою кількістю параметрів у задачах, пов’язаних із розумінням довгоконтекстного відео.
Автори пропонують змінити призначення існуючих попередньо навчених відеотрансформаторів, налаштувавши їх для роботи зі спогадами, отриманими з часових сегментів, що не перекриваються. Дозволяючи їм подолати обмеження коротких часових контекстів через квадратичну складність більшості відеокодерів на основі трансформаторів.
Натхнення для методології MC-ViT походить від теорій, пов’язаних із консолідацією людської пам’яті в психології та нейронауці. Імітуючи аспекти функціонування людської пам’яті, системі вдається досягти найсучаснішої точності. В таких завданнях, як розпізнавання дій і відповіді на запитання.
Примітно, що MC-ViT досягає цих успіхів, використовуючи значно менше ресурсів порівняно з більшими порівнянними моделями. Це досягнення заслуговує особливої уваги. Оскільки воно демонструє здатність розширювати межі можливостей штучного інтелекту. За допомогою готових трансформаторів і знижених обчислювальних вимог.
Цей прогрес є вирішальним кроком вперед у покращенні здатності штучного інтелекту міркувати та розширенні його практичних застосувань у сценаріях реального світу. Крім того, здатність досягти цих досягнень із меншими вимогами до обчислювальних ресурсів підкреслює постійні зусилля. Спрямовані на досягнення успіхів у розробці ШІ з акцентом на ефективне використання ресурсів.
