Цей новий метод спирається на 200-річну геометричну основу, щоб дати художникам можливість контролювати вигляд анімаційних персонажів.
Художники, які оживляють героїв і лиходіїв в анімаційних фільмах і відеоіграх, могли б краще контролювати свою анімацію завдяки новій техніці, представленій дослідниками MIT.
Їхній метод генерує математичні функції, відомі як барицентричні координати, які визначають, як двовимірні та тривимірні фігури можуть згинатися, розтягуватися та переміщатися в просторі. Наприклад, художник, який використовує свій інструмент, може вибрати функції, які роблять рухи тривимірного котячого хвоста відповідними його баченню «вигляду» анімованого котячого.
Багато інших методів вирішення цієї проблеми є негнучкими, забезпечуючи лише один варіант для функцій барицентричних координат для певного анімованого персонажа. Кожна функція може бути або не бути найкращою для певної анімації. Художнику доведеться починати з нуля з новим підходом кожного разу, коли вони хочуть спробувати дещо інший вигляд.
«Як дослідники, ми іноді можемо застрягти в петлі вирішення мистецьких проблем без консультації з художниками. Художники дбають про гнучкість і «вигляд» кінцевого продукту. Їм байдуже рівняння в частинних похідних, які ваш алгоритм розв’язує за лаштунками», — каже Ана Додік, провідний автор статті про цю техніку.
Окрім мистецького застосування, цю техніку можна використовувати в таких сферах, як медична візуалізація, архітектура, віртуальна реальність і навіть у комп’ютерному зорі як інструмент, який допоможе роботам зрозуміти, як рухаються об’єкти в реальному світі.
Додік, аспірант з електротехніки та інформатики (EECS), написав статтю разом з Одедом Стайном, доцентом Інженерної школи Вітербі Університету Південної Каліфорнії; Вінсент Сіцманн, доцент EECS, який очолює групу репрезентації сцени в Лабораторії комп’ютерних наук і штучного інтелекту MIT (CSAIL); і старший автор Джастін Соломон, доцент кафедри EECS і керівник Групи обробки геометричних даних CSAIL. Дослідження нещодавно було представлено на SIGGRAPH Asia.
Узагальнений підхід
Коли художник анімує 2D- чи 3D-персонажа, один із поширених прийомів полягає в тому, щоб оточити складну форму персонажа простішим набором точок, з’єднаних відрізками або трикутниками, які називаються кліткою. Аніматор перетягує ці точки, щоб перемістити та деформувати персонажа всередині клітки. Ключова технічна проблема полягає в тому, щоб визначити, як рухається персонаж, коли клітку змінюють; цей рух визначається дизайном конкретної барицентричної координатної функції.
Традиційні підходи використовують складні рівняння, щоб знайти рухи в клітці, які є надзвичайно плавними, уникаючи перегинів, які можуть утворитися у формі, коли її розтягують або згинають до крайності. Але існує багато уявлень про те, як художня ідея «гладкості» перетворюється на математику, кожне з яких призводить до іншого набору барицентричних координатних функцій.
Дослідники Массачусетського технологічного інституту шукали загальний підхід, який би дозволив художникам мати право голосу в дизайні або виборі серед енергій плавності для будь-якої форми. Потім художник міг попередньо переглянути деформацію та вибрати енергію гладкості, яка найкраще виглядає на його смак.
Хоча гнучкий дизайн барицентричних координат є сучасною ідеєю, основна математична конструкція барицентричних координат сягає століть. Запроваджені німецьким математиком Августом Мебіусом у 1827 році, барицентричні координати визначають, як кожен кут фігури впливає на внутрішність фігури.
У трикутнику, який є формою, яку Мебіус використовував у своїх розрахунках, барицентричні координати легко спроєктувати, але коли клітка не є трикутником, обчислення стають безладними. Створення барицентричних координат для складної клітки особливо складно, тому що для складних форм кожна барицентрична координата повинна відповідати набору обмежень, але бути максимально гладкою.
Відступаючи від минулої роботи, команда використовувала спеціальний тип нейронної мережі для моделювання невідомих барицентричних координатних функцій. Нейронна мережа, заснована на людському мозку, обробляє вхідні дані за допомогою багатьох шарів взаємопов’язаних вузлів.
Хоча нейронні мережі часто застосовуються в додатках ШІ, які імітують людську думку, у цьому проєкті нейронні мережі використовуються з математичних причин. Мережна архітектура дослідників знає, як виводити функції барицентричних координат, які точно задовольняють усі обмеження. Вони вбудовують обмеження безпосередньо в мережу, тому, коли вона генерує рішення, вони завжди дійсні. Ця конструкція допомагає художникам розробляти цікаві барицентричні координати, не турбуючись про математичні аспекти проблеми.
«Складна частина полягала в створенні обмежень. Стандартні інструменти не довели нас до кінця, тому нам дійсно довелося думати нестандартно», — каже Додік.
Віртуальні трикутники
Дослідники спиралися на трикутні барицентричні координати, введені Мебіусом майже 200 років тому. Ці трикутні координати легко обчислити та задовольняють усі необхідні обмеження, але сучасні клітки набагато складніші, ніж трикутники.
Щоб подолати розрив, метод дослідників покриває фігуру віртуальними трикутниками, що перекриваються, які з’єднують трійки точок на зовнішній стороні клітки.
«Кожен віртуальний трикутник визначає дійсну барицентричну функцію координат. Нам просто потрібен спосіб їх поєднання», — каже вона.
Саме тут на допомогу приходить нейронна мережа. Вона передбачає, як об’єднати барицентричні координати віртуальних трикутників, щоб створити більш складну, але гладку функцію.
Використовуючи їхній метод, художник міг спробувати одну функцію, переглянути остаточну анімацію, а потім налаштувати координати, щоб генерувати різні рухи, поки не досягне анімації, яка виглядає так, як їм хочеться.
«З практичної точки зору, я вважаю, що найбільший вплив полягає в тому, що нейронні мережі дають вам велику гнучкість, якої ви не мали раніше», — каже Додік.
Дослідники продемонстрували, як їхній метод може генерувати більш природно виглядаючу анімацію, ніж інші підходи, наприклад, котячий хвіст, який плавно згинається під час руху, а не згортається жорстко біля вершин клітки.
У майбутньому вони хочуть випробувати різні стратегії для прискорення нейронної мережі. Вони також хочуть вбудувати цей метод в інтерактивний інтерфейс, який дозволить художнику легко переглядати анімацію в реальному часі.
Це дослідження було частково профінансовано Управлінням досліджень армії США, Управлінням наукових досліджень ВПС США, Національним науковим фондом США, програмою CSAIL Systems that Learn Program, MIT-IBM Watson AI Lab, Toyota-CSAIL Joint Дослідницький центр, Adobe Systems, премія Google Research Award, Сінгапурське агентство оборонної науки та технологій та Amazon Science Hub.
