Дослідники Apple зі штучного інтелекту розробили революційну модель, що має суттєво покращити сприйняття глибини машинами. Ця технологія має потенціал кардинально змінити галузі — від доповненої реальності до автономних транспортних засобів. Нову систему під назвою Depth Pro створено для швидкого й точного генерування 3D-карт глибини на основі лише одного 2D-зображення.
Про це нас інформує venturebeat.com.
Це і робить її унікальною, адже раніше для таких завдань вимагалося використання складних наборів даних з камер. Одна з головних переваг Depth Pro — здатність створювати високоякісні карти глибини без використання метаданих або багатьох зображень. За допомогою стандартного GPU система може за 0,3 секунди генерувати 2,25-мегапіксельні карти, які показують навіть дрібні деталі, що зазвичай не вдається іншим методам. Це стало можливим завдяки передовій архітектурі на базі багатомасштабного трансформатора, який одночасно аналізує як загальний контекст зображення, так і його дрібні елементи.
Порівняння карт глибини від Apple Depth Pro, Marigold, Depth Anything v2 і Metric3D v2. Depth Pro чудово знімає такі дрібні деталі, як хутро та дроти пташиної клітки, створюючи чіткі карти глибини з високою роздільною здатністю лише за 0,3 секунди, перевершуючи інші моделі за точністю та деталізацією.
Оцінка абсолютної та відносної глибини
Однією з ключових особливостей Depth Pro є здатність моделі точно вимірювати як відносну, так і абсолютну глибину. Це дає можливість використовувати систему для точного розміщення віртуальних об’єктів у доповненій реальності або для навігації автономних транспортних засобів, забезпечуючи їх ефективне розпізнавання перешкод у реальному середовищі.
Ще однією перевагою є те, що Depth Pro не потребує специфічних навчальних наборів даних для роботи. Її можна легко застосовувати до різних зображень без налаштування під конкретні камери, що робить модель дуже універсальною.
Порівняння карт глибини від Apple Depth Pro, Depth Anything v2, Marigold і Metric3D v2. Depth Pro чудово знімає такі дрібні деталі, як хутро оленя, лопаті вітряка та смуги зебри, створюючи чіткі карти глибини з високою роздільною здатністю за 0,3 секунди.
Впровадження у різні галузі
Завдяки універсальності Depth Pro може бути корисною у багатьох галузях. Наприклад, у сфері електронної комерції ця технологія може допомогти споживачам візуалізувати, як меблі виглядатимуть у їхній оселі. В автомобільній промисловості вона сприятиме кращому сприйняттю навколишнього середовища безпілотними автомобілями, покращуючи їхню навігацію та безпеку.
Apple вже зробила Depth Pro доступною для розробників, відкривши її код на платформі GitHub. Це дозволить дослідникам і розробникам удосконалювати технологію та застосовувати її у нових сферах, таких як робототехніка, медицина та виробництво. Дослідницька група наголошує, що нова система перевершує всі попередні розробки в точності відтворення деталей і може незабаром стати основою багатьох інноваційних рішень у сфері 3D-моделювання та автономних технологій.
