Американська компанія Groq Inc. оголосила про залучення $1,5 мільярда від Саудівської Аравії для розвитку поставок чіпів штучного інтелекту. Фінансування спрямоване на розширення обчислювального центру в місті Даммам, де розгортаються передові рішення в сфері ШІ.
Про це інформує siliconeangle.
Ця угода стала наступним кроком після 640-мільйонного раунду інвестицій, який компанія отримала пів року тому від таких гігантів, як Samsung Electronics та Cisco Investments. Тоді ринкова вартість Groq оцінювалася в $2,8 мільярда.
Основою для інновацій Groq є її унікальні LPU (Language Processing Unit) – процесори, створені спеціально для роботи з великими мовними моделями (LLM). Компанія стверджує, що LPU у 10 разів енергоефективніші за традиційні графічні процесори (GPU) та значно простіші у програмуванні.
На відміну від Nvidia, яка розробляє універсальні графічні карти, Groq LPU оптимізовані саме під мовні моделі. Це дозволяє усунути зайві компоненти, зменшити енергоспоживання та підвищити продуктивність.
Переваги архітектури Groq
Архітектура LPU відрізняється від традиційних GPU тим, що дозволяє більш ефективно розподіляти обчислювальні ресурси.
Завдяки спеціальному механізму процесор самостійно визначає, які обчислення необхідно виконати і як розподілити навантаження.
Ще одним ключовим удосконаленням є покращений механізм обміну даними між процесорами в ШІ-кластерах. У типових системах для цієї задачі використовуються зовнішні мережеві компоненти, що ускладнює інфраструктуру. Groq же пропонує інтегроване рішення, яке спрощує програмування та зменшує витрати.
GroqRack та хмарна платформа GroqCloud
Для клієнтів компанія пропонує GroqRack – пристрій, який містить вісім серверів по вісім LPU кожен. Завдяки власній технології RealScale, сервери можуть працювати без зовнішніх комутаторів, що підвищує ефективність. Потужність одного GroqRack досягає 12 петафлопс, що еквівалентно мільйону мільярдів операцій на секунду.
Однією з головних переваг GroqRack є його модульна структура, що дозволяє компаніям масштабувати обчислювальні потужності відповідно до потреб. Оскільки ШІ-моделі стають дедалі складнішими, можливість легко додавати нові сервери є важливою перевагою. Крім того, GroqRack підтримує автоматизоване управління навантаженням, що дозволяє підвищити ефективність використання ресурсів та зменшити витрати на електроенергію.
Хмарна платформа GroqCloud дає змогу компаніям використовувати можливості GroqRack без необхідності купувати власне обладнання. Це рішення орієнтоване на розробників штучного інтелекту, стартапи та великі корпорації, яким потрібні гнучкі обчислювальні ресурси. Нещодавнє оновлення платформи дозволило клієнтам запускати свої моделі безпосередньо в новому дата-центрі Даммама, що значно підвищує швидкість обробки даних та забезпечує низьку затримку для робочих навантажень ШІ.
