Китайський розробник штучного інтелекту DeepSeek представив модель V4.1-Flash — найменшу модель у новій архітектурній лінійці компанії. Попри це, вона містить 552 млрд параметрів і підтримує роботу з текстом та зображеннями.
DeepSeek позиціонує V4.1-Flash як модель, орієнтовану на швидкий інференс, високу пропускну здатність та роботу з великими контекстами. Вона використовує архітектуру Mixture-of-Experts (MoE), тому під час виконання конкретного завдання задіюється лише частина параметрів.
Модель V4.1-Flash
V4.1-Flash побудована на асиметричній архітектурі Causal Encoder–Decoder. Під час обробки вхідних даних модель активує близько 8 млрд параметрів, а під час генерації відповіді — 16 млрд.
Для порівняння, попередня V4 Flash містила 284 млрд параметрів і активувала 13 млрд. Флагманська V4 Pro має 1,6 трлн параметрів, але одночасно використовує близько 49 млрд.
Однією з ключових змін у V4.1-Flash став новий підхід до роботи з KV-кешем. Це пам’ять, у якій модель зберігає інформацію про вже опрацьований контекст.
За даними DeepSeek, порівняно з V4 Flash новинці потрібно вчетверо менше високошвидкісної HBM-пам’яті та увосьмеро менше SSD-сховища. Глобальний KV-кеш займає 890 байтів на токен.
Модель підтримує контекстне вікно до 1 млн токенів. Це особливо важливо для агентів штучного інтелекту, які можуть багато разів звертатися до великого обсягу інформації під час виконання одного завдання.
V4.1-Flash уже доступна через API під назвою deepseek-flash.
