У рамках співпраці з Amazon Web Services (AWS), компанія Anthropic анонсувала оптимізацію своїх моделей Claude для роботи з Trainium2 – сучасним чіпом для штучного інтелекту. Оновлена модель Claude 3.5 Haiku отримала підтримку висновку, оптимізованого за затримкою, що значно збільшує швидкість обробки даних без втрати точності.
Про це інформує Anthropic.
Trainium2 дозволяє Claude 3.5 Haiku працювати з підвищеною швидкістю, забезпечуючи до 60% швидший висновок. Це робить модель ідеальною для різноманітних застосувань, таких як автоматизоване створення коду, модерація контенту в реальному часі та чат-боти.
Розвиток проєкту Rainier
Співпраця Anthropic з AWS також охоплює розробку EC2 UltraCluster Rainier, що базується на Trn2 UltraServers. Кластер оснащено сотнями тисяч Trainium2, що забезпечує понад п’ять разів вищу обчислювальну потужність у порівнянні з поточними моделями. Це відкриває нові можливості для навчання ШІ, збільшуючи його ефективність та знижуючи витрати.
Оновлена версія Claude 3.5 Haiku вже доступна в публічному попередньому перегляді через Amazon Bedrock у регіоні США (Огайо). Вартість використання моделі стартує від 1 долара США за мільйон вхідних токенів та 5 доларів США за мільйон вихідних токенів.
Інновації в дистиляції моделей
Anthropic також запустила підтримку дистиляції моделей в Amazon Bedrock, що дозволяє переносити знання від потужніших моделей до економічніших варіантів. Наприклад, модель Claude 3 Haiku після дистиляції може досягти точності, подібної до Claude 3.5 Sonnet, але знижує вартість і збільшує швидкість обробки.
Процес дистиляції автоматизовано:
- Генерується синтетичний навчальний матеріал із Claude 3.5 Sonnet.
- Claude 3 Haiku проходить навчання на основі створених даних.
- Фінальна дистильована модель стає доступною для використання через Amazon Bedrock.
Це значно спрощує процес адаптації моделей для конкретних завдань, наприклад, аналізу даних чи пошуково-доповненого створення (RAG).
Зниження вартості та доступність
Крім оптимізації, Anthropic знизила ціну на Claude 3.5 Haiku. Тепер її використання коштує 0,80 долара США за мільйон вхідних токенів і 4 долари США за мільйон вихідних токенів. Модель доступна на платформах Amazon Bedrock, Anthropic API та Google Cloud Vertex AI.
Нові перспективи для розробників
Починаючи з цього моменту, швидший Claude 3.5 Haiku і функція дистиляції моделей доступні в попередній версії через Amazon Bedrock. Ці інновації дозволяють розробникам обирати моделі, які відповідають їхнім завданням:
- Claude 3.5 Haiku, оптимізована на базі Trainium2, для широкого спектра застосувань.
- Claude 3 Haiku, дистильована для економічних повторюваних завдань.
Таким чином, Anthropic і AWS пропонують потужні та доступні інструменти, що поєднують продуктивність, економічність і інновації, відкриваючи нові можливості для розвитку штучного інтелекту.
