Аналіз Microsoft і OpenAI проливає світло на поточне застосування технології великих мовних моделей (LLM) суб’єктами загроз.
Основна увага дослідження зосереджена на діяльності визнаних суб’єктів загрози. Які беруть участь у таких діях, як швидкі ін’єкції, спроби неправильного використання LLM та випадки шахрайства.
Висновки, представлені в дослідженні, були зібрані з інфраструктури відомих загроз, визначених Microsoft Threat Intelligence. І надані OpenAI для виявлення потенційного зловмисного використання або зловживання їх платформою.
Суб’єкти загрози, висвітлені в дописі в блозі, служать репрезентативною вибіркою спостережуваних дій. Демонструючи тактику, методи та процедури (TTP), для відстеження яких галузь має надавати пріоритет для підвищення обізнаності та пом’якшення.
Приклади
Forest Blizzard (пов’язана з російською військовою розвідкою), наприклад, активно атакувала організації, пов’язані з війною Росії в Україні. Зловмисник бере участь у розвідці за допомогою LLM, використовуючи LLMS для визначення протоколів супутникового зв’язку. Технологій радіолокаційних зображень і конкретних технічних параметрів. Forest Blizzard також використовує методи сценаріїв, вдосконалені LLM. Шукаючи підтримки в основних завданнях сценаріїв, таких як маніпулювання файлами, вибір даних, регулярні вирази та багатопроцесорна обробка.
Смарагд Сліт (також відомий як Таліум, північнокорейський загрозливий актор) використовує соціальну інженерію, підтримувану LLM, у фішингових кампаніях. Видаючи себе за академічні установи та неурядові організації, інформовану LLM розвідку для проведення досліджень північнокорейських аналітичних центрів і створення вмісту для використання у фішингових кампаніях, дослідження вразливостей за допомогою LLM для кращого розуміння публічно повідомлених уразливостей і вдосконалених LLM методів створення сценаріїв для базових завдань сценаріїв.
Crimson Sandstorm (пов’язана з Корпусом вартових іранської революції) використовує соціальну інженерію, що підтримується LLM, для створення різноманітних фішингових електронних листів і розповсюдження свого шкідливого програмного забезпечення. NET, розширених LLM методів сценаріїв для веб-розробки та розробки додатків, а також ухилення від виявлення аномалій за допомогою LLM.
Charcoal Typhoon, китайський державний актор, бере участь у розвідці технологій, платформ і вразливостей, вдосконалених LLM методами створення та вдосконалення сценаріїв, підтримуваною LLM соціальною інженерією для перекладів і комунікації, а також уточненими LLM операційними командні методи для розширених команд і глибшого доступу до системи.
Salmon Typhoon, ще одна китайська державна компанія з історією нападів на оборонних підрядників США, продемонструвала дослідницьку взаємодію з LLM. Їхня робота включає в себе розвідку за інформацією LLM для збору розвідувальних даних щодо різноманітних тем, таких як глобальні розвідувальні агентства, питання кібербезпеки, теми, що становлять стратегічний інтерес, і різні суб’єкти загрози, розширені LLM методи сценаріїв для виявлення та вирішення помилок кодування, вдосконалені LLM методи оперативного командування та технічний переклад і пояснення за допомогою LLM.
Висновки
В якості запобіжного заходу всі пов’язані облікові записи та активи згаданих загрозників було вимкнено.
Незважаючи на таку інтеграцію штучного інтелекту в зловмисну діяльність, дослідження ще не виявили особливо нових або унікальних методів атаки з підтримкою штучного інтелекту. Однак це дослідження є вирішальним внеском у розкриття тактик на ранніх стадіях, які використовують суб’єкти загрози. Мета полягає в тому, щоб поділитися інформацією про те, як такі загрози блокуються та протистоять їм, зміцнюючи зобов’язання щодо захисту від зловживання технологіями ШІ. Цей комплексний підхід має на меті сприяти постійним зусиллям спільноти захисників, щоб випереджати нові загрози кібербезпеці.
