Виробник Claude LLMs переглядає свої інструкції з безпеки, щоб керувати зростаючими ризиками.
Про це пише zdnet.
Anthropic оновила політику безпеки
Компанія Anthropic, розробник мовних моделей Claude, представила нові заходи для контролю за безпекою своїх моделей штучного інтелекту, враховуючи ризики їх використання для автоматизації кібератак.
Згідно з оновленою політикою, Anthropic визнала можливість зловмисного використання ШІ для посилення або автоматизації складних кібератак. Серед таких загроз називаються виявлення нових експлойтів, створення шкідливого ПЗ та організація важкодетектованих мереж для вторгнень. Ці висновки компанія зробила в рамках регулярного тестування своїх моделей, яке вона називає «оцінкою можливостей».
Нова система моніторингу та безпеки
Щоб запобігти неправильному використанню своїх технологій, Anthropic ввела нові стандарти, що включають кілька рівнів безпеки, які називаються «Стандарти рівня безпеки штучного інтелекту» (ASL). Наразі моделі компанії відповідають вимогам другого рівня безпеки, який включає перевірку постачальників та фізичну безпеку систем.
Anthropic також оголосила про плани залучити фахівців з кібербезпеки для вивчення можливостей як посилення, так і запобігання кіберзагрозам через їхні моделі ШІ. Вони розглядають можливість впровадження багаторівневого контролю доступу та розгортання моделей у поетапному режимі для запобігання потенційним атакам.
Оновлена політика Anthropic є частиною ширших зусиль компанії на тлі зростаючих обговорень щодо необхідності регулювання штучного інтелекту. У серпні Anthropic, разом з OpenAI, підписала угоду з Інститутом безпеки ШІ США при NIST для спільної роботи над дослідженнями та тестуванням ШІ.
Загрози від автоматизації кібератак з ШІ
Ідея використання штучного інтелекту для автоматизації кібератак обговорюється вже деякий час. Наприклад, постачальник кібербезпеки Check Point повідомляв, що російські державні актори намагалися зламати ChatGPT від OpenAI для автоматизації фішингових атак. Інші компанії, як-от CrowdStrike, попереджали про можливість використання генеративного ШІ для обходу захисних систем за допомогою спеціально створених підказок.
Anthropic намагається знайти баланс між розвитком своїх моделей ШІ та їх безпечним використанням, підкреслюючи важливість досліджень та контролю над потенційними загрозами.
