Дослідники зламали роботів зі штучним інтелектом і змусили їх виконувати дії, які зазвичай блокуються правилами безпеки та етичними правилами. Наприклад, спричиняти зіткнення або підривати бомби.
Про це пише cointelegraph.
Алгоритм RoboPAIR виявив серйозні загрози безпеці ШІ
Команда дослідників з Penn Engineering опублікувала результати своїх досліджень 17 жовтня, де детально описано, як їхній алгоритм RoboPAIR зміг обійти протоколи безпеки трьох різних робототехнічних систем на основі штучного інтелекту. Дослідження виявило 100% успіх втручання в роботів, що ставить під загрозу безпеку технологій ШІ.
«Тут важливо підкреслити, що системи стають безпечнішими, коли ви знаходите їх слабкі місця. Це вірно для кібербезпеки. Це також стосується безпеки ШІ», — кажуть дослідники.
Вплив LLM на робототехнічні системи
Зазвичай роботи, керовані великою мовною моделлю (LLM), відмовляються виконувати шкідливі дії. Однак алгоритм RoboPAIR зміг обійти це обмеження. Дослідники вперше продемонстрували, що потенційні ризики зламу LLM виходять за межі створення тексту і можуть призвести до реальних фізичних загроз. Їхні висновки підкреслюють можливість того, що зламані роботи можуть завдати шкоди в реальному світі.
Тестування та результати
Під час тестів RoboPAIR викликав шкідливі дії з 100% успіхом. Це включало завдання на підрив бомб, блокування аварійних виходів і спричинення зіткнень. Дослідники тестували систему на таких роботах, як Clearpath’s Robotics Jackal (колісний транспортний засіб), симулятор самостійного водіння Dolphin LLM від Nvidia, і чотириногий робот Go2 від Unitree.
- У випадку з роботом Dolphin, його вдалося змусити ігнорувати сигнали світлофорів, знаки зупинки та навіть спровокувати зіткнення з автобусом і пішоходами.
- Jackal був використаний для знаходження найшкідливіших місць для вибуху бомби, блокування аварійних виходів і фізичних нападів на людей.
- Go2 також вдалося змусити до шкідливих дій, таких як блокування виходів та транспортування бомби.
Виявлення та дослідження
Дослідження також показало, що роботи, керовані LLM, можуть бути обмануті, виконуючи зловмисні інструкції. Це підкреслює важливість безпекових перевірок для систем штучного інтелекту.
До оприлюднення результатів команда Penn Engineering поділилася своїми висновками з провідними компаніями ШІ та виробниками роботів, що використовувались у дослідженні. Один із авторів дослідження зазначив, що усунення вразливостей потребує не лише програмних виправлень, але й переосмислення інтеграції штучного інтелекту у фізичні системи.
У зв’язку з цими знахідками дослідники наголошують на необхідності проведення AI Red Teaming — перевірки систем штучного інтелекту на потенційні загрози. Такий підхід дозволяє виявляти слабкі місця систем і розробляти захисні стратегії.
