Gemini вперше з власної ініціативи "зламала" сайт шляхом підбору паролів

Тестуючи можливості моделі ШІ Gemini, розробники надали їй доступ до інтернету. Після цього вона зламала три сторонні компанії. Як пише CNN, це стало першим відомим прикладом автономного злому з боку моделі Google.

Інцидент стався в травні під час перевірки кібербезпеки, яку проводила незалежна компанія Irregular. Під час тестування Gemini виявила загальнодоступну інформацію в інтернеті та вгадала облікові дані для доступу до трьох веб-сайтів, які, на її думку, входили в сферу тестування.

В одному з випадків модель Gemini вгадувала паролі, доки не отримала доступ до захищеної системи. У двох інших випадках модель знайшла облікові дані у загальнодоступному репозиторії, що дозволило їй згодом отримати доступ до захищених систем.

"Ці події підкреслюють важливість навчання потужних моделей ШІ відповідальній поведінці", – сказала віцепрезидент Google з розробки систем безпеки Хізер Адкінс.

Представник компанії Irregular заявив, що інцидент був пов’язаний із проблемою, яка вже виникала в інших лабораторіях. Він уточнив, що всі відомі проблеми було усунуто. Зараз Irregular працює над методами безпечного проведення оцінок кібербезпеки ШІ.

Аналогічні інциденти, пов’язані з Irregular, були розкриті компаніями Meta, Anthropic та OpenAI. У серпні Meta заявила, що інцидент не був пов’язаний із "виходом із пісочниці" або складною кібератакою.

"Ці інциденти порушили питання щодо необхідних заходів безпеки в міру того, як агенти штучного інтелекту отримують дедалі більшу автономію та доступ до інтернету й комп’ютерних систем", – йдеться у статті.

Нагадаємо, що великі гравці в галузі ШІ погодилися об’єднатися, щоб боротися із загрозою, яку можуть становити великі нейромережі. Про загрози для всього людства вже заявив колишній дослідник Anthropic Джейкоб Коксон, який стверджує, що Anthropic та OpenAI "ризикують життями людей". Пізніше його підтримав Пол Крістіано з ради директорів та комітету з безпеки OpenAI.