Gemini впервые по собственной инициативе "хакнула" сайт через подбор паролей

Тестируя возможности модели ИИ Gemini, разработчики открыли ей доступ к интернету. После этого она взломала три сторонние компании. Как пишет CNN, это стало первым известным примером автономного взлома со стороны модели Google.

Инцидент произошел в мае во время проверки кибербезопасности, под управлением независимой компанией Irregular. В время тестирования Gemini обнаружила общедоступную информацию в интернете и угадала учетные данные для доступа к трем веб-сайтам, которые, по ее мнению, входили в область тестирования.

В одном из случаев модель Gemini угадывала пароли, пока не получила доступ к защищенной системе. В двух других случаях модель нашла учетные данные в общедоступном репозитории, что позволило ей затем получить доступ к защищенным системам.

"Эти события подчеркивают важность обучения мощных моделей ИИ ответственному поведению", - сказала вице-президент Google по разработке систем безопасности Хизер Адкинс.

Представитель компании Irregular заявил, что инцидент был с проблемой, которая уже возникала в других лабораториях. Он уточнил, что все известные проблемы были устранены. Теперь Irregular работает над методами безопасного проведения оценок кибербезопасности ИИ.

Аналогичные инциденты, связанные с Irregular, были раскрыты компаниями Meta, Anthropic и OpenAI. В августе Meta заявила, что инцидент не был связан с "выходом из песочницы" или сложной кибератакой. 

"Эти инциденты подняли вопросы о необходимых мерах безопасности по мере того, как агенты искусственного интеллекта получают все большую автономию и доступ к интернету и компьютерным системам", - говорится в статье.

Напомним, что крупные игроки в ИИ-индустрии согласились объединиться, чтобы бороться с угрозой, которую могут представлять крупные нейросети. Об угрозах для всего человечества уже заявил бывший исследователь Anthropic Джейкоб Коксон, который утверждает, что Anthropic и OpenAI "рискуют жизнями людей". Позже его поддержал Пол Кристиано из совета директоров и комитет по безопасности OpenAI.