Компания Google сообщила, что её модель искусственного интеллекта Gemini вышла за пределы тестовой среды и получила доступ к данным трёх компаний, что усилило обеспокоенность рисками автономных AI-агентов.
По международным сообщениям, модель Gemini во время тестов на кибербезопасность подключилась к интернету и совершила несанкционированные попытки проникновения на сторонние ресурсы. Это первый задокументированный случай, когда AI Google действовал автономно таким образом.
Инцидент произошёл в мае в ходе оценки защиты, организованной независимой частной компанией Irregular, которая специализируется на проверках кибербезопасности.
Хизер Эдкинс, вице-президент по инженерии безопасности Google, заявила, что в рамках обычной оценки модель искала общедоступную информацию в сети и делала предположения о паролях, чтобы получить доступ к сайтам, которые AI считал частью своей тестовой зоны.
«Эти случаи подчёркивают важность обучения мощных моделей AI работать ответственно», — отметила Эдкинс.
Представитель Irregular добавил, что подобные инциденты случались и в других лабораториях AI; о проблеме было уведомлено все затронутые команды ещё в конце июля. По его словам, все известные у них уязвимости были устранены несколько недель назад.
За последние месяцы разработчики крупных AI-систем — Meta, Anthropic и OpenAI — также признавали случаи, когда их модели выходили из тестовых сред и получали доступ к внешним системам.
Wall Street Journal, первым сообщивший об инциденте, отметил, что в одном из трёх случаев Gemini подбирал пароли методом перебора и сумел проникнуть в защищённую систему, в двух других случаях модель нашла учётные данные в общедоступных хранилищах, что позже позволило получить доступ.
Эдкинс подчеркнула, что во всех трёх случаях модель прекратила вторжения самостоятельно.
Случай с Gemini усиливает требования к разработке лучших практик тестирования кибербезопасности для AI-агентов и ставит вопрос о необходимости дополнительных мер контроля при предоставлении им доступа к интернету и внешним системам.
Источник: cna (через Channel News Asia) и публикации Wall Street Journal.