После выхода на рынок ШИ-браузера Comet от Perplexity эксперты начали исследовать его безопасность. Проверки, проведенные Brave, показали, что такие браузеры подвержены вредоносным запросам от мошенников, что угрожает конфиденциальности пользователей.

OpenAI, компания, разработавшая браузер ChatGPT Atlas, также подтвердила наличие уязвимостей в своих продуктах. В новом блоге они указали, что атаки через вредоносные запросы остаются серьезной угрозой для технологий искусственного интеллекта, что требует постоянного совершенствования систем безопасности.

Атаки через внедрение запросов, или prompt injection, представляют собой специфический тип вредоносных действий, которые могут быть встроены в материалы, обрабатываемые ШИ. Эти атаки могут принимать различные формы, включая скрытые инструкции в электронных письмах или веб-контенте, что может привести к нежелательным действиям пользователя.

Эти угрозы особенно опасны, так как могут происходить без ведома пользователя. Существует риск, что ШИ-агент передаст личные данные мошенникам или выполнит нежелательные команды, такие как рассылка вредоносных сообщений.

Чтобы противостоять таким атакам, OpenAI разработала "автоматизированного злоумышленника на основе LLM", который моделирует действия хакеров и тестирует их на браузерах. Это позволяет определить, как реагируют системы на вредоносные запросы, а также улучшать методы защиты.

OpenAI также продемонстрировала случай prompt injection, когда злоумышленник отправил электронное письмо с скрытой командой для ШИ. В этом случае агент мог бы отправить письмо о увольнении, если бы не распознал вредоносную природу инструкции благодаря обучающим алгоритмам.

В своем блоге компания отметила, что несмотря на развитие новых средств защиты, prompt injection остается серьезной проблемой для ШИ-браузеров. Это заставляет некоторых экспертов сомневаться в безопасности использования таких технологий в повседневной жизни.