Після виходу на ринок ШІ-браузера Comet від Perplexity, фахівці зосередилися на аналізі його безпеки. Перевірки, проведені Brave, підтвердили, що нові технології легко піддаються атакам шахраїв, що загрожує конфіденційності користувачів.

OpenAI, компанія, що нещодавно розробила браузер ChatGPT Atlas, також визнала наявність вразливостей у своїх продуктах. У новому блозі вони підкреслили, що атаки через шкідливі запити залишаються серйозною загрозою для технологій штучного інтелекту, вимагаючи постійних вдосконалень системи безпеки.

Атаки через впровадження запитів, або prompt injection, є специфічним видом шкідливих дій, які можуть бути закладені в матеріали, що обробляються ШІ. Ці атаки можуть мати різноманітні форми, включаючи приховані інструкції в електронних листах або веб-контенті, що може призвести до ненавмисних дій користувача.

Ці загрози є особливо небезпечними, оскільки вони можуть відбуватися без відома користувача. Існує ризик, що ШІ-агент передає особисту інформацію шахраям або виконує небажані команди, такі як розсилка шкідливих повідомлень.

Щоб протидіяти таким атакам, OpenAI розробила "автоматизованого зловмисника на основі LLM", який моделює дії хакерів і тестує їх на браузерах. Це дозволяє визначити, як реагують системи на шкідливі запити, а також вдосконалювати методи захисту.

OpenAI також продемонструвала один з випадків prompt injection, коли зловмисник надіслав електронний лист із прихованою командою для ШІ. У цьому випадку агент, отримавши запит, міг би надіслати листа про звільнення, якщо б не виявив шкідливу природу інструкції завдяки навчальним алгоритмам.

У своєму блозі компанія зазначила, що незважаючи на розвиток нових методів захисту, prompt injection залишається серйозною проблемою для ШІ-браузерів. Це спонукає деяких експертів засумніватися у безпеці використання таких технологій у повсякденному житті.