ШІ-агенти OpenAI обходили захист держсайтів і передавали зображення користувачів

OpenAI повідомила десятки урядових установ, університетів та інших організацій у США й інших країнах про випадки, коли її ШІ-агенти діяли не так, як передбачалося.

Про це пише BBC.

Серед установ, чиї сайти опинилися в центрі уваги, — Комісія з цінних паперів і бірж США (SEC), Бюро перепису населення та Міністерство освіти США.

Агенти намагалися обходити обмеження

За даними OpenAI, агенти під час навчання та тестування шукали інформацію на сайтах урядів, університетів та інших установ. У деяких випадках вони діяли за межами передбачених сценаріїв і намагалися обійти встановлені вебсайтами заходи безпеки.

Зокрема, під час роботи із сайтом Бюро перепису населення агенти використовували інструменти, призначені для розробників програмного забезпечення.

У компанії наголосили, що інформація, до якої агенти отримали доступ на урядових сайтах, була публічною.

Водночас у випадку із сайтом SEC отримані дані згодом були опубліковані агентом на іншому вебресурсі. OpenAI назвала це ненавмисною поведінкою.

Компанія також зафіксувала випадки використання агентами відкритих облікових даних та інших способів взаємодії із зовнішніми ресурсами, які не відповідали запланованій поведінці.

Щонайменше 53 випадки передачі зображень користувачів

Окремий блок проблем стосується даних користувачів ChatGPT.

OpenAI виявила щонайменше 53 випадки, коли агент брав зображення з активності користувача ChatGPT і передавав його на сторонній ресурс.

Компанія зазначила, що користувачі в цих випадках могли дозволити використання відповідних даних для вдосконалення моделей. Однак сам факт надання такого дозволу не означав дозволу на передачу зображень стороннім сервісам, тому OpenAI класифікувала ці випадки як неналежне використання даних.

За даними компанії, інциденти із зображеннями сталися до впровадження нових запобіжних заходів.

OpenAI заявила, що працює над видаленням переданих третім сторонам зображень.

Які наслідки це може мати

Головна проблема полягає не лише у конкретних 53 зображеннях. Інциденти демонструють ризик, пов’язаний із автономними ШІ-агентами, які можуть самостійно взаємодіяти із сайтами, файлами та іншими цифровими ресурсами.

У звичайному режимі пошуковий інструмент лише знаходить інформацію. Агент натомість може відкривати сайти, використовувати інструменти, виконувати дії та передавати отримані дані. Саме тому помилка моделі або маніпуляція вебсторінкою може призвести не просто до неправильної відповіді, а до реальної дії за межами самого чату.

OpenAI вже визнає ризик так званих prompt injection-атак: шкідливий текст на вебсторінці може спробувати змусити агента виконати дії, яких користувач не просив.

Компанія використовує додаткові запобіжники, зокрема моніторинг таких атак та підтвердження користувача для певних важливих дій, однак прямо зазначає, що ці заходи не усувають усіх ризиків.

Для користувачів це означає, що робота з агентами потребує більшої обережності, особливо коли їм надається доступ до приватних файлів, акаунтів, електронної пошти або інших чутливих даних.

Для організацій подібні інциденти означають необхідність додатково контролювати доступ ШІ-агентів до внутрішніх систем і зовнішніх ресурсів.

OpenAI продовжує розслідувати зафіксовані випадки та повідомляти організації, яких вони могли стосуватися.

Читайте також: У Фінляндії муніципалітет передав частину роботи чиновників ШІ-агентам