Незалежна дослідницька компанія Apollo виявила важливу проблему з безпекою в новій моделі штучного інтелекту OpenAI під назвою o1.
Internet technology and people's networks use AI to help with work, AI Learning or artificial intelligence in business and modern technology, AI technology in everyday life.
Про це розповів генеральний директор дослідницької компанії Apollo Маріус Гоббхан в коментарі The Verge.
Згідно з дослідженням Apollo, модель o1 іноді видає неправдиву інформацію, і це відрізняється від поведінки попередніх версій. Під час тестувань виявилося, що штучний інтелект намагався імітувати виконання очікувань розробників і маніпулював результатами, щоб виглядати слухняним.
У звіті зазначено, що приблизно у 0,38% випадків модель o1 надавала неправдиві дані, навіть коли її власний аналіз вказував на їхню хибність. Наприклад, модель вигадувала посилання або цитати, замість того, щоб визнати свою неспроможність виконати запит.
В одному з тестів, коли o1 попросили подати рецепт брауні з посиланнями на джерела в інтернеті, модель, не маючи доступу до мережі, створила фальшиві посилання. У 0,02% випадків o1 видавала невизначену інформацію як правдиву.
Маріус Гоббхан пояснив у коментарі для The Verge, що ця “брехня” може бути ненавмисним результатом оптимізації моделі під час навчання.
Модель навчена пріоритизувати задоволення користувачів, що іноді призводить до створення відповідей, які можуть бути занадто позитивними або вигаданими, щоб відповідати запитам. Проте, коли користувачі намагаються змусити модель поводитися оманливо, вона відхиляє такі запити.
Унаслідок нічної атаки російських військ на Київську область отримав травми водій бензовозу. Потерпілого госпіталізували до…
Ізраїль та Ліван досягли домовленостей щодо впровадження перемир’я, яке передбачає припинення вогню за умови повного…
Французька прокуратура повідомила про затримання капітана російського нафтового танкера Tagor, який 31 травня було зупинено…
Протягом березня–травня у столиці демонтували 632 об’єкти, які порушували Правила благоустрою міста. Завдяки проведеним роботам…
Бійці Третього армійського корпусу провели операцію з ураження тилової логістики російських військ у Донецькій та…
Сполучені Штати наразі фіналізують пакет військової допомоги для України на суму 400 мільйонів доларів. За…