Про це розповів генеральний директор дослідницької компанії Apollo Маріус Гоббхан в коментарі The Verge.
Згідно з дослідженням Apollo, модель o1 іноді видає неправдиву інформацію, і це відрізняється від поведінки попередніх версій. Під час тестувань виявилося, що штучний інтелект намагався імітувати виконання очікувань розробників і маніпулював результатами, щоб виглядати слухняним.
У звіті зазначено, що приблизно у 0,38% випадків модель o1 надавала неправдиві дані, навіть коли її власний аналіз вказував на їхню хибність. Наприклад, модель вигадувала посилання або цитати, замість того, щоб визнати свою неспроможність виконати запит.
В одному з тестів, коли o1 попросили подати рецепт брауні з посиланнями на джерела в інтернеті, модель, не маючи доступу до мережі, створила фальшиві посилання. У 0,02% випадків o1 видавала невизначену інформацію як правдиву.
Маріус Гоббхан пояснив у коментарі для The Verge, що ця “брехня” може бути ненавмисним результатом оптимізації моделі під час навчання.
Модель навчена пріоритизувати задоволення користувачів, що іноді призводить до створення відповідей, які можуть бути занадто позитивними або вигаданими, щоб відповідати запитам. Проте, коли користувачі намагаються змусити модель поводитися оманливо, вона відхиляє такі запити.
