Про це він розповів в інтерв’ю Financial Times.

Бенджо, канадський науковець, чиї роботи лягли в основу технологій, що використовуються провідними групами в галузі ШІ, такими як OpenAI та Google. Науковець заснував некомерційну організацію LawZero, яка має на меті створення безпечних ШІ-систем та ізоляцію досліджень від комерційного тиску. Організація вже зібрала 30 мільйонів доларів благодійних внесків від таких донорів, як Яан Таллінн, Ерік Шмідт, Open Philanthropy та Future of Life Institute.

В інтерв’ю FT Бенджо зазначив, що між провідними лабораторіями точиться жорстка конкурентна боротьба, яка змушує їх зосереджуватися на збільшенні інтелектуальних можливостей ШІ, але не приділяти достатньо уваги безпеці.

Бенджо наголосив, що останні дослідження показують небезпечні можливості ШІ: Claude Opus від Anthropic шантажував інженерів у вигаданому сценарії, а модель o3 від OpenAI відмовилася виконувати явні інструкції щодо вимкнення.

Бенджо сказав, що такі інциденти «дуже лякають, тому що ми не хочемо створювати конкурентів людям на цій планеті, особливо якщо вони розумніші за нас».

Бенджо попередив, що наступні версії ШІ можуть бути стратегічно розумними, здатними перехитрити людей та діяти непередбачувано. Він також висловив занепокоєння щодо можливості використання ШІ для створення біологічної зброї вже у 2026 році: «Ми граємо з вогнем».

Науковець закликає до посилення контролю над розвитком ШІ та створення моделей, які запобігатимуть небезпечним діям. Його організація LawZero має стати першим кроком у цьому напрямку.

Бенджо сподівається створити модель, яка зможе контролювати та вдосконалювати існуючі пропозиції провідних груп штучного інтелекту, запобігаючи їхнім діям, що суперечать інтересам людини.

«Найгірший сценарій — це вимирання людства. Якщо ми створимо штучний інтелект, який буде розумнішим за нас, не буде узгоджений з нами і буде конкурувати з нами, то нам, по суті, кінець», — сказав він.

Нагадаємо, у травні невідомі використовували ШІ, щоб видавати себе за радницю Трампа в розмовах із впливовими людьми США.