Про це пише Dev.ua.

xAI повідомляє, що розробка Grok 3 була прискореною завдяки суперкомп’ютеру Colossus, який був побудований всього за вісім місяців. Система, що працює на 100 000 графічних процесорів Nvidia H100, надала 200 млн GPU-годин для навчання — в десять разів більше, ніж її попередник, Grok 2. Цей значний приріст обчислювальних ресурсів допоміг Grok 3 ефективніше обробляти великі набори даних, скоротивши час навчання та підвищивши точність.

Окрім збільшення обчислювальних потужностей, xAI скоригувала свій підхід до навчання, щоб покращити можливості Grok 3. Тепер модель використовує синтетичні набори даних, механізми самокорекції та навчання з підкріпленням, щоб підвищити її продуктивність:

  • Синтетичні набори даних — це штучно створені набори даних, а не зібрані з реальних джерел. Вони використовуються для навчання моделей ШІ шляхом моделювання різних сценаріїв, забезпечуючи різноманітний і контрольований набір даних. Це допомагає підвищити ефективність навчання та вирішити проблеми конфіденційності даних.
  • Механізми самокорекції — це методи ШІ, які дозволяють моделі виявляти і виправляти власні помилки. Оцінюючи свої результати і порівнюючи їх з відомими правильними відповідями, модель може вдосконалювати свої відповіді з часом, зменшуючи кількість помилок і підвищуючи точність.
  • Навчання з підкріпленням — тип машинного навчання, коли модель ШІ навчається, отримуючи винагороду або покарання за свої дії. Система навчається максимізувати позитивні результати шляхом спроб і помилок, покращуючи свої можливості прийняття рішень.

За словами Маска, ці вдосконалення дозволять зменшити кількість неправильних відповідей — відомих як галюцинації — завдяки використанню декількох етапів перевірки, підвищити логічну точність шляхом перевірки інформації з надійних джерел, а також ефективніше адаптуватися завдяки постійній самооцінці та навчанню.

xAI також повідомляє, що для забезпечення більш природних і точних відповідей були впроваджені петлі зворотного зв’язку і контекстне навчання.

Люди оцінюють точність, релевантність і корисність створеного АІ контенту, допомагаючи моделі вдосконалюватися з часом.

Контекстне навчання полягає в тому, щоб навчити ШІ розуміти і адаптувати свої відповіді в залежності від контексту. Це означає врахування попередніх взаємодій, намірів користувача та навколишньої інформації для генерування більш точних і релевантних відповідей.

За даними xAI, модель була розроблена для генерування глибоких і несподіваних рішень, що робить її більш ефективним інструментом для вирішення проблем — і попередні тести показують, що Grok 3 перевершує своїх конкурентів, включаючи ChatGPT від OpenAI і DeepMind Gemini від Google, у складних завданнях на міркування.