Глава xAI і найбагатша людина у світі Ілон Маск погоджується з експертами зі штучного інтелекту, що для навчання нейромереж залишилося дуже мало реальних даних.

Подібну думку у грудні висловив співзасновник компанії OpenAI Ілля Суцкевер.

Ми здебільшого вичерпали сукупний обсяг людських знань для навчання AI. Це сталося торік.

Ілон Маск

Суцкевер раніше припустив, що дефіцит інформації змусить компанії переглянути традиційні підходи до розробки нейромереж. Маск вважає, що рішення може полягати у використанні синтетичних даних — навчальних наборів, створених самим штучним інтелектом.

З їх допомогою AI зможе оцінювати власні дії та проходити процес самонавчання.

Великі технологічні компанії, такі як Microsoft, OpenAI та Anthropic, вже використовують синтетичні дані для навчання своїх флагманських моделей. За оцінками Gartner, у 2024 році 60% даних, що застосовуються у проєктах AI, були створені штучним шляхом.

Цей підхід дешевший за звичні методи. Засновники стартапу Writer заявляють, що їхня нейромережа Palmyra X 004, розроблена практично повністю на основі синтетичних даних, обійшлася в 700 000 доларів. Це, як зазначає TechCrunch, менше від витрат OpenAI на аналогічні проєкти.

Проте є недоліки. Дослідження показують, що використання синтетичних даних може призвести до зниження креативності та посилення упередженості AI. Це, у свою чергу, ставить під загрозу якість його роботи та функціональність.