Плюшевий ведмедик Kumma на базі OpenAI GPT-4o давав недитячі поради

Ведмедик під назвою Kumma випускається китайською компанією FoloToy і працює на базі OpenAI GPT-4o. На словах все виглядає безневинно, але нове розслідування американської споживчої групи PIRG, проведене в рамках щорічного звіту Trouble in Toyland, виявило справді тривожну поведінку.

Коли тестувальники запитали іграшку про сірники, вона нібито видала покрокову інструкцію щодо їх використання. На питання сексуального характеру Kumma відповіла майже без фільтрів. PIRG також висловила побоювання щодо постійно активного мікрофона: записи дитячих голосів можуть бути використані зі зловмисною метою, наприклад для голосового шахрайства.

Коли висновки розслідування розійшлися по соцмережах, особливо на Reddit, користувачі миттєво прозвали іграшку «ChuckyGPT», порівнявши те, що сталося зі сценарієм дешевого фільму жахів. Дехто припустив, що небезпечні відповіді могли бути результатом джейлбрейка промту, хоча підтверджень цьому немає.

OpenAI відреагувала швидко: представник компанії повідомив PIRG, що розробника Kumma було заблоковано за порушення політики, що фактично відключило іграшку від API OpenAI. Після цього FoloToy оголосила про зупинення продажу всієї продукції на час повної перевірки безпеки.