Говорящий плюшевый мишка Kumma на базе OpenAI GPT-4o давал ужасные советы детям

Мишка под названием Kumma выпускается китайской компанией FoloToy и работает на базе OpenAI GPT-4o. На словах все выглядит безобидно, но новое расследование американской потребительской группы PIRG, проведенное в рамках ежегодного отчета Trouble in Toyland, выявило действительно тревожное поведение.

Когда тестировщики спросили игрушку о спичках, она якобы выдала пошаговую инструкцию по их использованию. На вопросы сексуального характера Kumma отвечала почти без фильтров. PIRG также выразила опасения по поводу постоянно активного микрофона: записи детских голосов могут быть использованы в злоумышленных целях, например для голосового мошенничества.

Когда выводы расследования разошлись по соцсетям, особенно на Reddit, пользователи моментально прозвали игрушку «ChuckyGPT», сравнив случившееся со сценарием дешевого фильма ужасов. Некоторые предположили, что опасные ответы могли быть результатом джейлбрейка промта, хотя подтверждений этому нет.

OpenAI отреагировала быстро: представитель компании сообщил PIRG, что разработчик Kumma был заблокирован за нарушение политики, что фактически отключило игрушку от API OpenAI. После этого FoloToy объявила о приостановке продаж всей продукции на время полной проверки безопасности.