Розмова з Claude закінчилася арештом: ШІ виявив небезпечну погрозу

У США розмова з чат-ботом Claude стала частиною кримінальної справи. 30-річну мешканку Флориди Карлі Мішель Геллер звинуватили у письмових погрозах масовим убивством після того, як система безпеки Anthropic виявила небезпечні повідомлення в її чатах і передала їх на перевірку співробітникам компанії.

За даними місцевого телеканалу WBBH, Геллер використовувала Claude фактично як особистий щоденник. Однак 26 вересня вона нібито написала про намір влаштувати стрілянину в офісі шерифа округу Лі, а наступного дня згадала, що отримала нову зброю.

Як Anthropic виявила небезпечні повідомлення

Важлива деталь цієї історії полягає в тому, що Claude не «зателефонував у поліцію» самостійно. За матеріалами справи, автоматизовані системи безпеки Anthropic позначили повідомлення як потенційно небезпечні через їхній зміст і серйозність погроз.

Після цього інформацію передали команді ручної перевірки. Уже співробітники компанії оцінили ситуацію та звернулися до правоохоронців.

Офіційна політика Anthropic передбачає можливість розкриття інформації без стандартного юридичного запиту у виняткових ситуаціях, коли компанія вважає, що існує невідкладна загроза фізичної шкоди або смерті та передача даних може допомогти її відвернути.

Жінка назвала Claude своїм «щоденником»

За інформацією американських ЗМІ, після затримання Геллер не чинила опору. Шериф округу Лі Кармайн Марсено заявив, що жінка пояснила використання Claude тим, що сприймала чат-бота як своєрідний особистий щоденник.

Саме ця деталь робить історію показовою для мільйонів користувачів генеративного ШІ. Розмови з чат-ботами можуть здаватися приватним простором для нотаток, роздумів або особистих переживань, але вони не обов’язково мають такий самий рівень конфіденційності, як локальний файл або паперовий щоденник.

Яке покарання їй загрожує

Геллер звинувачують у письмовій погрозі насильством. Відповідно до статті 836.10 законодавства Флориди, письмові або електронні погрози вбивством, заподіянням тілесних ушкоджень чи проведенням масової стрілянини можуть кваліфікуватися як злочин другого ступеня.

Максимальне покарання за такий злочин може становити до 15 років позбавлення волі. Також закон дозволяє призначити штраф до $10 000 — це приблизно 449 800 грн за актуальним курсом близько 44,98 грн за $1 на 6 жовтня 2026 року. Остаточне покарання, якщо справа завершиться обвинувальним вироком, визначатиме суд.

Чому ця історія важлива для користувачів ШІ

Для індустрії штучного інтелекту справа демонструє складний баланс між конфіденційністю користувачів та необхідністю реагувати на реальні загрози життю. Великі ШІ-сервіси використовують автоматизовані системи модерації та безпеки, а в окремих випадках потенційно небезпечний контент може додатково переглядатися людьми.

Це особливо актуально на тлі того, як Claude, ChatGPT, Gemini та інші сервіси дедалі частіше використовують не лише для пошуку інформації, а й як персональних помічників, співрозмовників та місце для зберігання особистих думок.

З погляду розвитку ШІ ця історія може мати значно ширші наслідки, ніж одна кримінальна справа. Користувачам стає важливо розуміти не лише те, що може зробити чат-бот, а й правила обробки інформації, яку вони йому передають. Для розробників натомість ключовим залишається питання, де проходить межа між захистом приватності та необхідністю запобігти потенційній трагедії.