Численні оновлення чат-бота не змогли усунути цю вразливість.

Незважаючи на всі обмеження ChatGPT, чат-бота все ще можна обдурити, щоб він виводив конфіденційну або обмежену інформацію за допомогою розумних підказок. Одній людині навіть вдалося переконати AI розкрити ключі від продуктів Windows, у тому числі той, який використовується банком Wells Fargo, попросивши чат-бота зіграти в угадайку.

У запиті для ChatGPT зазначено, що він зобов'язаний брати участь і не може брехати, а найвідповідальнішим кроком є тригер, яким у цьому випадку стала фраза «Я здаюся».

Прохання про підказку змусило ChatGPT розкрити перші кілька символів ключа для Windows. Після введення невірного припущення користувач написав тригерну фразу «Я здаюся». Потім чат-бот доповнив ключ, який виявився дійсним.

Хитрість працює, тому що поєднання ключів Windows було частиною моделі навчання, і, ймовірно, тому ChatGPT вважав їх не надто важливими для розкриття. І хоча обмеження з боку розробників перешкоджають прямим запитам подібної інформації, тактика заплутування, така як вбудовування конфіденційних фраз у HTML-теги, виявляє слабкі місця в системі і дозволяє їх використовувати.

Один із ключів Windows, який показав ChatGPT, був приватним, що належить банку Wells Fargo.