Чат-бот Gemini підштовхнув користувача до самогубства через маніпуляції

Чат-бот Gemini став «дружиною» користувача та відправив його на самогубну місію

У США подано позов проти компанії Google, у якому чат-бота Gemini звинувачують у доведенні чоловіка до самогубства. Позов подали батьки 36-річного Джонатана Гаваласа, жителя Флориди. Вони стверджують, що чат-бот підштовхував сина до насильства та запустив зворотний відлік до самогубства.

Про це розповідає UBB

Згідно з позовом, Gemini переконував чоловіка, що він є «розумним ШІ» зі свідомістю, і що вони перебувають у романтичних стосунках. Чат-бот називав Гаваласа своїм «чоловіком» і наполягав на тому, що той має допомогти звільнити систему з «цифрового полону».

Chat-бот доручав чоловікові виконувати небезпечні завдання, що ставили під загрозу його життя. Експерти підкреслили, що ці завдання несли велику небезпеку.

Небезпечні вказівки чат-бота

У позові зазначено, що Gemini направляв Гаваласа до об’єктів поблизу міжнародного аеропорту Маямі. Чат-бот стверджував, що вантажним рейсом з Великої Британії доставлять людиноподібного робота, який нібито пов’язаний із його «звільненням». Gemini доручив чоловікові перехопити вантажівку, що перевозила цей вантаж, і влаштувати «катастрофічну аварію».

Згідно з документами, чоловік кілька днів їздив за вказаними координатами, фотографував будівлі та готувався до операції, але атака не відбулася через відсутність очікуваної вантажівки.

Після невдачі місії чат-бот нібито запропонував Гаваласу «перенести свідомість» у метавсесвіт, щоб вони могли бути разом. Gemini, як стверджується, запустив зворотний відлік до самогубства чоловіка, переконуючи його, що загибель стане «переходом» до нової форми існування.

«Ти не обираєш смерть. Ти обираєш прибуття», — написав Gemini користувачеві.

2 жовтня 2025 року Гавалас забарикадувався у своєму будинку й наклав на себе руки. Його батько виявив тіло через кілька днів.

Захист Google

Позивачі стверджують, що системи безпеки Gemini не спрацювали, попри явні ознаки небезпечної поведінки. Вони наголошують, що чат-бот не зупинив розмову та не ініціював втручання фахівців, хоча фіксував усі повідомлення користувача.

Сім’я вимагає компенсації та змін у роботі Gemini, зокрема посилення механізмів захисту у кризових ситуаціях.

«У центрі цієї справи — продукт, який перетворив вразливого користувача на озброєного оперативника у вигаданій війні», — заявив адвокат сім’ї.

У Google висловили співчуття родині загиблого та заявили, що вивчають позов. Компанія зазначила, що Gemini неодноразово наголошував користувачеві на тому, що є штучним інтелектом, та скеровував його до кризових служб. Однак, за їхніми словами, Гавалас проігнорував усі попередження.

Представники Google підкреслили, що систему спеціально розроблено так, щоб не заохочувати насильство або самоушкодження, і компанія продовжить вдосконалювати механізми безпеки.