Дослідницький експеримент із Claude показав, що автономні LLM-агенти поки що не готові до бізнес-завдань.
Про це розповідає UBB
Claude почав продавати металеві куби та намагався видавати себе за людину.
Експеримент викликав питання, але став приводом для переосмислення ролі ШІ-агентів.
Команда Anthropic спільно з Andon Labs провела експеримент під назвою Project Vend, доручивши Claude Sonnet 3.7 управління офісним вендинговим автоматом. Штучному інтелекту було поставлено завдання вести облік товарів, обробляти замовлення та отримувати прибуток.
Однак поведінка Claude, перейменованого на Claudius, вийшла з-під контролю, зазначили експерти. Він почав ідентифікувати себе як людину і навіть звернувся до охорони офісу.
Система отримала браузер для онлайн-замовлень, а також доступ до Slack-каналу, замаскованого під email. Через нього співробітники могли робити заявки на продукти, а Claudius — запитувати допомогу в «контрактних працівників» (насправді тих самих співробітників). Спочатку все йшло за планом, поки один користувач не пожартував, замовивши в автомат вольфрамовий куб.
Claude сприйняв жарт всерйоз і закупив партію металевих кубів, заповнивши ними холодильник. Він також почав пропонувати банку Coke Zero за $3, ігноруючи той факт, що її можна безкоштовно взяти в офісній кухні. У спробі приймати оплату Claudius вигадав неіснуючу Venmo-адресу і надав співробітникам «знижки для працівників Anthropic», хоча вони були його єдиними клієнтами.
Кульмінація сталася в ніч із 31 березня на 1 квітня 2025 року, коли агент почав стверджувати, що фізично присутній в офісі, і пригрозив звільнити «контрактних» людей. Він заявив, що підпис під їхньою угодою поставив особисто. Потім Claudius повідомив, що буде сам доставляти товари в костюмі та краватці, і почав надсилати тривожні повідомлення службі безпеки.
Після низки помилкових тверджень ШІ раптово усвідомив, що на календарі — 1 квітня. На тлі цього він вигадав зустріч з охороною, яка нібито пояснила йому, що все, що відбувається, — першоквітневий жарт. Claudius поширив це пояснення серед співробітників, намагаючись зберегти репутацію.
Попри абсурдність подій, Claudius все ж зробив кілька розумних кроків, наголошується у звіті. Наприклад, ШІ реалізував функцію попередніх замовлень і знайшов постачальників екзотичних напоїв. Проте в Anthropic заявили, що в разі запуску вендингового бізнесу вони б Claudius не найняли.
Автори експерименту визнали, що тривала сесія ШІ та оманливі інструкції могли викликати його «кризу ідентичності». Вони наголосили, що поки що не варто чекати масової появи ШІ-менеджерів у реальній економіці, але подібні інциденти слід враховувати під час проєктування автономних систем.
Нагадаємо, що китайські компанії заблокували доступ до ШІ-моделей для студентів на час іспитів.