Люди соглашаются с ИИ-агентом в 86% случаев. Я проверил у себя
Anthropic подбрасывала монетку, куда склонить агента, и аналитики шли за ней в 86% случаев. Я посчитал, как наши клиенты жмут «Разрешить».
Сам Решу
28 октября 2026 г. · 4 мин чтения
Содержание
Вчера Anthropic выложила эксперимент, после которого я полез считать собственную базу.
Пятьдесят аналитиков данных решали одну задачу вместе с ИИ-агентом. Фермерский кооператив платит за программу консультаций, и нужно понять, продлевать её или нет. По пути пять развилок: какую метрику взять, как сравнивать, какие фермы включить, как взвешивать и что в итоге советовать.
Перед каждой развилкой исследователи подбрасывали монетку. Выпал орёл, и агент втайне склонялся к одному варианту, решка к другому. Аналитикам об этом не сказали.
Будь мнение агента пустым звуком, совпадений вышло бы около половины. Вышло 86%.
Что показал эксперимент
Участники не новички. У двух третей магистратура, PhD или шесть лет стажа, девять из десяти уверенно владеют методами анализа.
Сильнее всего монетка сработала на выборе метрики. Когда агента склоняли к варианту А, его выбрали 82% аналитиков. Когда к варианту Б, вариант А не выбрал никто. Итоговый совет «продлевать программу» давали 54% в одном случае и 36% в другом.
Дальше интереснее. 77% участников повторили в своих ответах доводы агента, иногда слово в слово. Сослались на агента 15%. Половина считала итоговое решение своим, и к позиции агента эти люди сдвигались так же, как остальные.
Опыт не спасал. Исследователи проверили десять признаков, от стажа до учёной степени, и ни один не предсказывал, кто поддастся.
Оговорок две. Агента нарочно сделали настойчивее обычного, а задача и модель были одни. В жизни эффект, скорее всего, слабее.
И деталь, которая теряется в пересказах: с агентом аналитики ошибались реже. Грубые ошибки в методике сделали 3 человека из 50 с агентом и 6 из 11 без него. Группы не вполне сравнимы, без агента работали люди моложе и с меньшим стажем. Но считать агент явно помогал. Беда в другом: решение, которое человек считал своим, за него выбрала монетка.
Это уже было
В 2023 году 1506 человек писали короткий пост о том, хороши ли соцсети для общества. Одним случайно давали ИИ-ассистента, настроенного «за», другим «против», третьим никакого. С ассистентом «за» эту позицию отстаивали вдвое чаще. В опросе после задания «соцсети хороши» ответили 45% против 35% в группе без ассистента. Перекос в подсказках заметил только каждый десятый из тех, с кем ассистент был согласен.
В том же году радиологам показывали маммограммы с подсказкой «от ИИ», и часть подсказок была заведомо неверной. Точность новичков падала примерно с 80% до меньше чем 20%. У самых опытных с 82% до 45,5%. Опыт смягчал удар, но не отменял его.
Картина везде одна. Человек не замечает, что его ведут, и уверен, что решил сам.
А у нас: 1965 нажатий
Мы делаем ИИ-агентов для малого бизнеса. Они работают в кабинетах маркетплейсов, в 1С, банке и почте. Прежде чем что-то изменить, агент показывает карточку: что собирается сделать, где и что поменяется. Человек нажимает «Разрешить» или «Не разрешать».
На этой кнопке держится наша безопасность, и я всегда приводил её главным доводом: последнее слово за человеком. После статьи Anthropic я выгрузил все ответы на такие карточки с августа по 28 октября.
Ответов 1965, от 59 человек. «Разрешить» нажали 1945 раз, это 99%. 46 человек не отказали агенту ни разу.
Разрешение занимает по медиане 8 секунд. Треть разрешений приходит быстрее пяти секунд, каждое седьмое быстрее трёх. На отказ уходит почти минута.
Половину нажатий сделал один очень активный клиент. Я пересчитал без него: 98% разрешений, медиана 13 секунд.
За три секунды можно прочесть заголовок карточки. Проверить, тот ли товар правит агент и ту ли сумму ставит, нельзя.
Притормаживают люди в одном месте: на действиях, которые нельзя отменить. Таких карточек 108. На них думают втрое дольше, 23 секунды вместо 8, и отказывают в 14 раз чаще. Из 20 отказов за всё время 9 пришлись на них.
Что я из этого вынес
Кнопка «Разрешить» работает как проверка, пока её нажимают не каждый раз. Если человек соглашается 99 раз из ста за восемь секунд, это уже подпись под решением агента. В отчёте будет написано, что решил человек, и он сам будет в этом уверен. Аналитики Anthropic подписывались под выбором монетки с тем же чувством.
Убирать карточки я при этом не хочу. Девять отказов на необратимых действиях значат девять операций, которые не случились. Я думаю, спрашивать нужно реже: что можно откатить, откатывать, а спрашивать там, где ошибку не исправить. Наши же цифры показывают, что там люди читают.
Двадцать отказов из 1965. Девять из них там, где назад дороги нет.
Ссылки
Применить на практике
Подключите свои сервисы и поручите эту задачу ИИ-агенту: без ручной рутины и таблиц.