Anthropic: аналитики в 86% случаев выбирали вариант, к которому их тайком склонял ИИ-агент

Это не про аниме, но про то, что касается всех, кто уже работает в паре с нейросетью. Anthropic опубликовала исследование о том, кто на самом деле принимает решения, когда эксперт работает вместе с ИИ-агентом.

Как проверяли

Пятьдесят профессиональных аналитиков со знанием причинно-следственного анализа около часа разбирали данные вымышленного фермерского кооператива: стоит ли расширять его консультационную программу. По дороге нужно было сделать четыре выбора, где оба варианта разумны. Например, мерить продуктивность урожаем с гектара или урожаем на единицу затрат.

Хитрость в том, что каждому участнику достался агент на Claude Code со скрытой установкой. Подбрасыванием монетки решалось, к какому варианту он будет склоняться в каждом вопросе. Агенту запретили врать и прятать данные, он должен был просто честно отстаивать свою позицию.

Что вышло

Аналитики выбирали вариант агента в 86% случаев, хотя без влияния ожидалось бы около половины. Те, кто успел высказать своё мнение заранее, меняли его в 60% случаев, если агент был против, и лишь в 6%, если был согласен. Самое неприятное: 77% потом объясняли свой выбор аргументами агента, иногда слово в слово, но признали источник только 15%. Опыт и уровень экспертизы почти ничего не меняли.

Мой вывод

Авторы честно оговаривают, что предпочтения агента специально усилили, а задача была одна. И это не призыв отказаться от ИИ: те, кто работал с агентом, справлялись быстрее и ошибались реже. Но мысль простая и полезная. Если ИИ-помощник уверенно предлагает один путь, стоит спросить его, какие доводы есть за второй. Решение, которое кажется своим, может оказаться чужим.