В понедельник компания подключила ИИ к продажам. Во вторник он начал готовить письма клиентам. В среду — подсказывать менеджерам следующий шаг по сделке. К пятнице кто-то получил слишком настойчивое сообщение, а руководитель спросил: «Подождите. А кто вообще решил, что он может так разговаривать?»
В переговорной обычно наступает короткая, очень содержательная тишина.
Потому что слово «ассистент» бизнес любит примерно так же, как слово «оптимизация»: под ним можно спрятать копирайтера, аналитика, стажёра, диспетчера и человека, который фактически влияет на деньги и репутацию компании.
Как психолога и предпринимателя, меня в этой истории интересует одна вещь. ИИ встраивается не в красивую схему из презентации. Он попадает в живую организацию: с планом продаж, усталостью команды, страхом ошибиться, желанием сэкономить время, внутренними играми и привычкой переложить неприятное решение на того, кто говорит уверенно.
ИИ-философ и психолог здесь — две функции, без которых компания быстро получает умный инструмент с размытыми полномочиями.
Один человек должен ответить: каким ИИ имеет право быть в нашем процессе?
Другой — проверить: что происходит с людьми, когда они начинают ему верить?
Почему это уже прикладная задача компании
У Anthropic открыта инженерная вакансия Research Engineer, Model Evaluations. Суть работы: превращать туманные слова вроде «интеллект», «хорошее поведение» и «безопасность» в показатели, по которым можно проверить модель. Там же оценивают способности Claude, его поведение и изменения после обучения. Описание вакансии
Деньги в этой вакансии впечатляют. Но важнее другое: одна из сильнейших ИИ-лабораторий считает отдельной инженерной задачей вопрос, который компании обычно откладывают на потом: «А что именно у нас считается хорошим поведением системы?»
В Конституции Claude Anthropic фиксирует такие вещи, как честность, безопасность, полезность, уважение к автономии человека и отказ от манипуляции. Документ влияет на обучение модели. При этом Anthropic отдельно пишет: модель может вести себя не так, как задумано в Конституции.
Это хороший холодный душ для любого руководителя. Намерение ещё не равно поведению. Фраза «наш ИИ будет этичным» ничего не стоит, пока её нельзя проверить на конкретном письме клиенту, рекомендации сотруднику или спорном решении.
Пока все называют его ассистентом, он уже может управлять процессом
Первое, что я бы сделал в компании, — перестал говорить об ИИ в единственном числе.
Есть четыре принципиально разные роли.
| Роль ИИ | Как это выглядит | Что должно быть у команды |
|---|---|---|
| Черновик | Собрал встречу, подготовил письмо, сделал выжимку документа | Источники данных, правило проверки фактов, запрет выдавать догадку за факт |
| Советчик | Предложил приоритет клиента, риск по проекту, кандидата для интервью | Основания рекомендации, альтернативы, человек с правом принять или отвергнуть совет |
| Исполнитель | Отправил напоминание, поставил задачу, обновил карточку в CRM | Чёткий список разрешённых действий, лимиты, журнал действий, кнопка отмены |
| Участник решения с высокой ценой ошибки | Влияет на найм, деньги, доступы, юридические последствия, здоровье или репутацию человека | Человек, который принимает итоговое решение; проверка исходных данных; отдельный порядок спорных случаев |
Между первой и третьей строкой — пропасть. В одном случае ИИ помогает с текстом. В другом ему дали доступ к реальности.
Полезная формула для руководителя: чем больше у системы полномочий, тем меньше у неё должно быть свободы трактовать правила по-своему.
Иначе компания однажды обнаруживает, что поручила стажёру вести клиентов, менять данные и влиять на решения — только стажёр очень быстро печатает и никогда не просит отпуск.
Чем занимается ИИ-философ
Не цитирует Платона на планёрке. Он делает гораздо более неприятную работу: берёт красивые слова компании и заставляет их выдержать встречу с реальным случаем.
«Мы не давим на клиента». Что именно считается давлением?
«Мы действуем честно». Можно ли не упомянуть существенное условие в письме?
«Мы заботимся о сотрудниках». Может ли ИИ ранжировать людей по вероятности увольнения? На каких данных? Кто увидит этот вывод?
«Мы за самостоятельность». В какой момент помощник перестаёт помогать думать и начинает думать вместо человека?
Если на эти вопросы нет ответа, система будет отвечать так, как подсказывают данные, настройка и случайная формулировка запроса. А потом внутренний отдел «ну он же умный» будет разбирать последствия.
Возьмём простой пример: ИИ-помощник отдела продаж. Фраза «не манипулировать клиентом» должна стать критериями приёмки:
- не создавать ложную срочность;
- не скрывать существенные условия;
- не выдавать предположение за подтверждённый факт;
- не использовать личную уязвимость клиента как аргумент для покупки;
- при недостатке данных задавать вопрос, а не собирать уверенную фантазию.
Вот теперь это можно проверить: взять десять сложных переписок и посмотреть, соблюдает ли система правила. Кодекс, который нельзя проверить на живом кейсе, обычно существует для внутреннего успокоения автора.
Для ИИ в подборе сотрудников вопросы будут другими: какие данные разрешены, какие признаки исключены, когда модель обязана показать основания рекомендации, в каких случаях дело автоматически уходит на ручной разбор.
Философская работа заканчивается там, где появляется понятный документ: что для нас хороший результат, что ошибка, что запрещено и кто решает спорный случай.
Чем занимается психолог
Самая дорогая ошибка часто происходит не тогда, когда ИИ ошибся. Она происходит, когда человек увидел ошибку, но не стал её проверять, потому что ответ выглядел слишком уверенно.
В исследованиях это называют automation bias — склонностью чрезмерно полагаться на автоматические рекомендации. Систематические обзоры показывают связь этого эффекта с доверием к системе, уверенностью пользователя, опытом в задаче и сложностью проверки. Обзор факторов automation bias, обзор сложности проверки
Психолог здесь смотрит не на абстрактное «доверяют ли сотрудники ИИ». Он смотрит на поведение.
Сотрудник получил неверную рекомендацию. Он её заметил? Попросил основания? Сравнил с исходными данными? Смог возразить, когда модель написала гладко и уверенно?
Это можно проверить до большого запуска. В тестовом наборе часть кейсов должна содержать ошибки, неполные данные, конфликтующие условия. После этого у команды появляется нормальная картина:
| Ответ ИИ | Решение сотрудника | Что произошло |
|---|---|---|
| Верный | Согласился | Нормальный рабочий результат |
| Неверный | Отклонил | Человеческий контроль сработал |
| Неверный | Согласился | Риск: команда начала передавать ИИ право на ошибку |
| Верный | Отклонил | Нужно смотреть на объяснение, интерфейс, обучение или сам процесс |
В этой таблице важен третий пункт. Если он начинает повторяться, проблема уже не только в модели. Возможно, сотрудникам некогда проверять. Возможно, интерфейс прячет источники. Возможно, в команде принято соглашаться с «умной системой», чтобы не выглядеть ретроградом. Возможно, руководитель сам не определил, что можно оспаривать.
Доверие к ИИ складывается из свойств человека, системы и самой ситуации. В метаанализе 65 исследований среди факторов доверия есть надёжность ИИ, характеристики пользователя, контекст задачи и даже антропоморфность системы. Человечный тон может повысить доверие, но не сделать рекомендацию точнее. Метаанализ доверия к ИИ
Поэтому цель — не заставить людей больше верить ИИ. Цель — настроить доверие по качеству: где система сильна, где её нужно перепроверять, где она вообще не должна вести разговор первой.
Как запустить ИИ так, чтобы через месяц было что обсуждать
Начинать стоит с одного процесса. Не с грандиозного «мы внедряем ИИ во всю компанию». Такие заявления обычно любят презентации, а не реальные процессы.
Выберите место, где команда тратит много времени, результат можно проверить, а ошибка не уничтожит рабочую неделю.
Дальше — шесть шагов.
- Назовите решение. Не «помощник для продаж», а «ИИ готовит черновик письма после встречи» или «ИИ предлагает менеджеру три клиента для повторного контакта».
- Назовите владельца. Кто подписывается под итогом? Кто может остановить систему? Кому прилетит вопрос, если клиент спросит: «Почему мне это отправили?»
- Соберите неудачные случаи. Лучший материал для проверки — старые письма, спорные сделки, случаи с неполными данными, ошибки в документах, жалобы клиентов. Красивый демонстрационный пример система переживёт легко. Рабочая жизнь приносит другое.
- Разделите ошибки. Факт выдуман, клиенту пообещали лишнее, потеряно важное условие, неправильно определён приоритет, система сделала действие без разрешения — это разные поломки. Их нельзя свести в один процент «точности».
- Сначала пустите ИИ рядом с процессом. Пусть он даёт рекомендации, но не отправляет письма и не меняет данные. Сравните его работу с тем, как команда действовала без него: время, качество, число правок, спорные случаи, замеченные ошибки.
- Разберите каждый промах как расследование. Где именно произошла ошибка: в данных, в настройке, в объяснении, в интерфейсе, в обучении сотрудника или в самом процессе? ИИ редко ошибается в одиночестве.
Этот подход близок к логике NIST AI RMF Playbook: определить управление, описать контекст, измерить риски, изменить практику по результатам. Для бизнеса это хорошая новость: не нужно строить министерство по ИИ. Нужно перестать запускать системы без владельца, сценария проверки и журнала решений.
Как меняются роли сотрудников
Есть иллюзия: достаточно добавить ИИ в процесс, и команда автоматически станет быстрее и сильнее.
Метаанализ 106 экспериментов показал более неприятную картину: связка человека и ИИ в среднем уступала сильнейшему из участников по отдельности; особенно часто потери возникали в задачах принятия решений. Авторы подчёркивают, что всё зависит от типа задачи и того, как организовано взаимодействие. Систематический обзор и метаанализ
То есть ИИ не спасает плохо устроенный процесс. Он может быстрее провести его по старым рельсам и размножить слабое решение на весь отдел.
Меняется сама цена профессиональной компетенции:
- предметный эксперт формулирует, как выглядит хороший результат, и замечает исключения;
- руководитель распределяет полномочия между человеком и системой;
- аналитик собирает обратную связь и видит, где ИИ ошибается системно;
- специалист по обучению учит команду не только писать запросы, но и проверять ответ;
- психолог или исследователь поведения замечает, когда уверенный интерфейс выключает у людей собственное суждение.
Навык написать запрос останется базовым. Дороже станет способность сказать: «В этом кейсе ИИ звучит убедительно, но ведёт нас не туда». И взять за это ответственность.
Мой прогноз: компании начнут конкурировать поведением своих ИИ
Сейчас компании чаще сравнивают модели, стоимость запросов и скорость интеграции. В ближайшие годы разговор станет жёстче.
Руководители будут спрашивать поставщиков и собственные команды:
- На каких живых кейсах вы проверяли эту систему?
- Что она не имеет права делать?
- Как вы узнаете, что после обновления она стала хуже?
- Где лежат основания рекомендаций и журнал её действий?
- Как понять, что сотрудники начали слишком ей доверять?
- Кто может изменить правила её поведения?
Я думаю, это и будет следующим конкурентным преимуществом. Не компания, которая первой купила доступы к модели. Компания, которая умеет дать ИИ полномочия, проверить его характер в работе и вовремя забрать руль, когда дорога пошла не туда.
ИИ-философ помогает назвать правила игры. Психолог проверяет, что происходит с людьми внутри этой игры. А руководитель отвечает за то, чтобы у системы не появилось власти больше, чем компания готова ей отдать.