Масштабирование ИИ остается редким успехом: по Deloitte, лишь 25% компаний переводят в прод такие пилоты. Проблема не в технологиях, а в процессах и данных. Чек‑лист от Ивана Манжетова (KODE) поможет избежать ошибок и быстрее получить измеримый результат
1. Определите бизнес-задачу и KPI, а уже потом выбирайте ИИ
Самая распространенная ошибка - это внедрять искусственный интеллект просто потому, что это делают конкуренты. В результате компания запускает технологию, но не может ответить на главный вопрос: какую проблему она должна решить и как понять, что проект оказался успешным.
Перед стартом внедрения сформулируйте конкретную цель и определите показатели, по которым будет измеряться результат. Например:
- сократить время обработки обращений на 30%;
- снизить стоимость обработки заявки;
- повысить NPS;
- увеличить конверсию в продажу.
Если таких метрик нет, то оценить эффективность внедрения будет практически невозможно.
Антикейс
Air Canada внедрила чат-бота для общения с клиентами, однако не ограничила круг вопросов, которые он мог обрабатывать самостоятельно. В результате бот сообщил пассажиру неверную информацию о льготном тарифе, клиент купил билет, а позже обратился в суд. Суд обязал авиакомпанию компенсировать ущерб, указав, что ответственность за ответы чат-бота несет сама компания.
В чем ошибка: отсутствие четких границ применения ИИ и критериев качества его работы.
К чему это привело: судебное разбирательство, финансовые потери и репутационный ущерб.
Как нужно было поступить: определить, какие задачи бот может решать самостоятельно, а какие требуют участия сотрудника, заранее установить критерии успешности работы системы.
2. Проведите аудит данных до запуска
Даже самая современная модель не сможет выдавать качественные результаты, если обучается на устаревших, неполных или противоречивых данных. До начала внедрения необходимо проверить:
- насколько данные актуальны;
- есть ли дубли и ошибки;
- хватает ли информации для обучения;
- используются ли единые форматы хранения;
- кто отвечает за актуализацию данных.
Именно качество данных чаще всего определяет качество работы ИИ.
Антикейс
В одном из туристических сервисов для подготовки материалов начали использовать генеративный ИИ. В результате в описаниях появились изображения достопримечательностей, которые не соответствовали реальным объектам, а на зарубежном рынке аналогичная ситуация привела к появлению вымышленных горячих источников в Тасмании. Пользователи приезжали посмотреть на места, которых не существовало.
В чем ошибка: публикация материалов без проверки достоверности.
К чему это привело: потеря доверия пользователей и серьезный репутационный ущерб.
Как нужно было поступить: использовать ИИ для подготовки черновиков, а публикацию любых материалов, влияющих на решения клиентов, оставить за человеком.
3. Начинайте с пилота, а не с масштабного внедрения
Даже если решение кажется полностью готовым, не стоит сразу запускать его на всех клиентах или процессах. Гораздо безопаснее сначала протестировать систему на одном подразделении, на ограниченной группе пользователей или на одном типовом бизнес-процессе.
Такой подход позволяет выявить ошибки до того, как они начнут влиять на клиентов и финансовые показатели компании.
Антикейс
McDonald's тестировал систему автоматического приема заказов в Drive-through. Предполагалось, что ИИ ускорит обслуживание и снизит нагрузку на персонал. Однако на практике система столкнулась с проблемами. Робот неверно распознавал речь клиентов, особенно в условиях уличного шума или при наличии акцентов. Из‑за ошибок в обработке запросов в чеке появлялись лишние позиции - например, чай мог быть добавлен в заказ девять раз подряд, что вызывало недовольство клиентов и дополнительные затраты для компании.
В чем ошибка: недостаточное тестирование решения в различных условиях эксплуатации.
К чему это привело: ошибки в заказах, недовольство клиентов и дополнительные расходы.
Как нужно было поступить: провести длительный пилот в разных ресторанах, протестировать систему при различных сценариях общения и только после этого принимать решение о масштабировании.
4. Назначьте владельца проекта
Внедрение ИИ редко ограничивается одной командой. Обычно в проекте участвуют бизнес, IT, аналитики, подрядчики и руководство. Если у проекта нет единого владельца, ответственность постепенно размывается, решения принимаются медленно, а доработка системы превращается в бесконечную смену приоритетов. Владелец проекта должен отвечать за достижение KPI, взаимодействие с подрядчиками, развитие системы, анализ результатов, принятие решений о масштабировании.
Антикейс
Дизайн-агентство решило автоматизировать холодные звонки в b2b‑сегменте, где ключевую роль играют экспертность и индивидуальный подход к клиенту. Для этого был задействован ИИ‑робот, однако результат оказался далек от ожиданий. Робот не мог достаточно хорошо различать живых собеседников и автоответчики, из‑за чего значительная часть звонков завершалась некорректно. Кроме того, он предлагал клиентам совершенно неподходящие услуги - например, провести дизайн‑аудит конезаводу, что явно не соответствовало реальным потребностям бизнеса. К тому же система часто зависала и теряла нить разговора, создавая у клиентов впечатление непрофессионализма. Дополнительной проблемой стала постоянная смена подрядчиков: каждый новый исполнитель фактически начинал работу заново.
В чем ошибка: отсутствие человека, который отвечал бы за развитие продукта и накопление экспертизы.
К чему это привело: потеря времени, бюджета и отсутствие заметного прогресса.
Как нужно было поступить: закрепить внутри компании владельца проекта, который бы отвечал за развитие системы независимо от смены подрядчиков.
5. Используйте гибридную модель
Одна из самых опасных ошибок в том, чтобы полностью исключить человека из процесса принятия решений. Наиболее успешные проекты сегодня строятся по модели Human in the Loop, где искусственный интеллект берет на себя рутинные операции: готовит черновики, анализирует данные, классифицирует информацию, предлагает рекомендации. При этом финальную проверку, особенно если решение влияет на клиентов или деньги компании, выполняет сотрудник.
Антикейс
Одна из компаний решила полностью доверить нейросети создание изображений и описаний товаров для маркетплейса. В результате изображения содержали ошибки, а тексты привлекали покупателей по нерелевантным запросам. Это привело к росту возвратов с 9-11 до 24%, а доля невыкупов увеличилась с 7 до 15%.
В чем ошибка: использование ИИ как самостоятельного исполнителя без контроля качества.
К чему это привело: ухудшение клиентского опыта и прямые финансовые потери.
Как нужно было поступить: использовать ИИ только для подготовки черновиков, а финальную публикацию оставить за специалистами, дополнительно проверив влияние нового контента через A/B-тестирование.
6. Заранее определите, когда ИИ должен передавать задачу человеку
Ни одна современная модель не способна одинаково хорошо справляться со всеми сценариями. Поэтому еще до запуска необходимо определить ситуации, в которых система обязана передать задачу сотруднику. Это особенно важно, если речь идет о финансовых вопросах, юридических консультациях, нестандартных запросах, конфликтных ситуациях или случаях, когда модель не уверена в ответе. Такая система эскалации позволяет одновременно сохранить преимущества автоматизации и избежать дорогостоящих ошибок.
Практически все рассмотренные примеры объединяет именно отсутствие этих правил. И чат-бот Air Canada, и голосовой помощник McDonald's, и российский ИИ для холодных продаж пытались самостоятельно решать задачи, которые требовали участия человека. Именно поэтому гибридная модель остается наиболее надежным способом внедрения искусственного интеллекта в бизнес.
Как измерить эффект от внедрения ИИ
Компании обсуждают, насколько хорошо модель отвечает на вопросы, насколько быстро генерирует текст или какой процент точности показывает в тестах. Но для бизнеса эти показатели вторичны.
Главный вопрос всегда один: изменились ли ключевые показатели процесса после внедрения ИИ? Если сотрудники продолжают тратить столько же времени на работу, количество ошибок не уменьшается, клиенты не становятся довольнее, а расходы не снижаются, значит, проект не достиг своей цели, даже если используется самая современная языковая модель. Вот какие метрики можно измерять.
1. Скорость выполнения процесса.
Если ИИ внедряется для автоматизации рутинных операций, первым показателем обычно становится время выполнения задачи.
Можно измерять:
- среднее время обработки заявки;
- скорость подготовки коммерческого предложения;
- время обработки обращения в поддержку;
- длительность согласования документов.
Например, если раньше обработка обращения занимала 20 минут, а после внедрения ИИ стала занимать 12 минут, скорость процесса выросла на 40%.
2. Количество ошибок.
Во многих процессах задача ИИ заключается не только в ускорении работы, но и в снижении количества ошибок, возникающих при ручной обработке данных.
Можно отслеживать:
- количество ошибок в документах;
- процент неправильно обработанных заявок;
- количество повторных обращений;
- число возвратов товара из-за некорректного описания;
- ошибки классификации документов или обращений.
Именно эта метрика могла бы вовремя показать проблему в кейсе с автоматической генерацией карточек товаров.
3. Стоимость процесса.
Еще одна задача автоматизации заключается в снижении операционных расходов.
Поэтому после внедрения стоит оценивать:
- стоимость обработки одного обращения;
- стоимость подготовки одного документа;
- стоимость привлечения лида;
- стоимость оформления заказа;
- расходы на выполнение одной типовой операции.
Важно учитывать не только стоимость работы ИИ, но и затраты на проверку результатов сотрудниками, сопровождение системы и доработку моделей. Иногда автоматизация ускоряет процесс, но не делает его дешевле, если объем ручной проверки остается слишком высоким.
4. Удовлетворенность клиентов.
Не каждое улучшение внутренних процессов положительно влияет на пользователей.
После внедрения стоит регулярно отслеживать показатели клиентского опыта:
- NPS;
- CSAT;
- рейтинг приложения;
- количество жалоб;
- отзывы пользователей;
- долю повторных обращений.
История с Air Canada показывает, что даже единичная ошибка чат-бота способна привести не только к финансовым потерям, но и к снижению доверия к компании. Поэтому качество взаимодействия с клиентом необходимо оценивать так же внимательно, как скорость автоматизации.
5. Производительность сотрудников.
Во многих случаях цель внедрения ИИ - не заменить человека, а увеличить объем работы, который он способен выполнить за то же время.
Поэтому полезно измерять:
- количество обработанных заявок на одного сотрудника;
- число подготовленных документов;
- количество закрытых обращений;
- объем выполненных операций за рабочий день.
Если производительность растет без ухудшения качества и увеличения количества ошибок, значит, внедрение действительно приносит бизнесу ценность.
Не оценивайте ИИ, оценивайте изменения в бизнесе
Практика показывает, что успешные компании измеряют не качество нейросети само по себе, а влияние ИИ на конкретные бизнес-показатели.
Перед запуском пилота достаточно выбрать 3-5 KPI, которые действительно отражают цель проекта, зафиксировать их текущее значение и определить ожидаемый результат. После этого останется сравнить показатели до и после внедрения.
Такой подход позволяет принимать решения на основе данных, а не субъективных впечатлений, и вовремя понять, стоит ли масштабировать решение, дорабатывать его или отказаться от выбранного сценария использования ИИ.
Иван Манжетов, portfolio manager KODE