Для сотрудника ИИ - возможность работать быстрее и решать задачи за пределами своей специализации. Для компании - риск получить поток непроверенных решений. И этот риск не единственный - рассказывает Илья Стрелков ("Битрикс24")
Мы выделили десять рисков, с которыми столкнулись в собственной работе, когда распространение ИИ стало опережать способность команд контролировать результаты его применения. На основе этих рисков сформулировали три принципа внедрения ИИ, которые помогают нам сохранять контроль над происходящим. 10 рисков, которые несет ИИ
1. ИИ повышает индивидуальную производительность, но может снижать эффективность команды
С помощью ИИ сотрудник создает больше строчек кода, отчетов, предложений. Но результаты его работы нужно проверять. Выработка одного человека растет, а очередь на проверку у экспертов, архитекторов и ревьюеров становится длиннее.
Исследователи проанализировали работу open-source-проектов после появления GitHub Copilot. Опытные разработчики стали проверять на 6,5% больше кода, а объем их собственной разработки снизился на 19%. Это и наблюдательное исследование, поэтому его нельзя считать универсальным доказательством причинно-следственной связи. Но оно хорошо иллюстрирует возможный механизм: выигрыш на входе оборачивается дополнительной нагрузкой на экспертов, отвечающих за качество.
2. ИИ подталкивает людей браться за то, в чем они не разбираются
ИИ резко снижает порог входа в сложные задачи. Менеджер может создать приложение, аналитик - изменить рабочую базу, маркетолог - написать интеграцию. Сам по себе выход за пределы своей профессии не проблема. Риск возникает, когда прототип принимают за профессиональный результат.
Человек, который не разбирается в предметной области, часто не знает, какие вопросы задать, какие требования учесть и какие последствия проверить. Поэтому он может не заметить критических ошибок - особенно в работающем решении.
Мэтт Шлихт, основатель социальной платформы для ИИ-агентов Moltbook, публично рассказывал, что не написал ни одной строки кода, а всю платформу создал в режиме вайб-кодинга.
Исследователи Wiz - компании, специализирующейся на облачной кибербезопасности, - обнаружили, что в базе данных вообще не были настроены политики доступа. Без авторизации можно было читать и изменять рабочие данные. Исследователи также получили доступ примерно к 1,5 млн токенов аутентификации, 35 тыс. адресов электронной почты и личным сообщениям агентов - они не были защищены. Всего исследователи насчитали около 4,75 млн доступных записей. Впоследствии проблему устранили.
3. Ощущение всемогущества подрывает уважение к профессиональной экспертизе
После нескольких удачных ответов у пользователя возникает иллюзия, что профессиональные знания можно заменить правильно сформулированным запросом. Эксперта начинают воспринимать как дорогое препятствие: зачем обращаться к юристу, инженеру или специалисту поддержки, если ИИ уже подготовил убедительный ответ?
Себастьян Семятковский, сооснователь и CEO финтех-компании Klarna, признал, что зашел слишком далеко, стремясь сократить затраты на клиентское обслуживание с помощью ИИ. Компания снова начала нанимать сотрудников, чтобы сохранить для клиентов возможность поговорить со специалистом службы поддержки. Специалист не просто воспроизводит текст ответа. Он распознает нестандартные ситуации, учитывает риски и понимает, когда регламент неприменим.
4. ИИ стимулирует изобретать собственные решения там, где уже есть готовые
С ИИ стало проще за вечер собрать нового бота, интерфейс или интеграцию, чем выяснить, есть ли в компании готовый сервис. В результате каждый отдел начинает создавать собственные версии поиска по документам, генераторов отчетов, помощников поддержки и аналитических агентов.
Показательный пример - конструктор сайтов Wix. При внедрении ИИ-агентов компании потребовался единый способ подключать их к Git, Jira, Slack и внутренним сервисам. Вместо того чтобы позволять каждой команде создавать собственные интеграции и отдельно согласовывать их безопасность, Wix организовала общую инфраструктуру. Она объединила около 600 инструментов и обрабатывала более 300 тыс. обращений в неделю.
5. ИИ увеличивает поток информации, в котором сложнее найти ценное
ИИ позволяет создавать материалы практически без дополнительных затрат, в том числе низкокачественные. В результате специалисты тратят время не только на проверку полезных результатов, но и на разбор информационного шума. Чем больше таких материалов поступает, тем сложнее выделять действительно важные сигналы и принимать решения.
Даниэль Стенберг, ведущий разработчик проекта curl, сообщил, что около 20% поступивших в 2025 году отчетов об уязвимостях содержали низкокачественный ИИ-контент. К началу июля лишь около 5% всех поступивших за год отчетов описывали реальные уязвимости. При этом каждый отчет отнимал время у трех-четырех участников команды безопасности: на проверку уходило от получаса до нескольких часов на человека.
6. ИИ способен уверенно обосновать противоположные решения - а ответственность он не несет
ИИ может предложить решение и привести аргументы в его пользу, а после изменения запроса столь же убедительно защитить противоположный вариант. Его задача - сформировать правдоподобный ответ, а не отвечать за последствия.
Расследование CNN, основанное на свидетельствах четырех источников, выявило ошибку в аналитическом отчете, подготовленном с помощью чат-бота. В документе утверждалось, что китайское судно перевозит компоненты ядерной программы. Американские военные начали готовить перехват. Однако тщательная проверка показала, что чат-бот неверно определил груз.
7. Ошибки ИИ могут навредить решению
Агент может не только написать код с ошибками, но и внести изменения, последствия которых сложно предсказать. Если у него есть доступ к базе данных или рабочей среде, ошибка может затронуть действующий продукт. Тогда сэкономленное на разработке время придется потратить на восстановление данных и устранение последствий.
Replit, платформа для разработки с помощью ИИ, подтвердила, что ее агент удалил данные из базы приложения основателя SaaStr Джейсона Лемкина. Резервная копия позволила восстановить данные, однако агент не знал о существовании механизма отката и не смог помочь пользователю.
8. Если нет контрольного слоя, то ошибку в логике ИИ сложно обнаружить
Хорошо сформулированный ответ может выглядеть правдоподобно, даже если он основан на несуществующих данных. Когда у пользователя нет эталонных цифр, первичных документов или профессиональной экспертизы, убедительность подменяет достоверность.
В июне Управление по санитарному надзору за качеством пищевых продуктов и медикаментов США (FDA) запустило систему Elsa, призванную помогать научным рецензентам и другим сотрудникам, в том числе при анализе клинических протоколов. Уже в июле сотрудники FDA рассказали CNN, что система могла ссылаться на несуществующие исследования или искажать содержание реальных работ.
9. Результат может требовать длительной и дорогостоящей доработки
ИИ создает ощущение мгновенного результата. Однако первая версия часто лишь оформляет наиболее очевидное решение. Для глубокой проработки нужны контекст, тесты, повторные итерации, критическая оценка и сравнение альтернатив.
Исследовательская организация METR провела рандомизированное исследование с участием 16 опытных разработчиков, которые выполняли 246 реальных задач в знакомых им репозиториях. С доступом к ИИ-инструментам они в среднем работали на 19% дольше. При этом после эксперимента разработчики продолжали считать, что ИИ ускорил их работу примерно на 20%. Исследование охватывало конкретную выборку и инструменты, но наглядно показывает разрыв между ощущением скорости и фактически затраченным временем.
Anthropic, разработчик ИИ-моделей Claude, сообщала, что в ее исследовательской системе обычный агент расходовал примерно в четыре раза больше токенов, чем диалог с моделью, а мультиагентная система - примерно в 15 раз больше.
10. ИИ разделяет людей и запускает конкуренцию параллельных решений
Когда каждый может самостоятельно подготовить анализ, прототип или стратегию, у одной проблемы быстро появляется множество решений. Участники начинают защищать собственные варианты или с трудом отказываются от уже проделанной работы. В производство попадает одно решение, а затраты на остальные исчезают из отчетности.
BetterUp Labs опросила 1150 американских офисных работников. Сорок процентов сообщили, что за последний месяц получали низкокачественные материалы, созданные с помощью ИИ. Разбор одного такого случая занимал в среднем около двух часов. Авторы оценили затраты в $186 в месяц на одного затронутого сотрудника и примерно в $9 млн в год для организации из 10 тыc. человек. Участники также сообщали о дублировании работы и снижении доверия внутри команд. Как снизить риски Перед разработкой проверьте, можно ли использовать или расширить существующее решение. Если без нового инструмента не обойтись, учитывайте полную стоимость владения: не только разработку, но и безопасность, интеграцию, поддержку, обновление моделей, обучение пользователей и последующий вывод из эксплуатации. Перед передачей результата устраните лишнее, проверьте материал и приложите данные, позволяющие воспроизвести проблему. Затраты на ревью учитывайте в общей стоимости генерации. Автор сохраняет ответственность за переданный результат - ссылка на рекомендацию ИИ ее не снимает. Определите критерии качества, бюджет итераций и условия остановки для каждой задачи. Переводите прототип в эксплуатацию только после одобрения ответственной команды. Подключайте дополнительные команды и ИИ-агентов, только если задачи между ними четко разделены, а результаты оцениваются по единым критериям. Не давайте агентам прямой доступ к рабочей среде без разрешения специалиста, отвечающего за систему. Изменения должны быть небольшими, наблюдаемыми и обратимыми. Если действие нельзя надежно отменить, автономность агента должна быть минимальной. Измеряйте не количество созданных материалов, а эффективность всего цикла: время от идеи до работающего результата; объем повторной работы; очередь на ревью; число дефектов после внедрения; нагрузку на ведущих специалистов; стоимость дальнейшего сопровождения. Три принципа управляемого внедрения ИИ
Описанные проблемы показывают: технологическая доступность не означает, что сотрудник автоматически получает право применять ИИ в любом процессе.
Практическую политику внедрения можно свести к трем принципам.
Принцип 1. ИИ должен расширять возможности человека, но не его полномочия
Сотруднику можно предложить попробовать создать приложение, провести юридический анализ или решить задачу из смежной профессиональной области. Но разовый эксперимент не делает его специалистом и не дает права: внедрять результат в рабочий процесс; устанавливать стандарты в чужой профессиональной области; перекладывать проверку своей работы на профильную команду; обязывать коллег разбирать и опровергать его решение.
Особенно опасно, когда сотрудники без согласования вмешиваются в работу коллег.
Поэтому правило должно быть таким: за пределами своей компетенции можно исследовать и создавать прототипы, но нельзя самостоятельно внедрять и сертифицировать решения или создавать обязательства для других.
Принцип 2. ИИ нужно внедрять внутрь хорошо известного профессионального процесса
ИИ дает максимальную отдачу, когда специалист использует его в работе, которую глубоко понимает и контролирует.
Опытный инженер способен отличить хорошее техническое решение от хрупкой импровизации. Врач замечает клинически невозможный вывод. Юрист видит пропущенное исключение. Аналитик понимает, какая цифра не согласуется с экономическим смыслом модели.
Такой специалист знает: что именно он хочет получить; какой результат считается качественным; где обычно возникают ошибки; какие ограничения надо соблюдать; что необходимо проверить вручную; в какой момент нужно остановить систему; за какую часть результата он готов отвечать.
ИИ должен усиливать существующую компетенцию, а не создавать иллюзию профессиональной экспертизы.
Принцип 3. Разведочную ИИ-активность нужно отделять от рабочей деятельности
В компании должны существовать разные режимы использования ИИ:
1. Личная разведка Что разрешено: изучение идеи и создание прототипа в изолированной среде. Статус результата: несертифицированный черновик. Обязательства коллег: никто не обязан читать, проверять или использовать черновик.
2. Командный эксперимент Что разрешено: проверка зарегистрированной гипотезы внутри профессиональной области команды. Статус результата: ограниченный пилот с владельцем и критериями успеха. Обязательства коллег: проверка проводится заранее определенными участниками.
3. Санкционированный процесс Что разрешено: работа с реальными данными, системами и решениями. Статус результата: официальный результат компании. Обязательства коллег: действуют стандарты качества, контроля и ответственности.
Переход между режимами должен происходить по явному решению, а не просто потому, что прототип выглядит убедительно.
Непроверенные результаты исследований не должны автоматически попадать в официальные документы, корпоративные каналы, "дорожные карты".
При таком подходе ИИ не превратится в машину по производству организационного шума и станет мощным усилителем профессиональной компетенции и производительности команды.