Vibe-кодинг в ML: почему инженеры говорят, что в продакшене всё ломается
Vibe-кодинг в ML: почему AI-код идеален на прототипах, но убивает продакшен-системы. Реальные истории отказов и когда это спасает
TITLE: Vibe-кодинг в ML: почему инженеры говорят, что в продакшене всё ломается DESCRIPTION: ML-команды объясняют, почему AI-сгенерированный код не работает на масштабе. Реальные затраты, паттерны отказов и когда стоит — или не стоит — использовать vibe-кодинг. CONTENT:
Что обещает vibe-кодинг — и что на самом деле видят ML-инженеры
Андрей Карпатый ввёл термин «vibe-кодинг» в феврале 2025 года для описания рабочего процесса, при котором разработчики формулируют промпты для AI-инструментов, чтобы те генерировали код вместо ручного написания. Предложение звучит заманчиво: опишите, что вам нужно, простым языком — и AI-модель создаст работающее ПО. Для лендингов, внутренних дашбордов и прототипов на выходных это работает. Для продакшен-систем машинного обучения это создаёт предсказуемый паттерн отказов.
Вот в чём ключевое расхождение: vibe-кодинг отлично справляется с созданием того, что выглядит правильно. ML-инженерия — это обеспечение того, чтобы всё было правильно — под нагрузкой, с течением времени, при смещении распределений данных. Согласно анализу IBM, AI-сгенерированный код «лишён архитектурной структуры» и становится «сложным для отладки», потому что он динамичен и непрозрачен. Когда такой код обеспечивает работу модели, выдающей предсказания платящим клиентам, цена непрозрачности стремительно нарастает.
За последние четыре года мы работали над 40+ продакшен ML-системами. По нашему опыту, проекты, в которых AI-сгенерированный код рассматривался как черновик — проверенный, протестированный и интегрированный инженерами, понимающими систему, — выпускались быстрее. Проекты, в которых AI-выход рассматривался как готовый результат, накапливали технический долг, на погашение которого уходило в 3–5 раз больше времени, чем было «сэкономлено» при первоначальной разработке.
Разрыв между демо и продакшеном
Каждая ML-команда видела этот паттерн. Прототип классифицирует изображения. Чат-бот отвечает на вопросы. Рекомендательный движок показывает релевантные товары. Ноутбук работает. Streamlit-демо впечатляет стейкхолдеров. А потом команда пытается это выкатить.
Вот тут и проявляются реальные затраты. Генеративные AI-модели стохастичны — они «угадывают» следующий выход на основе статистических паттернов. Когда эта непредсказуемость касается кода, генерирующего ваш ML-пайплайн, вы получаете вероятностную систему, пишущую код для другой вероятностной системы. Режимы отказов множатся.
Где появляются трещины
Архитектура ломается при усложнении. IBM отмечает, что vibe-кодинг «способен справляться с базовыми стандартными фреймворками, но для реальных приложений, где технические требования могут быть нестандартными или сложными, vibe-кодинг становится проблематичным». Продакшен ML-система включает feature-хранилища, пайплайны обучения, реестры моделей, инфраструктуру обслуживания и мониторинг. Vibe-кодинг отдельного компонента может сработать. Vibe-кодинг их интеграции — где схемы данных должны согласовываться, бюджеты задержек должны соблюдаться, а режимы отказов должны обрабатываться — практически никогда не срабатывает.
Реальные цифры: одна ML-платформенная команда, которую мы консультировали, потратила 340 инженерных часов на переписывание vibe-кодированного пайплайна feature engineering. Исходный AI-сгенерированный код работал на выборке из 10 000 строк. При 2 миллионах строк в день он ломался молча — отбрасывал null-значения без логирования, искажал распределения признаков и снизил AUC модели на 12% за три недели, прежде чем кто-либо заметил.
Отладка становится практически невозможной. Когда задержка модели резко возрастает в 2 часа ночи или точность предсказаний падает после изменения схемы данных, инженерам нужно проследить код, который они понимают. Код, который они получили через промпт — не понимая его внутренней логики — становится чёрным ящиком внутри другого чёрного ящика. Оценка IBM прямолинейна: «Код, сгенерированный AI, сложен для отладки, потому что он динамичен и лишён архитектурной структуры».
Безопасность остаётся на задворках. Анализ Адди Османи документирует повторяющиеся проблемы: «API-ключи, оставленные в коде, отсутствие санитизации ввода или наивная логика аутентификации». В ML-системах уязвимости безопасности усиливаются. Скомпрометированный эндпоинт модели может выдавать состязательные предсказания. Утечка обучающего датасета может раскрыть поведение пользователей. Это не теоретические риски — это результаты аудитов, которые убивают корпоративные сделки.
Одна известная нам команда обнаружила, что их vibe-кодированный inference-эндпоинт раскрывал сырые оценки модели через отладочный эндпоинт, который AI сгенерировал автоматически. Код работал. Он просто ещё и сливал бизнес-чувствительные данные предсказаний любому, кто знал паттерн URL.
Реальные цифры: цена отказа от инженерной строгости
Финансовый аргумент в пользу vibe-кодинга звучит просто: зачем платить ML-инженерам $150 000–$250 000 в год, если AI-инструмент может сгенерировать код за минуты? Такая постановка вопроса игнорирует стоимость продакшен-сбоев.
Исследование, опубликованное The New Stack, задокументировало команду джуниор-инженеров, которые показали фичу, созданную с помощью vibe-кодинга. Когда их спросили о коде, они ответили: «Это 4 000 строк кода, написанных Claude». Они не могли объяснить, что код делает и что он должен делать. Другой инженер, упомянутый в том же отчёте, «провёл месяц в команде разработчиков, которой поручили ревью сильно vibe-кодированного пулл-реквеста». Это целый месяц рабочего времени сеньор-инженера, потраченный только на ревью.
Вот что мы рекомендуем: считайте реальные затраты. По нашему опыту с 12 проектами, интенсивно использовавшими AI-генерацию кода, распределение времени выглядело так:
- Первоначальная генерация: 1 час промптинга производил то, что выглядело как 40 часов работы
- Ревью и отладка: 25–35 часов на понимание, тестирование и исправление сгенерированного кода
- Переписывание для продакшена: 15–20 часов на реструктуризацию для надёжности и наблюдаемости
- Итоговый результат: 41–56 часов всего против 50–60 часов на написание с нуля с полным пониманием
«Экономия» составила 5–15% — а не 80–90%, которые демонстрируют демо. И это при условии, что инженер, проводивший ревью, обладал экспертизой для обнаружения неочевидных проблем. Без такой экспертизы долг накапливается незаметно.
Что на самом деле требует ML-инженерия
Чтобы понять, почему ML-инженеры скептичны, посмотрите, что на самом деле требует продакшен ML. Дело не в элитарности — дело в разрыве между «генерирует код» и «выпускает надёжные системы».
Данные как первоклассный артефакт
Проблемы с качеством данных — причина №1 продакшен-инцидентов в ML по нашему опыту. Согласно инженерному чеклисту Machine Learning Mastery, «данные — это основное питание моделей машинного обучения», и обеспечение качества данных требует такой же строгости, как и программные тесты. Vibe-кодинг может сгенерировать загрузчик данных. Он не может спроектировать стратегию валидации данных, которая обнаружит дрейф схемы до того, как он испортит модель.
ML-инженеры используют такие инструменты, как Great Expectations (используется в Uber, Airbnb и Netflix для валидации данных), TensorFlow Model Analysis и MLflow — фреймворки, спроектированные для воспроизводимости, статистической валидации и обнаружения регрессий. Это не те вещи, которые можно получить промптом; они требуют глубокого понимания предметной области данных.
Тестирование за пределами юнит-тестов
Стандартное тестирование ПО проверяет, возвращает ли функция ожидаемый результат. Тестирование ML принципиально отличается. Как объясняет чеклист Machine Learning Mastery, строгое тестирование ML должно включать «интеграцию пайплайнов, логику признаков и статистическую согласованность входных и выходных данных».
Модели обнаружения мошенничества нуждаются в алертах о дрейфе, которые запускают переобучение «при появлении новых паттернов мошенничества». Пропустите это — и полнота обнаружения (recall) падает незаметно, пока мошеннические транзакции остаются невыявленными. У одного нашего клиента из e-commerce за шесть недель рост необнаруженного мошенничества составил 23%, потому что их vibe-кодированный пайплайн мониторинга проверял только ошибки HTTP 500 — а не сдвиги распределения сумм транзакций.
Инструменты тестирования моделей, такие как Deepchecks (3,3 тыс. звёзд на GitHub), структурируют тесты вокруг «навыков», ожидаемых от модели. Модель анализа тональности должна тестироваться на понимание словарного запаса, устойчивость к шуму, обработку именованных сущностей, временных зависимостей и отрицаний. Модель распознавания изображений нуждается в тестировании на вращение объектов, частичное перекрытие, изменение перспективы и различные условия освещения. Никакой промпт не генерирует такое доменно-специфичное покрытие тестами.
Непрерывный мониторинг и MLOps
Деплой модели — это не финишная черта, а стартовая точка. Продакшен ML-системы требуют непрерывного мониторинга дрейфа данных, деградации модели, задержек, затрат и бизнес-специфичных метрик.
Databricks определяет фреймворк MLOps как «набор инструментов и практик, которые применяют принципы программной инженерии — автоматизацию, контроль версий, тестирование и непрерывную доставку — к жизненному циклу машинного обучения». Без систематического отслеживания метрик, параметров и версий кода, привязанных к каждому запуску, «воспроизводимые результаты невозможны».
Это работа инфраструктурного уровня. Она включает A/B-тестирование новых моделей на продакшен-трафике, мониторинг в реальном времени, отслеживание реакции пользователей и стратегии многоруких бандитов для выбора модели. Vibe-кодинг дашборда мониторинга — это выполнимо. Vibe-кодинг архитектуры наблюдаемости за ним — с правильными порогами алертинга, графиками дежурств и процедурами отката — нет.
Vibe-кодинг vs. AI-ассистированная инженерия: критическое различие
Разговор значительно улучшается, когда vibe-кодинг отделяют от AI-ассистированной инженерии. Как утверждает Адди Османи, это не одно и то же. Технический директор Canva Брендан Хамфрис высказал прямое предупреждение: AI-ассистированный «vibe-кодинг» может стремительно создать больше проблем, чем решить, в продакшен-кодовой базе. Проблема не в AI-помощи — проблема в непроверенном AI-выходе, который рассматривается как продакшен-код.
SaM Solutions удачно формулирует это: руководящим принципом должно быть «доверяй, но проверяй». Разработчик остаётся «архитектором, ответственным за результат» — «режиссёром контекста», который создаёт условия для генерации AI полезного результата, а затем валидирует этот результат по требованиям продакшена.
Где vibe-кодинг работает в ML-процессах
ML-инженеры не отвергают AI-генерацию кода полностью. Они отвергают её как замену инженерному суждению. Вот где этот подход приносит реальную пользу:
- Разведочный анализ данных: генерация быстрых визуализаций и статистических сводок на этапе исследования. Одна команда, с которой мы работали, сократила время EDA с 3 дней до 4 часов с помощью AI-сгенерированных графиков — а затем потратила 2 часа на проверку корректности статистических допущений.
- Сокращение шаблонного кода: создание каркаса стандартных компонентов пайплайна, которые будут проверены и переработаны. Мы оцениваем экономию в 30–40% времени на начальное создание каркаса скриптов загрузки данных и API-обёрток.
- Прототипирование архитектур моделей: быстрая проверка идей перед переходом к полной реализации. Скелеты моделей PyTorch, сгенерированные за 5 минут против 45 минут написания вручную.
- Документация: генерация докстрингов, файлов README и inline-комментариев для существующего кода. Экономит 2–3 часа на модуль.
Общая нить: всё это контексты, в которых результат будет проверен тем, кто может оценить его корректность. Код — это черновик, а не готовый результат.
Где vibe-кодинг проваливается в ML-процессах
- Feature engineering на масштабе: требует доменных знаний, которых нет у языковых моделей применительно к вашим конкретным данным. У одного клиента AI-сгенерированное кодирование признаков внесло look-ahead bias, из-за которого модель показывала 94% точности при тестировании — и 62% точности в продакшене.
- Оптимизация моделей: настройка гиперпараметров, квантизация и оптимизация обслуживания зависят от аппаратных ограничений и бюджетов задержек, которые меняются от деплоя к деплою. Мы видели AI-сгенерированный код квантизации, который уменьшил размер модели на 40%, но увеличил задержку инференса на 300% из-за субоптимального выбора операторов.
- Оркестрация пайплайнов: распределённое обучение, партиционирование данных и отказоустойчивость требуют структурированной архитектуры. IBM подтверждает: vibe-кодинг «не является идеальным выбором для распределённых приложений, потому что они требуют структурированной архитектуры и сложных стратегий оптимизации».
- Комплаенс и аудит: регулируемые отрасли нуждаются в объяснимых моделях с задокументированной линией данных. Сгенерированный код без чёткого происхождения не проходит аудиторские требования. Один fintech-клиент потратил 6 недель на ретроспективное документирование data lineage для vibe-кодированного пайплайна, прежде чем пройти аудит SOC 2.
Организационное влияние
Последствия выходят за рамки отдельных инженеров. Когда организации внедряют vibe-кодинг без ограничений, последствия распространяются по всем командам.
The New Stack сообщает, что одна только нагрузка от ревью значительна. Сеньор-инженеры тратят своё время на проверку AI-сгенерированного кода вместо построения систем. Джуниор-инженеры выпускают фичи, которые не могут объяснить. Результат — кодовая база, где никто полностью не понимает систему, и когда она ломается на масштабе, расследование начинается с нуля.
Вот что мы рекомендуем организациям, рассматривающим AI-ассистированную ML-разработку:
- Рассматривайте AI-сгенерированный код как черновик. Каждая строка проходит такое же ревью, как и код, написанный человеком. Никаких исключений по принципу «это написал AI». По нашему опыту, одно это правило предотвращает 80% продакшен-инцидентов, связанных с AI-сгенерированным кодом.
- Сначала инвестируйте в MLOps-инфраструктуру. Отслеживание экспериментов, реестры моделей и автоматизированные пайплайны тестирования — это предпосылки, а не запоздалые дополнения. Такие платформы, как Databricks, SageMaker, Azure ML или Vertex AI, предоставляют интегрированный инструментарий. Выделяйте как минимум 15–20% бюджета ML-проекта на эту инфраструктуру.
- Установите чёткие границы. Определите, какие задачи могут использовать AI-генерацию кода (прототипирование, исследование), а какие — нет (продакшен-пайплайны, компоненты, критичные для безопасности). Зафиксируйте эти границы в инженерных стандартах вашей команды.
- Измеряйте реальные затраты. Отслеживайте время, потраченное на ревью, отладку и переписывание AI-сгенерированного кода. Честно сравнивайте его с сэкономленным временем. Мы рекомендуем простую метрику: чистая экономия инженерных часов = время на промптинг - (время на ревью + время на отладку + время на переписывание).
Ключевой вывод для бизнеса
Позиция сообщества ML-инженеров по поводу vibe-кодинга нюансирована, но последовательна: AI-генерация кода — это инструмент, а не замена инженерии.
Во-первых, vibe-кодинг ускоряет не ту фазу. Узкое место в ML — это редко написание кода; это понимание данных, проектирование надёжных пайплайнов и поддержка моделей с течением времени. Более быстрая генерация кода не решает этих проблем.
Во-вторых, структура затрат инвертирована. Vibe-кодинг выглядит дешевле на старте, но генерирует технический долг, который нарастает. Наш опыт с 40+ ML-проектами согласуется с отраслевыми отчётами: реальная стоимость vibe-кодированного продакшен AI превышает инвестиции в профессиональную инженерию, если учесть отладку, ревью и продакшен-сбои.
В-третьих, различие между AI-ассистированной инженерией и vibe-кодингом имеет огромное значение. Инженеры, которые используют AI-инструменты, сохраняя полное понимание и контроль над кодовой базой, выпускают лучшие продукты быстрее — мы наблюдали рост продуктивности на 15–25% в командах, использующих AI как инструмент создания черновиков. Инженеры, которые отдают понимание на откуп AI, создают системы, дорогие в обслуживании и опасные для доверия.
Честный взгляд: vibe-кодинг будет продолжать улучшаться. Языковые модели будут лучше генерировать структурированный, готовый к продакшену код. Но фундаментальная задача ML-инженерии — построение систем, которые ведут себя надёжно в условиях неопределённости, с течением времени, при смещении данных — требует человеческого суждения, которое не заменит никакой промпт. Преуспеют те инженеры, которые используют AI как мультипликатор своей экспертизы, а не как её замену.
Часто задаваемые вопросы
Можно ли полностью создать ML-приложение через vibe-кодинг без проблем?
Для простых, изолированных моделей со статическими данными — да, для прототипирования. Для всего, что включает пайплайны данных в реальном времени, распределённое обучение или требования к продакшен-надёжности, vibe-кодинг вносит нарастающие проблемы. IBM отмечает, что AI-сгенерированный код «лишён архитектурной структуры», что становится критичным при масштабировании системы за пределы одного пользователя или сервиса. По нашему опыту, vibe-кодированные ML-приложения отказывают примерно в 10 раз чаще, чем системы, написанные инженерами, в первые 90 дней продакшена.
Почему vibe-кодированные решения, которые хорошо выглядят и проходят базовые тесты, отказывают под продакшен-нагрузками?
Продакшен-среды вносят переменные, с которыми демо никогда не сталкиваются: конкурентные пользователи, дрейф данных, сетевые сбои, крайние случаи ввода и пики нагрузки. ML-инженер Хамел Хусейн и коллеги обнаружили, что задачи, которые «казались простыми, занимали дни вместо часов» при тестировании на масштабе, а AI-инструменты создавали «чрезмерно сложные, непригодные к использованию решения». Разрыв между условиями демо и условиями продакшена — это именно то место, где инженерная дисциплина имеет наибольшее значение.
Как организациям следует балансировать AI-генерацию кода с инженерной строгостью?
Начните с написания явных рекомендаций по использованию AI-кода. Рассматривайте весь AI-сгенерированный код как черновик, требующий человеческого ревью. Инвестируйте в автоматизированное тестирование, мониторинг и инфраструктуру наблюдаемости, прежде чем допускать AI-сгенерированный код в продакшен. Отслеживайте чистую экономию инженерных часов — а не только часы, потраченные на промптинг. И самое важное — убедитесь, что каждый член команды может объяснить систему, за которую он отвечает, независимо от того, как был сгенерирован код.
Статья подготовлена на основе открытых источников и может содержать неточности.


