← Назад к блогу

«Вайб-чек» выкатывает сломанный ИИ: как проектировать эвалы, которым можно доверять

Вайб-чек вместо эвалов выкатывает сломанный ИИ. Почему классическое тестирование агентов не работает и как создать надёжные тесты.

«Вайб-чек» выкатывает сломанный ИИ: как проектировать эвалы, которым можно доверять

Большинство команд, тестируя ИИ-фичу, делают одно и то же: открывают плейграунд, набивают пять промптов, кивают, выкатывают. Митеш Шах называет это ровно тем, чем оно является, в статье How to Test AI Agents — «вайб-чек с прикрученным деплой-пайплайном». Эту фразу стоит повесить на стену. И это же честный ответ всем, кто спрашивает, как начать вайб-кодить ответственно: кодинг теперь быстрый, а вот на проверке команды по-прежнему обжигаются.

Проблема не в лени. Проблема в том, что классическое тестирование ПО даёт бинарный ответ, а ИИ-системы — нет. Как формулирует блог Dust: двух одинаковых выводов не бывает, согласованного определения «правильного» не существует, а качество может уплыть без предупреждения после смены модели или промпта. Можно выкатить абсолютно тот же код во вторник и получить результат хуже, чем в понедельник, потому что модель под ним сдвинулась.

Почему это вопрос денег, а не только техники

ИИ-фича, которая падает молча, хуже той, которая падает с грохотом. Падение порождает тикет. Тихо неверный ответ порождает уверенно неверный счёт, галлюцинированную цитату из политики компании или диалог с поддержкой, который незаметно разъедает доверие клиента — а тот никогда не пожалуется, он просто уйдёт.

Инженерная команда Anthropic хорошо сформулировала корень проблемы в Demystifying evals for AI agents (январь 2026): те самые свойства, которые делают агентов полезными — автономность, интеллект, гибкость, — ровно и делают их сложными для оценки. Агент, способный найти творческий путь к цели, найдёт и творческий обход ваших проверок.

Их пример показателен. Opus 4.5 решил задачу бронирования авиабилета из τ2-bench, обнаружив лазейку в описанной политике. Эвал засчитал это как провал. На деле модель нашла лучший исход для пользователя. Ошибся эвал, а не агент.

Шаг 1: определите, что значит «хорошо», до написания первого теста

Подготовительный шаг неприглядный и потому постоянно пропускается: сесть и ответить, как на самом деле выглядит успешное взаимодействие. Конкретно. «Полезно и точно» — это не спека. «Ссылается минимум на один найденный документ, никогда не называет цену, которой нет в каталоге, эскалирует на человека, если пользователь упомянул возврат» — вот это спека.

Здесь важен сдвиг мышления. Вопрос не «совпадает ли это с ожидаемым выводом?». Вопрос: «достаточно ли этот вывод хорош, безопасен и обоснован для прода?» Это разные вопросы, и меряются они по-разному.

Anthropic проводит различие, которое стоит усвоить: транскрипт против исхода. Агент может сказать «ваш рейс забронирован». Исход — существует ли реально бронь в SQL-базе. Оценивайте базу, а не прозу. Везде, где есть настоящее изменение состояния — записанная строка, поставленное в очередь письмо, переключённый статус тикета, — проверяйте состояние, а не рассказ о нём.

Шаг 2: начните с малого. Двадцать-тридцать кейсов.

Команды либо не строят эвалы вовсе, либо замахиваются на бенчмарк из 500 кейсов, который умирает на половине. Рекомендация Dust — практичная середина: двадцать-тридцать хорошо подобранных тест-кейсов часто дают достаточно сигнала, чтобы поймать самые частые проблемы надёжности до того, как в них упрутся реальные пользователи.

Реальные цифры: тридцать кейсов — это примерно полдня работы для команды, которая уже знает свою предметную область. Смехотворно малое вложение против цены инцидента на проде.

Tricentis приводит тот же аргумент в своём пошаговом руководстве по тестированию ИИ-агентов: начните с маленького сфокусированного бенчмарка, стройте его на том, что вскрывает ручной разбор, автоматизируйте проверки, которые хорошо поняты и стабильны, и держите человека в контуре для всего остального.

Откуда взять эти тридцать кейсов? Три корзины, намеренно неравные:

  • Пять-шесть самых частых реальных запросов (счастливый путь — нужен, но наименее информативен)
  • Неудобная середина: расплывчатые формулировки, недостающий контекст, пользователи, которые спрашивают две вещи разом
  • По-настоящему злое: состязательные промпты, запросы вне области, случаи, где верный ответ — «я не знаю»

Tricentis прямо называет тестирование только счастливого пути ключевым режимом отказа. Если бенчмарк не отражает реальное распределение входов, эвалы оптимистичны — и эта оптимистичность рано или поздно стоит денег.

Шаг 3: честно выберите способ оценки

Три подхода, и большинство серьёзных систем используют все три.

Детерминированные проверки

Распарсился ли JSON? Есть ли ID в допустимом множестве? Совпадает ли цена с каталогом? Это дёшево, быстро и не спорит. Используйте их для всего, что можно проверить точно. Им место в CI, как любым другим юнит-тестам.

Семантическая близость

Сравнение вывода с эталонным ответом в пространстве эмбеддингов. Полезно, когда формулировка варьируется, а смысл — не должен. Слабее там, где законно существует много разных хороших ответов.

LLM-as-judge

Языковая модель оценивает ответ по рубрике — например, обоснован ли ответ найденным контекстом (faithfulness) и была ли задача действительно выполнена. Harness AI Evals сочетает LLM-as-judge с детерминированными проверками и семантической близостью и позволяет писать рубрики на естественном языке или собственную логику оценки на Python. Их платформа предлагает более 50 встроенных метрик: детерминированные проверки, безопасность и соответствие политикам, детекцию prompt injection и оценку траектории для многошаговых агентов.

Честная оценка: LLM-as-judge мощен — и его уносит. Swivl задокументировал ровно этот сбой в разборе рубричной оценки M2: система возвращала оценки, сгрудившиеся в середине шкалы, выдавая в основном двойки и тройки независимо от реального качества. Судья, который всегда говорит «3», — это генератор случайных чисел с хорошими манерами.

Лечится калибровкой по человеческим оценщикам. Скоринг M2 явно откалиброван так, чтобы совпадать с тем, как обученные эксперты применяют критерии рубрики, и постоянно мониторится, чтобы таким и оставаться. Заявленная цель дизайна — временна́я согласованность: тройка в понедельник должна значить то же самое, что тройка две недели спустя.

Фреймворк рубричного автооценивания от 8allocate обобщает это в пять слоёв доверия: интеграция со стандартами, калибровка рубрик, контроль смещений, человеческий надзор и инфраструктура комплаенса. Рабочая рекомендация — гибридная модель: ИИ берёт на себя рутинную оценку в масштабе, человек сохраняет контроль над решениями с последствиями. Именно калибровка минимизирует дрейф; обучающие образцы периодически обновляются по мере изменения ожиданий.

Шаг 4: версионируйте всё, иначе летите вслепую

Tricentis выделяет тестирование без отслеживания версий как отдельный режим отказа, и формулировка резкая: если вы не можете определить, улучшился или деградировал результат на конкретном эвале между двумя обновлениями модели, вы навигируете без приборов.

Планка минимальна. Даже простая разметка прогонов эвалов версией модели и датой уже даёт основу для рассуждений. Аудиторский след важнее всего ровно в тот момент, когда всё ломается и кому-то надо восстановить последовательность событий.

Проще говоря: оценка эвала без тега версии — это число без истории.

Шаг 5: относитесь к проду как к лучшей фабрике тест-кейсов

Вот здесь эвалы перестают быть галочкой и начинают накапливать сложный процент.

Аргумент Arthur в Evaluating AI Agents in Production в том, что преддеплойных наборов тестов попросту недостаточно. Агенты недетерминированны, многошаговы и пользуются инструментами, а входы в проде куда разнообразнее любого рукописного набора тестов. Их модель — замкнутая петля: наблюдаемость даёт трейсы, непрерывные эвалы вытаскивают сбои из этих трейсов, гардрейлы перехватывают проблемы в реальном времени, а эксперименты превращают сбои в устойчивые улучшения.

Механика петли проста. Мониторить диалоги. Помечать интересные сбои. Добавлять кейс сбоя в датасет вместе с ожидаемым правильным поведением. Прогонять набор эвалов, чтобы подтвердить исправление. Повторять.

Каждый продовый сбой, ставший тест-кейсом, навсегда делает систему устойчивее именно к этому способу поломки. Вчерашний инцидент становится завтрашней скучной зелёной галочкой. Формулировка, которая меняет поведение команды: считайте каждый продовый инцидент свидетельством дыры в эвалах, а не просто тикетом на закрытие.

Дальше этот датасет работает вдвойне. Arthur отмечает, что тот же выведенный из прода датасет служит регрессионным набором, который перезапускается перед каждым деплоем. Harness делает это явным на уровне инструментов — офлайн- и онлайн-оценка используют одни и те же метрики и датасеты, так что между тем, что тестировали до деплоя, и тем, что меряют в проде, нет расхождения.

Шаг 6: итерируйте на самом дешёвом слое

Arthur делит эксперименты на три типа, по возрастанию стоимости:

  1. Эксперименты с промптом — прогон промпта по датасету без полного агента. Самый быстрый цикл итерации.
  2. Эксперименты с RAG — проверка, что поиск возвращает правильный контекст. Если извлечение сломано, промпт этого не починит.
  3. Эксперименты с агентом — прогон полного агента от начала до конца с оценкой и итогового вывода, и промежуточной траектории.

Рекомендуемый рабочий процесс: начинать узко, итерировать на уровне промпта или RAG, затем валидировать сквозным прогоном перед промоушеном. Большинство команд делают наоборот — отлаживают полного многошагового агента, когда реальный баг в том, что поисковый запрос возвращает не те три документа. Само различие между починкой на уровне промпта и на уровне контекста — отдельная дисциплина; её стоит читать вместе с материалом о том, что изменилось, когда контекст-инжиниринг сменил промпт-инжиниринг.

Шаг 7: вшейте эвалы в пайплайн как гейт

Набор эвалов, который запускается, когда кто-то вспомнит, — это не контроль качества. Harness строит планки качества вокруг четырёх блоков — Target, Dataset, Metrics и Threshold, — где пороги бывают либо «всё должно пройти» (блокирующие), либо взвешенно-составные (рекомендательные). Эвалы собираются в Suites, которые подключаются к релизному пайплайну как нативный гейт качества.

Их SDK для оценки открыт под Apache 2.0, так что логика скоринга запускается в любой CI-системе, ноутбуке или тестовом наборе. Коммерческая платформа надстраивает сверху гейтинг пайплайна, реестр ИИ-активов, онлайн-оценку и управление. AI Evals сейчас в бете, разрабатывается вместе с дизайн-партнёрами, у которых агенты работают в проде.

Вот что мы рекомендуем по стратегии гейтинга: проверки безопасности и политик делайте блокирующими, а оценки качества — сначала рекомендательными. Блокирующий порог по качеству, выставленный до того, как вы доверяете своему судье, приучит команду отключать гейт. Право блокировать надо заслужить.

Несколько прогонов, потому что один ничего не доказывает

Anthropic определяет задачу как единичный тест с заданными входами и критериями успеха — и отмечает, что на задачу делается несколько прогонов, поскольку выводы модели варьируются от запуска к запуску. Один успех в одном прогоне — не доказательство. Если кейс проходит три раза из пяти, это 60% прохождения, а не «пройдено».

Это меняет бюджет. Тридцать кейсов × три прогона × вызов судьи на прогон — это ощутимая стоимость одного запуска эвалов. Здесь выручают детерминированные проверки: гоняйте их на каждом прогоне, а дорогого LLM-судью приберегите для случаев, где действительно нужно суждение.

Режимы отказа, которых стоит избегать

Собрано из Tricentis и более широкой практики:

  • Бенчмарки только по счастливому пути. Оптимистичны так, что потом стоят денег.
  • Отсутствие отслеживания версий. Нет приборов — нет навигации.
  • Оценка транскрипта вместо исхода. Агент говорит «забронировано», база молчит.
  • Некалиброванный судья. Оценки, сгрудившиеся в середине, выглядят как измерение, но не несут сигнала.
  • Эвалы, которые никогда не меняются. Статичные наборы протухают по мере движения продукта и пользователей.

Главное для бизнеса

Главное для бизнеса: три вещи определяют, окупятся ли ИИ-эвалы инженерным временем.

  1. Начинайте с тридцати кейсов, а не пятисот. Двадцать-тридцать хорошо подобранных кейсов ловят самые частые проблемы надёжности. Существующий набор лучше запланированного.
  2. Делайте продовые сбои необратимыми. Каждый инцидент, превращённый в тест-кейс, — это класс багов, который больше не повторится молча. Это накопление и есть вся отдача от вложений.
  3. Версионируйте и ставьте гейт. Помечайте каждый прогон версией модели и датой, затем подключайте набор к релизному пайплайну. Без обоих у вас мнения о качестве, а не измерения.

Команды, делающие надёжные ИИ-продукты, — не те, у кого лучшие промпты. Это те, кто может ответить числом и датой, стало ли лучше после изменения на прошлой неделе. И эта дисциплина стоит на обычном инженерном здравом смысле — вот почему код всё ещё важен при создании ИИ-агентов.

Часто задаваемые вопросы

Как не допустить игры с метриками, когда оптимизация одного показателя ухудшает систему?

Используйте составные пороги вместо одной оценки и держите хотя бы одну метрику, под которую команда не оптимизируется, как контрольную. Harness поддерживает взвешенно-составные пороги ровно по этой причине. Также держите человеческий разбор в контуре для решений с суждением — как рекомендует Tricentis, автоматизируйте только те проверки, которые хорошо поняты и стабильны.

Как оценивать качество, когда реальные данные уплывают от вашего тестового набора?

Ответ — мониторинг в проде, а не более крупный стартовый набор тестов. Петля Arthur рассматривает непрерывные эвалы на продовых трейсах как источник новых записей в датасете, так что бенчмарк отслеживает реальное распределение входов, а не то, которое вы вообразили на запуске. Периодически обновляйте калибровочные образцы, как советует практика рубричного оценивания.

Чем оценка агентов, принимающих решения, должна отличаться от оценки языковых моделей?

Для языковых моделей измеряется качество вывода. Для агентов, которые действуют, считается итоговое состояние среды — то самое различие Anthropic между исходом и транскриптом. Оценке агентов нужны ещё и проверки траектории: были ли разумны промежуточные шаги и вызовы инструментов, а не только приемлемо ли выглядит финал.

Как сделать принципы доверенного ИИ конкретными, а не теоретическими?

Превратите каждый принцип в метрику с порогом в пайплайне. Faithfulness становится проверкой обоснованности по найденному контексту; безопасность — метриками соответствия политикам и детекции prompt injection; надзор — определённым набором случаев, маршрутизируемых к людям. Если к принципу не привязан ни один падающий тест-кейс, он ещё не введён в эксплуатацию.

Статья подготовлена на основе открытых источников и может содержать неточности.

Читайте также

✦ВыжимкаAI
  1. Классическое тестирование ПО даёт бинарный ответ, а ИИ-системы — нет: одинаковых выводов не бывает, согласованного определения «правильного» не существует, и качество может уплыть без предупреждения после смены модели или промпта.
  2. Тихо неверный ответ ИИ опаснее явного падения: он порождает уверенно неверный счёт или галлюцинацию, незаметно разъедающую доверие клиента, который просто уйдёт, а не пожалуется.
  3. Именно автономность и гибкость, делающие агентов полезными, делают их сложными для оценки — агент, способный найти творческий путь к цели, найдёт и творческий обход проверок, как показал случай с Opus 4.5, «провалившим» эвал, найдя лучший исход для пользователя.
  4. Прежде чем писать тесты, нужно конкретно определить критерии успеха («ссылается на найденный документ», «эскалирует при упоминании возврата»), а вопрос сместить с «совпадает с ожидаемым выводом?» на «достаточно ли хорош и безопасен вывод для прода?».
  5. Ключевое различие — транскрипт против исхода: нужно проверять реальное изменение состояния (запись в базе, отправленное письмо), а не текстовый рассказ агента о том, что он якобы сделал.

Powered by B1KEY