← Назад к блогу

ИИ-«эксперты», которые не умеют отлаживать код: растущий разрыв в навыках

Разработчики с ИИ в резюме генерируют впечатляющий код, но не могут объяснить как он работает. Растущий разрыв в навыках.

ИИ-«эксперты», которые не умеют отлаживать код: растущий разрыв в навыках

Проблема, которую замечает каждая инженерная команда, но о которой мало кто говорит

Разработчик приходит в команду с надписью «AI/ML», разбросанной по всему резюме. Он быстро собирает впечатляющие демо, генерирует код с поразительной скоростью и уместно вставляет в разговоры правильные модные слова. А потом случается первый баг на продакшене — и он не может объяснить, что делает его собственный код.

Этот паттерн повторяется по всей индустрии разработки с нарастающей частотой. Инструменты, которые делают ИИ доступным для всех, одновременно делают элементарно простой имитацию экспертности. И цену этого разрыва между воспринимаемым и реальным уровнем навыков платят команды, которым приходится поддерживать код, который никто по-настоящему не понимает.

Как инструменты ИИ превратили новичков в убедительных «экспертов»

Суть проблемы проста: большие языковые модели генерируют отполированный, уверенно звучащий текст вне зависимости от того, понимает ли промптер то, что получил. Как написал один комментатор на Hacker News, «большая часть иллюзии компетентности кроется в экспертности того, кто составляет промпт». Переверните это утверждение — и вывод окажется неприятным: когда промптеру не хватает экспертности, результат всё равно выглядит компетентным.

Это создаёт специфический режим отказа. Разработчик может сгенерировать работающую фичу за несколько часов, убедительно её представить и получить похвалу — совершенно не понимая архитектурных последствий, крайних случаев или бремени поддержки того, что он выпустил.

Реальные цифры: Согласно данным IE Insights, исследователь Дамьен Шарлотен задокументировал около 150 случаев подачи в суды по всему миру ИИ-галлюцинаций в составе судебных документов с июня 2023 года. Самый скандальный из них связан со Стивеном Шварцем — юристом с 30-летним стажем, который подал юридическую записку, сгенерированную ChatGPT, выглядевшую на первый взгляд безупречно. Судья обнаружил, что все шесть процитированных судебных дел были вымышлены. Шварц не смог даже определить базовые форматы юридических цитат, которые якобы использовал.

Это не проблема юридической профессии. Это паттерн, который проявляется везде, где работа, сгенерированная ИИ, заменяет — а не дополняет — предметные знания.

Почему «заёмное понимание» обходится дороже, чем экономит

Одно из самых точных описаний этой динамики принадлежит разработчику с Hacker News, который назвал принятие сгенерированного ИИ кода без понимания «заёмным пониманием, которое вы будете выплачивать во время поддержки с высокими процентами». Тот же комментатор оценил, что то, что ощущается как бесплатная скорость, «на самом деле больше похоже на техдолг под ~40% годовых».

Эта метафора заслуживает разбора. Член команды, который генерирует 200 строк работающего кода в день с помощью инструментов ИИ, на бумаге выглядит необычайно продуктивным. Но если он не может отладить этот код, когда тот ломается, не может отрефакторить его при изменении требований и не может объяснить его на код-ревью — кто-то другой в команде берёт эти затраты на себя. Эти 200 строк становятся обязательством, а не активом.

Честный взгляд: ИИ не делает слабых инженеров сильнее. Согласно анализу разрыва в навыках ИИ-инженерии от Karat, ИИ действует как мультипликатор, а не как уравнитель. Инженеры, которым не хватает прочного фундамента, могут полагаться на ИИ, не понимая результатов, что приводит к росту числа ошибок в коде. При этом лучшие специалисты дают непропорционально большую отдачу. Разрыв между сильными и слабыми инженерами увеличивается, а не сокращается.

Эффект мультипликатора на практике

Рассмотрим двух разработчиков, которым поручили создать интеграцию с API:

Разработчик А понимает HTTP-протоколы, паттерны аутентификации, обработку ошибок и ограничение частоты запросов. Он использует ИИ для ускорения написания шаблонного кода, генерации тестовых сценариев и изучения незнакомого синтаксиса библиотек. Когда ИИ предлагает механизм повторных попыток без экспоненциальной задержки, он замечает это. Когда ИИ генерирует SQL-запрос, уязвимый для инъекции, он исправляет его. ИИ экономит ему часы набора текста, а его профессиональная оценка делает результат пригодным для продакшена.

Разработчик Б пишет в ИИ-инструмент промпт «создай интеграцию с API сервиса X». Он получает работающий код, вставляет его и переходит к следующей задаче. Код работает в среде разработки. На продакшене он падает под нагрузкой, потому что нет пула соединений. Он выводит API-ключи в логи ошибок. Он молча теряет неуспешные запросы вместо повторных попыток.

Оба разработчика «выпустили фичу». Один создал ценность. Другой создал инцидент, ожидающий своего часа.

Проблема воронки найма

Проблема начинается ещё до того, как человек присоединяется к команде. Большинство процессов собеседования были разработаны для мира, в котором кандидаты писали собственный код. Как отмечает Karat, организации, которые затягивают с обновлением критериев и форматов собеседований, рискуют получить повышенный процент ошибочных наймов, более медленные команды и снижение инженерной продуктивности со временем.

Сигналы, которые раньше указывали на компетентность — чистый код в тестовом задании, красноречивые описания прошлых проектов, знакомство с трендовыми фреймворками — теперь можно сгенерировать за считанные минуты. Кандидат, потративший вечер с ChatGPT на подготовку к собеседованию, может звучать неотличимо от человека с многолетним практическим опытом.

Рассылка The Pragmatic Engineer задокументировала случай, когда кандидат заявлял о дипломе Варшавского технологического университета, но не говорил по-польски и имел акцент, не совпадающий с заявленным происхождением. Рекомендация: записывайте видеособеседования для последующего анализа, потому что «кандидатов, скрывающихся за ИИ, может быть сложно распознать в реальном времени».

Как на самом деле выглядит подлинная ИИ-компетентность

Согласно фреймворку оценки от Far Horizons, дипломы значат меньше, чем скорость обучения, теория значит меньше, чем практическое применение, а системное мышление важнее и того и другого. Их фреймворк оценивает по четырём измерениям: технический фундамент, практическое применение, стратегическое мышление и траектория обучения.

Именно на измерении практического применения большинство мнимых экспертов рассыпается. Одно дело — объяснить, что делает архитектура трансформера. И совсем другое — отладить, почему дообученная модель выдаёт несогласованные результаты на продакшене, или объяснить компромиссы между разными стратегиями эмбеддингов для конкретного сценария использования.

Ключевой вывод для бизнеса: Разница между тем, кто умеет пользоваться инструментами ИИ, и тем, кто понимает ИИ, — та же, что между тем, кто умеет водить машину, и тем, кто может диагностировать, почему двигатель троит. Оба полезны. Но это не один и тот же навык.

Пять конкретных сигналов, отличающих настоящую экспертность от ИИ-подкреплённой производительности

1. Они могут объяснить «почему» за каждым решением

Спросите настоящего эксперта, почему он выбрал именно этот подход, — и он упомянет компромиссы: производительность против читаемости, согласованность против гибкости, скорость выпуска против поддерживаемости. Спросите того, кто целиком полагается на ИИ, — и он опишет, что делает код, а это просто пересказ промпта, который он дал ИИ.

2. Они отлаживают методично, а не перегенерацией

Когда код ломается — начинается настоящий тест. Компетентный инженер читает трассировки ошибок, формирует гипотезы и изолирует переменные. Стратегия отладки ИИ-зависимого разработчика — вставить ошибку обратно в ИИ и надеяться на другой результат. Согласно исследованию Karat, слабые кандидаты слепо полагаются на ИИ и теряются при дополнительных вопросах, тогда как сильные инженеры проверяют, дорабатывают и отлаживают результат ИИ и могут объяснить свой ход рассуждений.

3. Они возражают предложениям ИИ

Тот, кто разбирается в предметной области, отвергнет плохой результат ИИ. Он скажет: «этот подход не масштабируется» или «это создаёт состояние гонки». Тот, кому не хватает этого фундамента, принимает всё, что выдаёт модель, потому что у него нет основы для оценки.

Статья IE Insights подчёркивает именно эту опасность: когда ИИ фабрикует правдоподобно звучащий анализ «в областях, в которых вы лично не разбираетесь, ошибка остаётся незамеченной». Новичкам не хватает метакогнитивных навыков для оценки результатов ИИ — они не знают того, чего не знают.

4. Они понимают ограничения и режимы отказа

Настоящие практики ИИ могут сформулировать, где их инструменты перестают работать. Они знают, что LLM галлюцинируют, что сгенерированному коду часто не хватает обработки крайних случаев и что впечатляющие демо нередко скрывают хрупкие реализации. Они относятся к ИИ как к инструменту с известными режимами отказа, а не как к оракулу.

5. Они упрощают, а не накапливают сложность

Один комментатор на Hacker News оспорил утверждение, что «только люди могут уменьшить сложность или противостоять ей», назвав его тривиально неверным. Но более глубокая мысль остаётся в силе: подлинная экспертность проявляется в способности создавать простые, поддерживаемые решения. Работа, зависимая от ИИ, тяготеет к сложности, потому что разработчик принимает любую структуру, которую генерирует модель, вместо того чтобы перестроить её под кодовую базу.

Как перестроить процессы найма и оценки команды

Обновите процессы собеседования для эпохи ИИ

Традиционные технические собеседования — алгоритмические задачи на время у доски — проверяют набор навыков, который становится всё менее релевантным. Но замена их на домашние проекты не проверяет вообще ничего, поскольку кандидаты могут генерировать целые приложения с помощью инструментов ИИ.

Вот что мы рекомендуем на основе паттернов, наблюдаемых в нескольких инженерных командах:

  • Живые сессии отладки: дайте кандидатам сломанную кодовую базу и наблюдайте, как они диагностируют проблемы. Это проверяет понимание, а не генерацию.
  • Обсуждение архитектуры с ограничениями: представьте задачу проектирования системы с конкретными, противоречивыми требованиями (низкая задержка и строгая согласованность и минимальные затраты). Инструменты ИИ плохо справляются с подлинным анализом компромиссов.
  • Упражнения по код-ревью: покажите кандидатам чужой код (сгенерированный ИИ, с незаметными проблемами) и попросите его проанализировать. Это напрямую проверяет профессиональную оценку.
  • Глубина уточняющих вопросов: на любой технический ответ спрашивайте «почему» три раза. Поверхностные знания рассыпаются ко второму уточнению.

Согласно руководству по оценке от Canditech, настоящая ИИ-компетентность как для технических, так и для нетехнических ролей сосредоточена на человеческом суждении: задавать лучшие вопросы, проверять результаты и применять их с критическим мышлением. Сам инструмент вторичен по отношению к способности оператора оценить то, что он производит.

Установите чёткие ожидания внутри существующих команд

Проблема не в том, что люди используют инструменты ИИ. Проблема в том, что некоторые используют инструменты ИИ как замену понимания, а не как ускоритель компетентной работы. Когда эта разница артикулирована в команде — поведение меняется.

Конкретные практики, которые помогают:

  • Требуйте от авторов устного объяснения своих PR. Не письменное описание — а живой разбор. Если человек не может объяснить логику своих изменений, PR нуждается в доработке вне зависимости от того, проходят ли тесты.
  • Ротируйте ответственность за отладку. Когда происходит инцидент на продакшене, расследование должен вести тот, кто написал соответствующий код. Если он не может — это сигнал, на который стоит обратить внимание.
  • Отслеживайте код-чурн по каждому контрибьютору. Высокая скорость, за которой следует высокий уровень правок, указывает на паттерн «сгенерировать и надеяться». Стабильные контрибьюторы выпускают меньше, но и переписывают меньше.

Инвестируйте в фундамент, а не в инструменты

Соблазн велик — отправить команду на «обучение ИИ»: воркшопы по промпт-инженерингу, сертификации по конкретным инструментам, курсы по возможностям новейших моделей. Это переворачивает реальные приоритеты с ног на голову.

Проще говоря: сильный инженер, который освоит инструменты ИИ за неделю, превзойдёт слабого инженера, который использует инструменты ИИ уже год. Узкое место — это инженерный фундамент: структуры данных, проектирование систем, методология отладки и способность рассуждать о поведении кода. Инструменты ИИ усиливают тот уровень навыков, который уже есть. Инвестировать нужно в фундамент, а не в усилитель.

Организационная цена игнорирования этой проблемы

Команды, которые мирятся с разрывом между воспринимаемой и реальной экспертностью, расплачиваются несколькими способами:

Бремя поддержки смещается на сильнейших инженеров. Когда сгенерированный ИИ код ломается, а автор не может его починить, старшие инженеры берут на себя отладку. Это самое дорогое из возможных применений самых ценных людей в команде.

Архитектура деградирует постепенно. Каждый сгенерированный ИИ модуль, который «работает, но никто не понимает как», добавляется к кодовой базе, которую становится всё труднее модифицировать. За месяцы система становится хрупкой — не потому что отдельная часть сломана, а потому что никто не держит в голове ментальную модель того, как части соединяются.

Ошибки найма накапливаются. Если процесс собеседования не может отличить подлинную экспертность от ИИ-подкреплённой производительности, каждый новый найм несёт ощутимую вероятность того, что этот человек замедлит команду, а не ускорит её. За несколько циклов найма это фундаментально меняет профиль компетенций команды.

Реальные цифры: Хотя точные суммы варьируются от организации к организации, паттерн стабилен — стоимость ошибочного найма в инженерии обычно оценивается в 6–12 месячных зарплат с учётом времени на онбординг, потерянной продуктивности и влияния на окружающих членов команды. Когда этот ошибочный найм касается человека, чей основной навык — генерация кода, который он не способен поддерживать, стоимость распространяется дальше — в саму кодовую базу.

Что это значит для инженерного руководства

Разочарование, которое инженерные команды испытывают по отношению к «ИИ-экспертам», — это не цинизм, а распознавание паттернов. Люди, которые наблюдали, как коллеги генерируют впечатляюще выглядящий код, рассыпающийся на продакшене, выявляют реальную проблему. Вопрос в том, что с этим делать.

Три принципа, на которые стоит опереться:

Первое: отделите использование инструментов ИИ от экспертности в ИИ. Все в команде должны использовать инструменты ИИ. Это не делает всех экспертами по ИИ, так же как использование поисковика не делает всех исследователями. Нормализуйте использование инструментов, сохраняя при этом чёткие стандарты владения кодом и его понимания.

Второе: проверяйте понимание, а не результат. Будь то при найме или оценке текущих членов команды, вопрос не в том, «может ли этот человек создать работающий код?» Вопрос в том, «может ли этот человек объяснить, отладить, модифицировать и поддерживать этот код?» Это принципиально разные способности.

Третье: защищайте базу знаний команды. Каждая строка кода, которая попадает в продакшен без того, чтобы кто-то в команде по-настоящему её понимал, — это будущий инцидент. Это не значит, что нужно запретить ИИ — это значит, что нужно требовать, чтобы кто-то взял на себя ответственность за понимание того, что выпускается, вне зависимости от того, как это было сгенерировано.

Ключевой вывод для бизнеса: Инструменты ИИ никуда не денутся, и команды, которые используют их эффективно, будут превосходить тех, кто этого не делает. Но «эффективно» означает использование ИИ для ускорения компетентной работы, а не для симуляции компетентности, которой не существует. Успешными будут те команды, которые смогут отличить одно от другого — а это начинается с честного признания существующего разрыва.

Часто задаваемые вопросы

Как поддерживать качество кода и архитектурные знания, когда ИИ генерирует большую часть кода?

Требуйте от каждого автора PR устного объяснения своих изменений в формате живого разбора. Ротируйте ответственность за отладку, чтобы расследование инцидентов вёл тот, кто написал соответствующий код. Отслеживайте код-чурн — высокая производительность, за которой следует высокий уровень правок, сигнализирует о паттерне генерации без понимания.

Давление на ускорение выпуска кода с помощью ИИ делает наши системы более хрупкими, а не лучше?

Зачастую да. Как описано в дискуссиях на Hacker News, принятие сгенерированного ИИ кода без понимания создаёт «заёмное понимание», которое команды выплачивают в процессе поддержки. Решение — не замедление выпусков, а обеспечение того, чтобы тот, кто выпускает код, мог также нести за него ответственность на продакшене.

Как обеспечить объяснимость, надёжность и доверие к нашим ИИ-системам, чтобы они не были «чёрными ящиками»?

Начните с того, чтобы люди, создающие эти системы, могли их объяснить. Если член команды не может сформулировать, почему его решение на базе ИИ работает, каковы его режимы отказа и как его отлаживать при поломке — система является чёрным ящиком вне зависимости от лежащей в основе технологии. Нанимайте и оценивайте по способности объяснять, а не только генерировать результат.

Статья подготовлена на основе открытых источников и может содержать неточности.

Читайте также

✦ВыжимкаAI
  1. Большие языковые модели генерируют убедительно звучащий результат вне зависимости от уровня понимания промптера — это создаёт новый режим отказа: разработчик может сдать работающую фичу, не понимая её архитектурных последствий и не умея отладить её при сбое.
  2. Принятие ИИ-кода без его понимания — это «заёмное понимание» с процентами: кажущаяся бесплатная скорость на деле оборачивается техдолгом примерно под 40% годовых, который выплачивается во время поддержки.
  3. Проблема не специфична для программирования: юрист с 30-летним стажем подал ИИ-сгенерированную записку с шестью несуществующими делами и не смог распознать базовые форматы цитат — паттерн повторяется везде, где ИИ-вывод замещает, а не дополняет предметные знания.

Powered by B1KEY