Цифра, которую все повторяют, меряет не то

На этой неделе мне задали честный вопрос: насколько хорошо собранный harness улучшает агента, который пишет код? Дай цифру.

Я пошёл за цифрами.

В публичных рейтингах иногда попадается одна и та же модель, запущенная под двумя разными harness. Разрыв — от трёх до восьми процентных пунктов. А оставьте harness в покое и подмените под ним модель, и результат сдвинется на двадцать пять.

Прочитайте только это, и вывод напишется сам: harness почти не важен, купите модель получше, идите домой.

Вот только боимся мы совсем не этого

Эти бенчмарки меряют одну задачу в одном контейнере, которая либо проходит, либо нет. Никто в продакшене не теряет сон из-за одной задачи в одном контейнере.

Сон отнимает другое. Система, которая падает раз в несколько дней. Результат, который во вторник уже не повторить. Вердикт, который потом никто не проверит. Прогон, который рапортует об успехе, а файл, где он якобы что-то поправил, попросту выдумал.

И вот на это — на устойчивость, воспроизводимость, проверяемость — публичного бенчмарка нет вообще. Ближайшая попытка, которую я нашёл, появилась три недели назад, а её собственный предзарегистрированный аудит вернулся без однозначного вывода.

Там, где цифры всё-таки есть, они немаленькие. Одно исследование срезало регрессии на 70%, подсунув агенту один файл с контекстом. Другое намерило падение доли проваленных задач на 9,5% после того, как к пайплайну добавили критика, проверяющего план до исполнения. И то и другое — изменения в harness. Ни то ни другое в рейтинге не появится.

Значит, пока что груз на вас. Мерьте то, что вас правда волнует: как часто падает система, сколько работы уходит в переделку, как часто вердикт выдерживает ревью. За вас этого никто не опубликует.