Liczba, którą wszyscy cytują, mierzy nie to, co trzeba

Dostałem w tym tygodniu uczciwe pytanie: o ile dobrze zbudowany harness poprawia agenta kodującego? Podaj liczbę.

Poszedłem więc po liczby.

Na publicznych rankingach da się czasem trafić ten sam model puszczony pod dwoma różnymi harnessami. Różnica: od trzech do ośmiu punktów procentowych. A wystarczy zostawić harness w spokoju i podmienić model pod spodem, żeby wynik ruszył się o dwadzieścia pięć.

Przeczytaj tylko tyle, a wniosek napisze się sam: harness prawie nie ma znaczenia, kup lepszy model, idź do domu.

Tylko że nikt z nas nie boi się o to

Te benchmarki mierzą jedno zadanie w jednym kontenerze, które przechodzi albo nie przechodzi. Nikt na produkcji nie traci snu przez jedno zadanie w jednym kontenerze.

Sen odbiera co innego. System, który wywraca się co kilka dni. Wynik, którego we wtorek nie da się powtórzyć. Werdykt, którego potem nikt nie zaudytuje. Przebieg, który melduje sukces, a plik, w którym rzekomo coś poprawił, po prostu sobie wymyślił.

I właśnie na to — na stabilność, powtarzalność, audytowalność — nie ma żadnego publicznego benchmarku. Najbliższa próba, jaką znalazłem, ma trzy tygodnie, a jej własny prerejestrowany audyt wyszedł nierozstrzygnięty.

Tam, gdzie liczby jednak są, nie są małe. Jedno badanie ścięło regresje o 70%, podając agentowi jeden plik z kontekstem. Inne zmierzyło spadek nieudanych zadań o 9,5% po dodaniu krytyka, który sprawdza plan przed wykonaniem. Jedno i drugie to zmiana w harnessie. Ani jedna, ani druga nie pojawi się w rankingu.

Na razie ciężar spada więc na ciebie. Mierz to, na czym naprawdę ci zależy: jak często pada system, ile pracy wraca do poprawki, jak często werdykt broni się w przeglądzie. Nikt nie opublikuje tego za ciebie.