Todos citan el mismo número y ese número mide otra cosa

Esta semana me hicieron una pregunta legítima: ¿cuánto mejora a un agente de programación un harness bien construido? Un número, por favor.

Fui a buscar el número.

En las clasificaciones públicas aparece de vez en cuando el mismo modelo corriendo bajo dos harnesses distintos. La distancia entre uno y otro va de tres a ocho puntos porcentuales. Ahora deja el harness quieto y cambia el modelo de debajo. La puntuación se mueve veinticinco.

Si te quedas ahí, la conclusión se escribe sola: el harness casi da igual, compra un modelo mejor y vete a casa.

Solo que no es eso lo que nos quita el sueño

Esos benchmarks miden una tarea, dentro de un contenedor, que pasa o no pasa. Nadie en producción duerme mal por una tarea dentro de un contenedor.

Se duerme mal por otras cosas. Un sistema que se viene abajo cada pocos días. Un resultado que el martes que viene ya no sale igual. Un veredicto que después no hay quien audite. Una ejecución que informa de éxito y resulta que el fichero que dice haber tocado se lo ha inventado.

Pues para eso — estabilidad, reproducibilidad, auditabilidad — no existe ningún benchmark público. El intento más cercano que he encontrado tiene tres semanas, y su propia auditoría preregistrada terminó sin conclusión.

Donde sí hay cifras, no son pequeñas. Un estudio recortó las regresiones un 70% dándole al agente un único fichero de contexto. Otro midió un 9,5% menos de tareas fallidas al meter un crítico que revisa el plan antes de ejecutarlo. Los dos son cambios de harness. Ninguno de los dos sale en una clasificación.

De momento, entonces, el trabajo es tuyo. Mide lo que de verdad te importa — cada cuánto se cae el sistema, cuánto trabajo vuelve para rehacerse, cuántas veces un veredicto aguanta la revisión — porque nadie lo va a publicar por ti.