Cómo contar tus variantes: la bitácora de intentos

Por qué te piden un número que no tienes

La Calculadora de sobreajuste pregunta por tus variantes probadas: todas las versiones que probaste, no solo la que sobrevivió. Es la única pieza del proceso que ningún reporte de backtest puede mostrar, porque el reporte describe a la versión ganadora y calla a las demás. Solo tú sabes cuántas hubo. Por eso una auditoría lo imprime como un dato declarado por el cliente: no hay forma de medirlo desde fuera.

Sin ese número, cualquier corrección del resultado es una adivinanza. Con él, la corrección es aritmética.

Cuándo empieza la cuenta

Tu primer backtest ya es la variante 1. La cuenta de ajustes empieza en el momento en que miras el resultado, no te convence y cambias algo. Tres indicadores, el resultado no es el que esperabas, cambias uno o agregas uno: variante 2. Recorres el backtest, sigue sin salir, agregas otro indicador, mueves otro parámetro: variante 3. Cada cambio hecho después de ver un resultado suma uno.

La regla, dicha en una línea: la cuenta no mide cambios, mide resultados mirados. Cada configuración distinta de la que viste un resultado es una variante, la hayas conservado o no.

Qué suma y qué no

Suma:

• Cambiar o agregar un indicador.
• Mover un parámetro. Cada valor probado es una variante; la rejilla de un optimizador también: diez valores de un parámetro por diez de otro son cien variantes, no una.
• Agregar o quitar un filtro, una regla, una excepción.
• Probar la misma idea en otro marco temporal, otra sesión, otro activo.
• Volver a correr «solo para ver» después de mover algo.
• Cada vez que usaste un periodo reservado para elegir entre versiones. Un periodo fuera de muestra deja de serlo en cuanto decide.

No suma:

• Corregir un error de código y volver a correr la misma configuración: es la misma variante, bien calculada.
• Cambiar el formato del reporte o la métrica que miras sobre las mismas operaciones.
• Una idea que descartaste sin correrla. Lo que no produjo un resultado no cuenta.

Si dudas, cuenta más, no menos. Un conteo corto infla el resultado a tu favor; un conteo largo solo lo hace más exigente.

La bitácora de intentos

Cinco columnas bastan. Se llenan en el momento, no de memoria.

• Número de variante.
• Fecha.
• Qué cambió respecto a la anterior.
• Qué viste en el resultado anterior que te llevó a cambiarlo.
• Resultado que miraste y si la conservaste o la descartaste.

Una fila dice, por ejemplo: variante 3 · 12 de septiembre · agregué un filtro de volatilidad · la variante 2 perdía en mercados laterales · mejor un año, peor el siguiente · conservada. El número de filas es tu número de variantes. Si la estrategia ya existe y nunca llevaste la cuenta, reconstrúyela hacia atrás con lo que recuerdes y redondea hacia arriba: lo que olvidaste también ocurrió.

Qué hace el conteo con tu resultado

Contar no evita la minería de datos: la hace visible y la descuenta. Si buscas lo suficiente, tarde o temprano encuentras en el pasado un patrón que da números maravillosos; el conteo es lo que permite saber cuánto de eso pudo producir la búsqueda por sí sola. Ese es el umbral del ruido: el mejor Sharpe que el ruido estadístico alcanza con tu número de variantes y tu cantidad de datos. Treinta variantes sobre dos años de datos diarios lo ponen en ≈ 1.47; cien, en ≈ 1.80.

El descuento del conteo (Deflated Sharpe Ratio; en la calculadora, «después de descontar la búsqueda») deja tu resultado más cerca de lo que la evidencia sostiene. No más cerca de lo que el mercado hará: el descuento no predice ni garantiza nada; quita del número lo que la búsqueda le regaló. Contar no vuelve buena a una estrategia. Hace honesto al número.

Qué hacer con esto

1. Abre la bitácora antes del próximo backtest. La primera fila es la variante que ya tienes.
2. Anota cada configuración distinta de la que mires un resultado, incluidas las que descartes.
3. Lleva el total a la Calculadora de sobreajuste junto con tu muestra. Superar el umbral no certifica nada y no superarlo no condena nada: es la señal para decidir si la estrategia amerita una validación completa.
4. Cuando la amerite, ese total es el número que declaras. Un conteo corto no engaña a la auditoría: infla tu propio resultado.