Artículo
¿Cuántas variantes probaste? El número que tu backtest esconde
Un backtest reporta el resultado de la versión que decidiste conservar, no las que descartaste en el camino. Cuantas más versiones pruebas, mejor se ve la mejor de ellas aunque ninguna tenga una ventaja real. Contar honestamente cuántas probaste es el primer dato para saber si tu Sharpe es real — y es el que casi nadie anota.
Un backtest reporta la variante que sobrevivió
Nadie desarrolla una estrategia probando una sola versión. Se ajusta un parámetro, se agrega un filtro, se cambia el marco temporal, se prueba en otro activo. Cada cambio produce un backtest nuevo, y al final se conserva el que mejor se ve. Las demás versiones desaparecen de la pantalla, pero no del cálculo.
Ese es el problema. El Sharpe que reporta tu plataforma no es una medición única: es el mejor de todos los que probaste. Y el mejor de muchos intentos siempre se ve mejor que la realidad, aunque ninguna versión tenga una ventaja real. La estadística le llama sesgo de selección; en trading es la señal más común del sobreajuste (overfitting): la estrategia se ajustó al ruido del pasado, no a algo que se repita.
La lógica es la misma que la de cualquier récord. Si mil personas pronostican la dirección del mercado diez días seguidos sin ninguna información, alguna acertará nueve de diez. No porque sepa algo: porque hubo mil intentos. Tu mejor backtest puede ser esa persona.
Cuánto sube el ruido con cada intento
El ruido estadístico también produce Sharpes. Con una muestra corta y muchas versiones, produce Sharpes altos. La pregunta útil no es «¿mi Sharpe es bueno?», sino «¿qué Sharpe habría producido el ruido con este número de intentos y esta muestra?». A ese valor lo llamamos el umbral del ruido: si tu resultado no lo supera con claridad, no se distingue de lo que produce el ruido por sí solo.
Dos casos calculados con la Calculadora de sobreajuste (método de Bailey y López de Prado, 2014):
| Tu Sharpe | Variantes probadas | Muestra | Umbral del ruido | Probabilidad de que sea real |
|---|---|---|---|---|
| 1.8 | 50 | 3 años de datos diarios (756 observaciones) | ≈ 1.32 | 79.7 % |
| 0.9 | 1,000 | 1 año de datos diarios (252 observaciones) | ≈ 3.26 | 0.9 % |
Y un tercero que no necesita cálculo: con una sola variante no hay búsqueda que descontar. El umbral es cero y el cálculo se reduce a la probabilidad de que el Sharpe verdadero sea mayor que cero.
Dos lecciones salen de la tabla. Primera: mil intentos sobre un año de datos ponen el umbral en 3.26 — un Sharpe de 0.9 que parecía decente aparece por puro ruido casi siempre. Segunda: la muestra importa tanto como el conteo. Cuantos menos datos respaldan el Sharpe, más alto queda el umbral para el mismo número de intentos. El ruido crece despacio con cada versión, pero no deja de crecer, y se dispara cuando los datos son pocos.
El número que tu backtest esconde
El reporte de un backtest no incluye cuántos backtests lo precedieron. Ese número vive en tu proceso — y suele ser mayor de lo que recuerdas. Para contarlo con honestidad, incluye todo lo que produjo un backtest distinto:
- cada combinación de parámetros que evaluaste, no solo la final;
- cada filtro o regla que agregaste o quitaste;
- cada activo y cada marco temporal en que la probaste;
- cada versión que descartaste porque «no se veía bien».
Con ese conteo, el método de Bailey y López de Prado (2014) hace dos cosas: estima el umbral del ruido para tu número de intentos y tu muestra, y convierte tu Sharpe en una probabilidad de ser real — el Deflated Sharpe Ratio (DSR), que además corrige por el sesgo y la curtosis de los retornos, las colas pesadas típicas del trading. El paper propone el 95 % como estándar de confianza; por debajo, el resultado no se distingue del ruido con suficiente claridad.
Un matiz que la industria suele saltarse: no existe un descuento fijo. Harvey y Liu (2015) sostienen que la regla empírica de «recortar el Sharpe a la mitad» es un error: el castigo por probar muchas versiones no es lineal. Los Sharpes altos se recortan poco; los marginales, mucho. Por eso el número de intentos importa más justo donde duele — en las estrategias que se ven «bastante bien».
Qué hacer con ese número
- Anótalo desde hoy. Una bitácora simple — fecha, versión, qué cambió, resultado — convierte el número en un dato en lugar de un recuerdo. Es la disciplina que separa una hipótesis de una búsqueda.
- Calcúlalo. La Calculadora de sobreajuste hace el cálculo en tu navegador, gratis y sin registro: Sharpe, tamaño de la muestra, frecuencia y variantes probadas. Devuelve el umbral del ruido y la probabilidad de que tu Sharpe sea real.
- Léelo como una señal, no como un veredicto. Superar el umbral no certifica la estrategia: significa que amerita una validación completa. Y no superarlo no la condena: más datos, o menos versiones en la búsqueda, cambian la lectura.
Ese número importa tanto que es uno de los datos que la auditoría de TRAVIDENCE te pide junto con tu historial de operaciones.
Audita tu estrategia antes de arriesgar capital →
Calcula el tuyo: Calculadora de sobreajuste →
Si tu resultado supera el umbral, la siguiente pregunta es cuánto puede doler el camino: Simulador Monte Carlo →
Cómo se aplica este método dentro de una auditoría completa: Investigación →
Referencias
- Bailey, D. H., y López de Prado, M. (2014). "The Deflated Sharpe Ratio: Correcting for Selection Bias, Backtest Overfitting and Non-Normality". The Journal of Portfolio Management, 40(5), 94–107.
- Harvey, C. R., y Liu, Y. (2015). "Backtesting". The Journal of Portfolio Management, 42(1), 13–28.