Por qué un solo backtest puede engañarte
Un backtest que se ve bien y una estrategia que realmente funciona no son lo mismo. Así es como se distinguen, con cualquier herramienta, incluida la nuestra.
Prueba suficientes combinaciones y algo parecerá brillante
Lanza una moneda diez veces y probablemente obtendrás una mezcla anodina. Pídeselo a mil personas y alguien sacará diez caras seguidas. Nadie llama genio a esa persona, y sin embargo en el backtesting los traders cometen exactamente ese error todos los días.
Toda optimización de parámetros, en cualquier herramienta, funciona igual: se prueban muchas combinaciones y se destacan las mejores. Eso es genuinamente útil, pero conlleva una trampa incorporada. Algunas combinaciones se verán excelentes por pura casualidad, porque el ruido aleatorio de los datos históricos a veces coincide con una configuración específica y produce una curva de capital preciosa que no significa nada.
Y cuantas más combinaciones pruebes, más probable es que tu "mejor" resultado sea uno de esos golpes de suerte. Esto no es un defecto de ningún optimizador en particular, es una propiedad matemática de elegir el mejor entre muchos. Solo significa que la parte superior de cualquier tabla de resultados debe leerse con una pregunta en mente: ¿es una ventaja real, o el ganador de la lotería de esta ejecución?
Tres señales que vale la pena revisar antes de confiar en cualquier resultado
No necesitas nuestra herramienta para esto. Son independientes de la herramienta y funcionan en una hoja de cálculo.
¿Sobre cuántas operaciones está construido?
Un retorno del 300% en 14 operaciones es una anécdota, no una evidencia. Las muestras pequeñas producen resultados extremos en ambas direcciones, y la suerte extrema se ve idéntica a la habilidad extrema. Cuantas menos operaciones, menos te puede decir un backtest.
¿Están de acuerdo los vecinos?
Si el período 14 gana dinero pero el 13 y el 15 lo pierden, no has encontrado una ventaja, has encontrado un pico. Un valor de parámetro que vale la pena confiar suele estar dentro de toda una región de resultados decentes, porque una ventaja real no desaparece cuando una configuración se mueve un paso. Los picos aislados son la firma clásica del sobreajuste.
¿Con cuánta intensidad buscaste?
El mejor resultado entre 20 combinaciones y el mejor entre 2.000 no son igual de significativos. Cuanto más amplia sea la búsqueda, más oportunidades tuvo la suerte de producir un ganador, así que más impresionante debe ser un resultado antes de superar la barra del "podría ser solo azar".
Revisar las tres a mano, en cada ejecución, es tedioso. Por eso casi nadie lo hace. Ese es el problema real que nos propusimos resolver.
Cómo reporta esto RunOpti, automáticamente, en cada ejecución
RunOpti automatiza el barrido de parámetros, pero la parte que más nos importa es lo que ocurre después de que terminan los backtests. Cada resultado se puntúa frente a las tres señales anteriores:
- check_circle
Aviso de muestra baja. Los resultados construidos sobre menos operaciones que un umbral mínimo se marcan explícitamente como de baja confianza, sin importar lo espectaculares que parezcan las cifras en bruto.
- check_circle
Estabilidad por vecindad. La puntuación de cada combinación refleja qué tan consistentemente rinden los valores de parámetros vecinos. Un pico solitario puntúa más bajo que una región sólida, incluso cuando el retorno bruto del pico es más alto.
- check_circle
Deflación según el tamaño de la búsqueda. Las puntuaciones se ajustan según cuántas combinaciones probó la ejecución. Un mejor-de-2.000 tiene que superar una barra más alta que un mejor-de-50, porque tuvo cuarenta veces más oportunidades de tener suerte.
- check_circle
Y cuando nada aprueba, lo decimos. Si ninguna región de parámetros supera estas comprobaciones, RunOpti te lo dice directamente: no se encontró una región confiable. Creemos que una herramienta que no puede decir "esta ejecución no produjo nada confiable" en realidad no está midiendo la confiabilidad en absoluto.
Ese último punto es la función que menos te gustará en el momento, y la que hace que valga la pena leer el resto del informe.
Una nota sobre lo que significan estas puntuaciones. La puntuación de robustez de RunOpti es una clasificación relativa dentro de una sola ejecución: identifica cuáles de las combinaciones probadas son más confiables entre sí. No es una garantía de rendimiento futuro. Los resultados pasados, por muy cuidadosamente validados que estén, no garantizan retornos futuros.
Descubre cómo se ve tu estrategia bajo una puntuación honesta
Ejecuta un barrido completo de parámetros con tu propia estrategia y ve el panorama completo: las regiones robustas, los picos afortunados y la diferencia entre ambos.
Sin presión en ningún sentido. Si la respuesta honesta es "no se encontró una región confiable", preferirás escucharlo de tu optimizador antes que del mercado.