Pourquoi un seul backtest peut mentir
Un backtest à l'allure impeccable et une stratégie qui fonctionne réellement ne sont pas la même chose. Voici comment les distinguer — avec n'importe quel outil, y compris le nôtre.
Testez assez de combinaisons, et l'une d'elles paraîtra brillante
Lancez une pièce dix fois et vous obtiendrez probablement un mélange sans intérêt. Demandez à mille personnes de le faire, et l'une d'elles obtiendra dix « face » d'affilée. Personne ne qualifie cette personne de génie du lancer de pièce — pourtant, en backtesting, les traders commettent exactement cette erreur chaque jour.
Toute optimisation de paramètres, quel que soit l'outil, fonctionne de la même façon : tester de nombreuses combinaisons, faire ressortir les meilleures. C'est réellement utile — mais cela comporte un piège intrinsèque. Certaines combinaisons paraîtront excellentes par pur hasard, car le bruit aléatoire des données historiques s'aligne parfois avec un réglage précis et produit une belle courbe de capital qui ne signifie rien.
Et plus vous testez de combinaisons, plus il devient probable que votre « meilleur » résultat soit l'un de ces coups de chance. Ce n'est pas un défaut propre à un optimiseur en particulier — c'est une propriété mathématique du fait de choisir le meilleur parmi un grand nombre. Cela signifie simplement que le haut de n'importe quel tableau de résultats doit être lu avec une question en tête : s'agit-il d'un véritable avantage, ou du gagnant à la loterie de cette exécution ?
Trois signaux à vérifier avant de faire confiance à un résultat
Vous n'avez pas besoin de notre outil pour cela. Ces vérifications sont indépendantes de tout outil et fonctionnent même dans un tableur.
Sur combien de trades repose-t-il ?
Un rendement de 300 % sur 14 trades est une anecdote, pas une preuve. Les petits échantillons produisent des résultats extrêmes dans les deux sens — et une chance extrême est indiscernable d'une compétence extrême. Moins il y a de trades, moins un backtest peut vous en apprendre.
Les valeurs voisines sont-elles d'accord ?
Si la période 14 est rentable mais que 13 et 15 sont toutes deux perdantes, vous n'avez pas trouvé un avantage — vous avez trouvé un pic isolé. Une valeur de paramètre digne de confiance se situe généralement au sein de toute une région de résultats corrects, car un véritable avantage ne disparaît pas lorsqu'un réglage bouge d'un cran. Les pics isolés sont la signature classique du surapprentissage.
Jusqu'où avez-vous poussé la recherche ?
Le meilleur résultat parmi 20 combinaisons et le meilleur parmi 2 000 n'ont pas la même valeur. Plus la recherche est large, plus le hasard a eu de chances de produire un gagnant — donc plus un résultat doit être impressionnant pour franchir la barre du « ce pourrait n'être que du hasard ».
Vérifier ces trois points à la main, pour chaque exécution, est fastidieux. C'est pourquoi presque personne ne le fait. C'est précisément le problème que nous avons cherché à résoudre.
Comment RunOpti signale ces points — automatiquement, à chaque exécution
RunOpti automatise le balayage des paramètres — mais ce qui nous importe le plus, c'est ce qui se passe une fois les backtests terminés. Chaque résultat est noté selon les trois signaux ci-dessus :
- check_circle
Signalement d'échantillon faible. Les résultats reposant sur moins de trades qu'un seuil minimal sont explicitement marqués comme peu fiables — quelle que soit la performance spectaculaire des chiffres bruts.
- check_circle
Stabilité de voisinage. Le score de chaque combinaison reflète la constance de performance de ses valeurs de paramètres voisines. Un pic isolé obtient un score plus bas qu'une région solide, même si le rendement brut du pic est plus élevé.
- check_circle
Déflation selon la taille de la recherche. Les scores sont ajustés en fonction du nombre de combinaisons testées lors de l'exécution. Un meilleur-parmi-2 000 doit franchir une barre plus haute qu'un meilleur-parmi-50, car il a eu quarante fois plus de chances d'avoir de la chance.
- check_circle
Et quand rien ne passe le test, nous le disons. Si aucune région de paramètres ne survit à ces vérifications, RunOpti vous le dit directement : aucune région fiable trouvée. Nous pensons qu'un outil incapable de dire « cette exécution n'a rien produit de fiable » ne mesure pas vraiment la fiabilité.
Ce dernier point est la fonctionnalité que vous apprécierez le moins sur le moment — et celle qui rend le reste du rapport digne d'être lu.
Une précision sur la signification de ces scores. La notation de robustesse de RunOpti est un classement relatif au sein d'une seule exécution — elle identifie quelles combinaisons testées sont les plus fiables les unes par rapport aux autres. Ce n'est pas une garantie de performance future. Les résultats passés — aussi soigneusement validés soient-ils — ne garantissent pas les rendements futurs.
Découvrez à quoi ressemble votre stratégie sous une notation honnête
Lancez un balayage complet des paramètres sur votre propre stratégie et découvrez l'image complète — les régions robustes, les pics de chance, et la différence entre les deux.
Aucune pression, dans un sens comme dans l'autre. Si la réponse honnête est « aucune région fiable trouvée », mieux vaut l'entendre de votre optimiseur avant de l'entendre du marché.