Warum ein einzelner Backtest täuschen kann
Ein gut aussehender Backtest und eine Strategie, die wirklich funktioniert, sind nicht dasselbe. So erkennen Sie den Unterschied – mit jedem Tool, auch mit unserem.
Testen Sie genug Kombinationen, und irgendetwas wird glänzend aussehen
Werfen Sie eine Münze zehnmal, und Sie bekommen wahrscheinlich eine unauffällige Mischung. Lassen Sie tausend Menschen das tun, und jemand wird zehnmal hintereinander Kopf werfen. Niemand nennt diese Person ein Münzwurf-Genie – doch beim Backtesting machen Trader genau diesen Fehler jeden Tag.
Jede Parameteroptimierung funktioniert in jedem Tool gleich: viele Kombinationen testen, die besten hervorheben. Das ist grundsätzlich nützlich – hat aber einen eingebauten Haken. Manche Kombinationen sehen allein durch Zufall gut aus, weil zufälliges Rauschen in historischen Daten gelegentlich mit einer bestimmten Einstellung zusammenfällt und eine schöne, aber bedeutungslose Equity-Kurve erzeugt.
Und je mehr Kombinationen Sie testen, desto wahrscheinlicher ist es, dass Ihr „bestes“ Ergebnis einer dieser Glückstreffer ist. Das ist kein Fehler eines bestimmten Optimierers – es ist eine mathematische Eigenschaft davon, das Beste aus vielen auszuwählen. Es bedeutet nur, dass die Spitze jeder Ergebnistabelle mit einer Frage gelesen werden sollte: Ist das ein echter Vorteil oder der Lottogewinner dieses Durchlaufs?
Drei Signale, die Sie vor jedem Ergebnis prüfen sollten
Dafür brauchen Sie unser Tool nicht. Sie sind toolunabhängig und funktionieren auch in einer Tabellenkalkulation.
Auf wie vielen Trades basiert es?
Eine Rendite von 300 % über 14 Trades ist eine Anekdote, kein Beweis. Kleine Stichproben erzeugen extreme Ergebnisse in beide Richtungen – und extremes Glück sieht genauso aus wie extremes Können. Je weniger Trades, desto weniger sagt ein Backtest aus.
Stimmen die Nachbarn überein?
Wenn Periode 14 Gewinn macht, aber 13 und 15 beide verlieren, haben Sie keinen Vorteil gefunden – sondern einen Ausreißer. Ein vertrauenswürdiger Parameterwert liegt meist in einem ganzen Bereich solider Ergebnisse, weil ein echter Vorteil nicht verschwindet, wenn eine Einstellung um eine Stufe verschoben wird. Isolierte Spitzen sind das klassische Merkmal von Overfitting.
Wie intensiv wurde gesucht?
Das beste Ergebnis aus 20 Kombinationen und das beste aus 2.000 sind nicht gleichermaßen aussagekräftig. Je breiter die Suche, desto mehr Chancen hatte der Zufall, einen Gewinner zu produzieren – ein Ergebnis muss also umso beeindruckender sein, um die Hürde „könnte einfach Zufall sein“ zu überwinden.
Alle drei Punkte manuell für jeden Durchlauf zu prüfen, ist mühsam. Deshalb macht es fast niemand. Genau dieses Problem wollten wir lösen.
Wie RunOpti das automatisch meldet — bei jedem Durchlauf
RunOpti automatisiert den Parameter-Sweep – aber der Teil, der uns am wichtigsten ist, passiert nach Abschluss der Backtests. Jedes Ergebnis wird anhand der drei oben genannten Signale bewertet:
- check_circle
Warnung bei kleiner Stichprobe. Ergebnisse mit weniger Trades als einem Mindestwert werden ausdrücklich als wenig verlässlich markiert – egal, wie spektakulär die reinen Zahlen wirken.
- check_circle
Nachbarschafts-Stabilität. Die Bewertung jeder Kombination spiegelt wider, wie konsistent benachbarte Parameterwerte abschneiden. Ein einzelner Ausreißer erhält eine niedrigere Bewertung als ein solider Bereich – selbst wenn die Rohrendite des Ausreißers höher ist.
- check_circle
Deflation nach Suchgröße. Bewertungen werden danach angepasst, wie viele Kombinationen der Durchlauf getestet hat. Das beste Ergebnis aus 2.000 muss eine höhere Hürde nehmen als das beste aus 50, weil es vierzigmal so viele Chancen auf Glück hatte.
- check_circle
Und wenn nichts besteht, sagen wir es Ihnen direkt. Übersteht kein Parameterbereich diese Prüfungen, teilt RunOpti Ihnen das unmissverständlich mit: kein verlässlicher Bereich gefunden. Wir glauben: Ein Tool, das nicht sagen kann „dieser Durchlauf hat nichts Vertrauenswürdiges ergeben“, misst Vertrauenswürdigkeit nicht wirklich.
Genau das ist die Funktion, die Ihnen im Moment am wenigsten gefallen wird – und die den Rest des Berichts lesenswert macht.
Ein Hinweis dazu, was diese Bewertungen bedeuten. Die Robustheitsbewertung von RunOpti ist eine relative Rangfolge innerhalb eines einzelnen Durchlaufs – sie zeigt, welche der getesteten Kombinationen im Vergleich zueinander am vertrauenswürdigsten sind. Sie ist keine Garantie für zukünftige Performance. Vergangene Ergebnisse – wie sorgfältig auch immer geprüft – garantieren keine zukünftigen Renditen.
Sehen Sie, wie Ihre Strategie unter ehrlicher Bewertung aussieht
Führen Sie einen vollständigen Parameter-Sweep mit Ihrer eigenen Strategie durch und sehen Sie das ganze Bild – die robusten Bereiche, die Glückstreffer und den Unterschied dazwischen.
Kein Druck, so oder so. Wenn die ehrliche Antwort „kein verlässlicher Bereich gefunden“ lautet, sollten Sie das lieber von Ihrem Optimierer hören als vom Markt.