Original von xyxyber

Ich selber bin kein überzeugter Hardcore-Backtester, weil

• die Backtest-Daten prinzipiell sehr wenig über die Zukunft sagen,
  
• die genaue Implementation im Programm - genau wie beschrieben - nicht nachvollziehbar ist,
  
• die meisten Anwender darüber hinaus keine sinnvolle Vorstellung statistischer Signifikanzbereiche haben und diese wegen fehlender Untersetzung durch eine unbekannte Implementation in der Software auch nicht bekommen können.

Trotzdem kann ein Backtest wenigstens vor groben Unrichtigkeiten durch von Anfang an falsche Strategien schützen und wenn man gezielt einzelne Trading-Aspekte modelliert, wie z. B. eine bestimmte MM-Strategie, Exit-Strategie usw. wenigstens sinnvolle Hinweise liefern.

Da ich wissen will, was ich wirklich mache, ...

Vor der Verallgemeinerung von Strategien, die nicht in einem einigermaßen weiten Parameterbereich stabil sind, sei auf jeden Fall gewarnt. Auch erscheinen mir diverse Sequential-Zählungen (a'la Bradford-Rascke, Turtle-Trader etc.) oder die noch einfacheren Folklore-Pattern weit hergeholt, weil ich nicht von einer so genauen Wiederholung der Märkte ausgehe.

Die meisten Indikatoren sind in ihrer Begründung nicht ausreichend überzeugend theoretisch untersetzt. Trotzdem ist ein Trading mit Indikatoren für viele Trader psychisch sinnvoller als ohne und dageben als Grundgerüst nichts zu sagen. Die Verabsolutierung der damit gewonnenen Resultate hält aber keiner wissenschaftlichen Prüfung stand, alleine schon, weil die Frage des nötigen Beobachtungszeitraumes oft nicht richtig umgesetzt wird und kaum jemand sein System praktisch auf dem gleichen Markt solange backtestet oder gar tradet, wie es notwendig wäre, um in den Signifikanz-Bereich zu kommen. Wenn dann, wegen "geänderter Märkte", sowieso alles aller paar Monate über den Haufen geworfen wird, ist das Backtesten auch nur eine Begründung, sich gut zu fühlen, wenn man in Wahrheit mehr oder weniger diskretionär vorgeht, zwar nicht im einzelnen Trade, wohl aber in der Parameter-Anpassung des Systems.

Hallo xyxyber,

danke für deine ausführliche Antwort, stimme in vielen Punkten mit dir überein, komme erst jetzt dazu dir zu antworten.

Auch in diesem Thread wurden Teile dieser "Backtest-Problematik" auch angeschnitten, zentrader hat es ja sehr schön geschrieben:

Es geht nicht darum, um mittels "künstlicher Kurse" den Markt exakt vorherzusagen, sondern darum, um mögliche zukünftige Szenarien des Marktes abzubilden, die so eventuell in der Historie noch nicht aufgetreten sind und das Handelssystem dann genau in diesen neuen Szenarien zu testen. Der Vorteil: man erkennt schnell Überoptimierungen und vermeidet den Einsatz solcher Systeme im realen Handel.

Die Frage in wie weit ein klassischer Backtest überhaupt sinnvoll ist wenn die Zukunft doch meist anders läuft zwingt dich zusätzlich bspw. eine Monte-Carlo Simulation oder dergleichen durchzuführen, auch ein Equtiy-Trading (Master/Slave-System) kann eingesetzt werden.

Ob das aber reicht weiss ich nicht, diskretionär-systematisches traden bevorzuge ich daher mehr als sich lange Zeit mit Backtest/Optimierung zu widmen.

Ein weiterer Punkt, wie von dir richtig erkannt, ist ja oft wie einzelne Indikatoren oder gar ganze Chartarten (bspw. Renko, P&F, etc.) in den jeweilige Software-Programmen von den Programmiereern umgesetzt wurden. Gerade bei P&F-Charts schön zu sehen wo es so manche "hausinterne" Lösung gegenüber dem Orginal P&F gibt, da wird dann beim Backtest von P&F das Ergebnis immer anders sein.

Daher sehe ich das "Papertraden" mittlerweise als eine gute, wenn nicht sogar bessere Alternative an, Interactive Brokers hat ja so ein Paperaccount mittlerweile, bei den Ergebnissen sind dann tatsächliche Orderkosten und meist realistische Ausführungskurse (auf Xetra zumindest) am "Paperergebnis" sichtbar.

Auch der Preis der für gute Backtestsoftware mittlerweile verlangt wird zehrt gemein an den Kosten, dies darf nicht unterschätzt werden.

Beste Grüße

Roti

@ Roti

Ich selber bin kein überzeugter Hardcore-Backtester, weil

• die Backtest-Daten prinzipiell sehr wenig über die Zukunft sagen,
  
• die genaue Implementation im Programm - genau wie beschrieben - nicht nachvollziehbar ist,
  
• die meisten Anwender darüber hinaus keine sinnvolle Vorstellung statistischer Signifikanzbereiche haben und diese wegen fehlender Untersetzung durch eine unbekannte Implementation in der Software auch nicht bekommen können.

Trotzdem kann ein Backtest wenigstens vor groben Unrichtigkeiten durch von Anfang an falsche Strategien schützen und wenn man gezielt einzelne Trading-Aspekte modelliert, wie z. B. eine bestimmte MM-Strategie, Exit-Strategie usw. wenigstens sinnvolle Hinweise liefern.

Da ich wissen will, was ich wirklich mache, bevorzuge ich quelloffene Lösungen, wie z. B. mit R oder Excel selbst gefertigte.

Wenn man überhaupt nichts von Backtesting hält, bleibt die Frage nach der Alternative beim Systembau, die dann ja nur eine deduktive Lösung über angenommenen Ausgangs-Gesetzmäßigkeiten über Markt-Verhaltensweisen sein kann, wobei die Annahme der Wahrheit dieser Gesetzmäßigkeiten durchaus ähnlich problematisch wie Backtesting ist, da selbst simple Dinge durch anerkannte Markt-Modelle nicht vernünftig erklärt werden.

Vor der Verallgemeinerung von Strategien, die nicht in einem einigermaßen weiten Parameterbereich stabil sind, sei auf jeden Fall gewarnt. Auch erscheinen mir diverse Sequential-Zählungen (a'la Bradford-Rascke, Turtle-Trader etc.) oder die noch einfacheren Folklore-Pattern weit hergeholt, weil ich nicht von einer so genauen Wiederholung der Märkte ausgehe.

Etwas sinnvollere Annahmen zum adaptiven Anpassen von Stop und ggf. TP bieten statistische Beobachtungen über die Bewegungsverteilung in der Kursreihe. Da kommt je nach Markt mit etwas Glück ein Wahrscheinlichkeitsprofil für Bewegungen raus, daß Hinweise jenseits von 50:50 bietet, allerdings nur bei genauer Einhaltung der berechneten Stops und TP auch was bringen kann.

Die meisten Indikatoren sind in ihrer Begründung nicht ausreichend überzeugend theoretisch untersetzt. Trotzdem ist ein Trading mit Indikatoren für viele Trader psychisch sinnvoller als ohne und dageben als Grundgerüst nichts zu sagen. Die Verabsolutierung der damit gewonnenen Resultate hält aber keiner wissenschaftlichen Prüfung stand, alleine schon, weil die Frage des nötigen Beobachtungszeitraumes oft nicht richtig umgesetzt wird und kaum jemand sein System praktisch auf dem gleichen Markt solange backtestet oder gar tradet, wie es notwendig wäre, um in den Signifikanz-Bereich zu kommen. Wenn dann, wegen "geänderter Märkte", sowieso alles aller paar Monate über den Haufen geworfen wird, ist das Backtesten auch nur eine Begründung, sich gut zu fühlen, wenn man in Wahrheit mehr oder weniger diskretionär vorgeht, zwar nicht im einzelnen Trade, wohl aber in der Parameter-Anpassung des Systems.

In erster Linie werden auf den Märkten abstrakte Risiken getradet, auch wenn man juristisch noch irgendeinen konkreten Bezug zu einem Underlying hat. Wenn aber über das Underlying bestimmte inhaltliche Kenntnisse existieren und noch weitere Meinungen zur Stimmung auf dem Gesamtmarkt, weiß ich nicht, warum man das Trading vorsätzlich so steril gestalten soll, daß man sich nur auf eine Chartlinie als maximale Abstraktion von der Realität verlassen soll und die zusätzlichen Kenntnisse ohne Not ignorieren soll. Die Extrem-Position mit den Charts ohne Beschriftung und im dunklen Raum, um nicht vom Wetter abgelenkt zu werden, finde ich eher weniger angemessen.

Ich glaube, daß ein vernünftiges System als Rahmenwerk schon Sinn macht, aber man durchaus diskretionär mitdenken und eingreifen darf, insbesondere auf Parameter-Ebene, bei genügender mentaler Disziplin auch auf Trade-Ebene, wo man aber dafür noch besser den fehlenden Parameter im System nachrüsten sollte.

Wenn man diese Anpassungen schnell genug backtesten kann, umso besser. Der Fehler liegt also nicht im Backtesten als solchem, sondern in der Annahme unbeschränkter Aussagekraft der berechneten Ergebnisse. Zwischen vollkommen unbrauchbar und total perfekt liegen genügend Abstufungen, die dem Backtesting trotz aller Probleme einen sinnvollen Platz einräumen.

@ Cerberus24

Das unterschiedliche Tools oder unterschiedliche Läufe des gleichen Tools unterschiedliche Orderausführungen haben, kann ok sein, wenn eine vernünftige Zufallskomponente darin eingebaut ist. Das stellt nicht unbedingt einen Mangel des Tools dar.

In der S&C war ein Artikel (Test einer Metastock-Version), indem mit Verblüffung festgestellt wurde, dass selbe Daten, selbe Logic bei unterschiedlichen Software-Versionen zu grob unterschiedlichen Ergebnissen führte.

Bei meinem Omnitrader ist dies sogar meist innerhalb des identen Programms der Fall, d.h. EOD zweimal gestartet und gefiltert = 2 unterschiedliche Ergebnisse. Das war auch der Grund, weshalb angeblich der Vertrieb durch den australischen Hauptdealer eingestellt wurde.

MFG

Cerberus24

"Die absoluten Indikatorwerte unterscheiden sich aber u.U. auch wieder zwischen der Software – manchmal marginal – manchmal erheblich."

Ein Beispiel: MACD Indikatoren unterscheiden sich zwischen MT4 und ProrealTime/CMC sehr stark. Es gibt aber einen MACD_ZEROLAG für MT4 im Internet zu finden, der dem vom CMC mehr oder weniger entspricht.

Von der anderen Seite, ein System, dass zu kleinen und sogar großen Abweichungen empfindlich ist, gehört eindeutig in die Mülltonne.

Anke hat das sehr gut zusammen gefasst.

Noch als zusätzlichen Punkt würde ich anführen, dass die unterschiedlichen Tools unterschiedliche Orderausführungen haben. Gilt besonders oft für Stopps (gelten z.B. noch nicht am selben Stab an dem man einsteigt).

Achtet man aber darauf, dass die Logik die gleiche ist, die Indikatoren die gleiche Berechnungsgrundlage haben, die gleiche Anzahl an Daten benutzt wird und die Periode übereinstimmt, dann ist das Ergebnis identisch.

Hallo xyxyber,

Kollege OptiT (aus anderem Forum) war kürzlich auf einer CMC Roadshow wo u.a. Hr. Däubner mitbei war und in der anschließenden Diskussion meinte Hr. Däubner (u.a. Buchautor und bei Traders-Journal aktiv), daß er mal für einen Hedgefund gearbeitet hat. Dort hat man Backtests über die gleichen Zeiträume, mit gleichen Daten aber verschiedenen Programmen (eSignal und Tradestation) laufen lassen. Die Ergebnisse seien signifikant unterschiedlich gewesen (!) und daher würde er fast gar nichts von Backtesting halten.

Kann das jemand hier im Forum bestätigen? Habt Ihr mal solche Vergleiche gemacht, z. B. HS von Tradestation oder eSignal mit CMC Backtest oder anderen, natürlich immer mit gleichen Datenmaterial?

Eine andere Forumsteilnehmerin (Anke) meinte dazu noch interessanterweise:

"Grundsätzlich ist es meiner Erfahrung nach richtig, was Dir Herr Däubner gesagt hat.
Nimm 4 verschiedene Softwarelösungen mit den gleichen Kursdaten, versuche die gleiche Strategie backzutesten und Du wirst oft 4 verschiedene Ergebnisse erhalten. Du wirst gleichzeitig feststellen, dass Du bei allen 4 Softwarelösungen wahrscheinlich keine Kongruenz in den Trades bekommst.
Bei der einen Software kannst Du vielleicht nur 500 Perioden backtesten.
Die andere Software erlaubt Backtesting über mehrere Perioden, verwendet aber ein Datenformat, das maximal x-Kurse abspeichert.
Alle Softwarelösungen enthalten möglicherweise Standard-Indikatoren mit gleichen Namen.
Die absoluten Indikatorwerte unterscheiden sich aber u.U. auch wieder zwischen der Software – manchmal marginal – manchmal erheblich.
Nimm nur mal Indikatoren, die sich z.B. in ihrer Berechnung auf einen früheren Wert von sich selbst beziehen (i.e. „Prev“ enthalten). Hier kann es entscheidend sein, über wie viele historische Perioden zurück Du den Indikator berechnen läßt / lassen kannst.
Der Funktionsumfang und die Einstellmöglichkeiten der Software sind auch oft verschieden. Gibt es bei einer Software eine bestimmte Einstellmöglichkeit der Backtesting-Bedingungen nicht, so ist auch oft nicht dokumentiert, welche Einstellung für die interne Berechnung verwendet wird.
Da kann man dann nur hoffen, dass man die Einstellung in dem Programm, welches sie zuläßt, identisch vornimmt.
Ursachen für Abweichungen zwischen den Programmen kann es viele geben.
Ich habe aufgegeben, mich näher damit zu beschäftigen, warum etwas in einem Programm intern so berechnet wird, im anderen Programm anders.
Was mir zwischen den Programmen gelungen ist, ist für bestimmte einfache Strategien (z.b. nur 1 Candlestick-Muster, sonst nichts weiter) weitgehende Ergebnisgleichheit in den Backtesting-Ergebnissen zwischen der verschiedenen Software zu bekommen, wenn ich auch das Candlestick-Muster selbst programmiert habe und die Datenquelle gleich war. Je komplexer aber die Handelsregeln werden – desto größer waren bei meinen Tests die Abweichungen zwischen den Trades die in jeder Software gemacht wurden oder auch nicht gemacht wurden und folglich auch die Abweichungen zwischen den Backtesting-Ergebnissen.
Was war meine Konsequenz aus diesen Tests? Nicht das Backtesting insgesammt sinnlos ist, sondern das ich die Backtests immer nur in der Software durchführen würde, mit der das System später auch getradet werden soll, um eine Konsistenz in der Signalgebung zwischen Backtest und späterem Realhandel sicherzustellen. "

xyxyber, was meinst du dazu, stimmt das so?

Beste Grüße

Roti

Original von Cerberus24
Wo findet man das backtesting modul?

MFG

Cerberus24

Schon gefunden.


Cerberus24

Wo findet man das backtesting modul?

MFG

Cerberus24

Nahezu uneingeschränkt stimme ich bezüglich der Fragwürdigkeit von Backtests mit Derivaten anstelle der Underlyings zu. Das gilt ganz besonders für stark volatilitätsabhängige Produkte wie Optionsscheine, aber auch für alle anderen Produkte, die durch einseitig vom Emittenten/Marketmaker wählbare Parameter in ihrem Preis sehr frei gestaltet werden können, wie eben auch CFD.

Bei CFD sollten aber für einigermaßen robuste Handelssysteme im Mittel trotz aller beobachtbaren Unregelmäßigkeiten bei der Preisgestaltung durch den Marketmaker noch ausreichend stabile Korrelationen zum Underlying (bezogen auf die Ziele des Backtesting) da sein.

Die mit den CMC-Daten erreichbaren Genauigkeiten sollten (wenn das mit dem Kapitalmanagement repariert ist, oder herausgerechnet wurde) immer noch hinreichend aussagekräftig sein für eine prinzipielle Abschätzung, ob eine Handelsidee überhaupt Sinn macht. Die Genauigkeit des letzten Ticks kann sowieso nicht erwartet werden, sie ist aber wegen der ohnehin nur losen Korrelation von Backtests mit abgeleiteten Annahmen über die grobe zukünftige Gewinnerwartung auch generell nicht erforderlich. Eine schlechte Handelsidee wird auch durch genauere Daten nicht besser und ein guter Ansatz muß sich trotz allergenauester Backtests erst noch im zukünftigen Real-Einsatz beweisen. Ob man die angegebenen Kurse wirklich hätte handeln können, ist keine Frage der Daten, sondern der Zuverlässigkeit der CMC-Handelsplattform.

Wenn es einen Papertrading-Bereich wie z. B. bei IB oder Consors (so deren API-Server mitspielt) geben würde, hätte ich nach ausreichendem Test eines vollautomatischen Systems auch keine Angst, es auch vollautomatisch laufen zu lassen, wenn in der Software von CMC noch Dialoge für die harte Beschränkung von automatisierten Handelsaktivitäten eingebaut würden, die unhabhängig vom Programm Priorität besäßen, oder solche Beschränkungen über eine Schnittstelle zu externer Software erzwungen werden könnten. Ohne solche harten Beschränkungen, ist die Beobachtung des Systems sicher angeraten, könnte aber immer noch beim streßfreieren Traden helfen, wenn man im System auch alle Aspekte seiner Tradingidee abbilden könnte.

Dazu fehlt mir allerdings sehr die Möglichkeit, Intermarket-Abhängigkeiten, unterschiedliche Time-Frames und Schnittstellen zu externen Systemen zu benutzen.

Original von xyxyber
Ich nehme mal an, daß diese Software dort aber nicht sehr intensiv genutzt wird und eher als übernommene Beigabe vom Softwarelieferanten mit in das System gelangt ist.

Hallo xyxyber,

ohne streiten zu wollen, liegt ja auch nahe, denn Backtest/Papertrades usw. werden immer direkt mit dem Underlying durchgeführt. Derivate wie CFD, Hebelzerti und Optionsscheine (back)zu testen bringt m. M. nach nichts da der Anbieter sowieso immer den Spread verändern kann bzw. nicht sicher ist ob Du den Kurs auch mit der Stückzahl in der Praxis so bekommst. Ist aber dennoch nett das CMC dies kostenlos anbietet, ich hoffe das beim Testen die tatsächliche Bid/Ask-Spanne von CMC berücksichtigt wird ...

Auf einer Roadshow in 2005 meinten Sie das irgendwann mal aus diesem Modul automatisch (!) Kauf- und Verkauforders anhand von Handelsregeln möglich sein sollen, finde ich etwas gefährlich.

Beste Grüße

Roti

Es könnte sein, daß das Backtesting-Modul bei CMC in der benutzten Form nicht ohne weiteres richtige Resultate liefert, da die zugrunde liegende Basis-Software, die unter prorealtime.com zur Verfügung steht, auf Grund des Symbols selbständig entscheidet, ob die Berechnung wie bei einem Aktiengeschäft oder wie bei einem Future-Geschäft mit Margin erfolgt. Der Nutzer kann diese Einstellung derzeit nicht selber wählen. Egal was beim Kapitalmanagement in beiden Dialog-Tabs eingetragen ist, benutzt das System immer die Daten des Tabs, den es aus dem Symbol abgeleitet hat, bei Future-Symbolen die Abrechnung nach Future-Style, bei Aktien-Symbolen die Abrechnung nach Aktien-Style. Eine reklamierte Einarbeitung einer Wahlmöglichkeit durch den Nutzer zur Entscheidung zwischen unmittelbarem Aktien-Handel oder über CFD ist von prorealtime.com bisher nicht ausgeführt worden, wurde aber vor etwa zwei Monaten zugesagt.

Bei CMC sind alle Symbole im Future-Style zu handeln, also müßte am Kern der Software nichts geändert werden, nur müßten für alle CFD-Symbole in den Daten zur Symbol-Beschreibung die Berechnungen nach dem Future-Style eingestellt werden. Wenn es Symbole gibt, die auch bei CMC fälschlicherweise nach dem Aktien-Style berechnet werden, dann kann das bei CMC sicher ohne größeren Aufwand nachgebessert werden.

Ich habe das Phänomen vor ziemlich langer Zeit auch beobachtet, aber nicht mehr neu überprüft. Vielleicht ist jetzt auch bereits alles ok?

Ansonsten ist die Software dahingehend interessant, daß sie ohne weitere Zusatz-Aufwände gleich bei CMC integriert ist und somit jedem CMC-Kunden sofort ohne weitere Extra-Installation zur Verfügung steht. Ich nehme mal an, daß diese Software dort aber nicht sehr intensiv genutzt wird und eher als übernommene Beigabe vom Softwarelieferanten mit in das System gelangt ist.

@ Hintman

Sie verdient vielleicht noch mal einen weiteren Blick.

Hi,

ich hab das noch nie ausgenutzt, wenn ich da mal ein Auge darauf geworfen habe kann ich dir hoffentlich behilflich sein dabei.