Strategiat eivät tuota kuin tietynlaisissa olosuhteissa. Esimerkiksi kahden liukuvan keskiarvon ylityksistä syntyvä trendi–systeemin hyvyys perustuu yleensä normaalia suurempaan kurssien laskuun tai nousuun ei siihen, että systeemi tuottaisi. Tällä systeemillä pitää käyttää kriteerinä sen ennustevoimaa kurssien laskujen tai nousujen suhteen.

Olen seurannut varsin paljon Internet-keskustelua. Edellisessä finanssikriisissä keinottelijat, joiden treidausjärjestelmät olivat tuottoisia laskuissa, kuvittelivat, että heidän järjestelmänsä ovat tuottoisia tai ennustevoimaisia. Samoin oli 1990–luvun lopulla teknobuumissa kun monilla oli strategiana osallistua kaikkiin osakeanteihin ja heillä oli suunnitelmana myydä sitten jonkun ajan päästä osakkeet hyvällä voitolla pois. Kummallakaan strategialla ei ollut ennustevoimaa he vain arvailivat markkinan suuntaa sattumalta. Kun kurssit vaihtoivat suuntaan, näiden sijoittajien usko systeemiinsä oli sitä suurempi mitä pidempään he olivat menestyneet sattumalta aikaisemmin, niin sitä suuremmat tappiot he onnistuivat lopulta tekemään. Aivan sama pätee asuntosijoituksiin, mitkä ovat nyt olleet pitkään tuottoisia, kun markkinaolosuhteet kääntyvät ne kääntyvät myös tappiollisiksi.

Mutkikkaammilla strategioilla on useasti vaikea sanoa millaisissa olosuhteissa ne ovat tappiollisia, varsinkin jos optimoit systeemiäsi, niin se voi näyttää hyvin tuottoisalta vaikka kyseessä on vain pitkälti curve fittingiin perustuva ilmiö. Näitä ilmiöitä löytämään on kehitetty nk. walk forward testausstrategia. Tässä menetelmässä pilkotaan testattava aika pienempiin jaksoihin ja verrataan miten systeemi toimii eri aikoina. Monet strategian kehittelijät sanovat, että heidän systeemi on itseohjautuva tai siinä ei ole muuttujia. Tämä tarkoittaa yleensä vain sitä, että systeemi katsoo vaikka 100 päivän aikana arvopapereiden hintojen suhteita ja tekee niistä joitain johtopäätöksiä. Näitä systeemejä pitää ennen kaikkea tutkia backtestausaineistoa pilkoten. Jos yksinkertaisesti ajattelet, että startegia ottaa long- tai short-näkemyksen osakkeesta, voit detrendata osakkeen pienemmillä jaksoilla ja tutkia tuottaako strategia tämän ylitse. Jos ei tuota, niin strategiaa pitää arvioida sen kyvyllä ennustaa nousuja tai laskuja ei tuottoa!