13 błędów przy budowaniu strategii [Backtesting Strategii Inwestycyjnych]

dzień dobry Dzień dobry Witam was serdecznie w kolejnym odcinku mojego vloga po bardzo długiej przerwie ponad dwa miesiące ostatni odcinek opublikowałem na YouTub gdzieś pod koniec czerwca tego roku jak to nagrywam to mamy pierwszą połowę Września także sporo wody w Wiśle upłynęło I to właśnie dobrze tutaj powiedziałem o tej Wiśle bo w międzyczasie przeprowadziłem się z Brukseli do Krakowa chociaż też dla jasności z tą brukselą to nie jest tak że zupełnie już tam odcinam się całkowicie i że nigdy już dla was nie nagram żadnego vloga z parku 50-lecia podczas biegania właśnie w Brukseli ale dobra jeszcze do tego przejdę za chwilę natomiast dzisiejszy odcinek tak tytułem wstępu będzie dość mięsisty Bo staram się żeby chociaż to jest forma vlogowa żeby te odcinki mimo wszystko były bardzo merytoryczne i porozmawiamy sobie o tym jak to jest z weryfikowanie testowaniem czy też jak to się mówi po angielsku back testing inwestycyjnych No siłą rzeczy na danych historycznych danych z przyszłości nie mamy historia to jest wszystko co mamy i wszystko czym możemy się posiłkować ale dla jasności to nie jest też odcinek tylko dla jakichś fraków którzy być może programują albo budują jakieś zaawansowane strategie inwestycyjne tylko również dla takich zwykłych przeciętnych inwestorów jak ja czy ty którzy być może budują chociażby nawet proste portfele pasywne więc powiem jakie pułapki Czech jak uważać No a mówię o tym też dlatego ja tutaj bo siłą rzeczy w 2019 stworzyłem bloga pod tytułem system Trader i ta nazwa system Trader nie jest przypadkowa właśnie od takiego systemowego systematic podejścia do inwestowania czyli opartego na twardych danych też rozwój mojego oprogramowania pod tym samym tytułem czyli system Trader do którego serdecznie zapraszam jeżeli ktoś chce właśnie weryfikować swoje strategie na bazie twardych danych faktów a nie jakichś domysłów No i sam generalnie tą tematyką jeżeli chodzi o inwestowanie takie bazujące na twardych danych to jest No już tak jak sobie policzę na szybko No ponad 15 lat ponad 15 lat zajmuję się tą tematyką tego powiedzmy szeroko pojętego back testing dlatego też myślę że No mam co nieco do powiedzenia okej To tyle tytułem wstępu zaczynamy No dobra ale zanim jeszcze przejdę do tego Meritum tego odcinka to powiem co się działo Podczas tego całego okresu w którym mnie nie było na YouTube po 12 latach mieszkania w Brukseli gdzieś kiedyś tam ponad 12 lat temu wyjechałem do Brukseli na jeden rok No i tak się przeciągnęło do 12 lat więc po tych 12 latach przeprowadzam się do Krakowa tak naprawdę czysto powiedzmy zawodowo to nie zmienia się dla mnie praktycznie nic poza zmianą biurka i poza tym że nie będę na co dzień biegał w parku 50-lecia w Brukseli natomiast sam proces przeprowadzki był na tyle skomplikowany czy na tyle Zajmujący że de facto przez lipiec i sierpień nie nagrałem niczego ta przeprowadzka całkowicie zde organizowała no wszystko co robiłem dotychczas I choć formalnie miałem przez praktycznie lipiec i sierpień przez większość czasu powiedzmy w cudzysłowie urlop No to tak naprawdę no przede wszystkim zajmowałem się prowadzą Chociaż cały czas rozwijały też ogarniają rozwój portalu Atlas ETF i na przykład dla tych z was którzy nie wiedzą to serdecznie zapraszam na pierwszy polski portal Atlas ETF gdzie chociażby pojawiła się taka zakładka pod tytułem dywidendy gdzie możecie sobie sprawdzić jakie dywidendy historycznie dany ETF wypłacał jak to się kształtowało historycznie także jest to bardzo ciekawy Zwłaszcza dla tych z was którzy lubią dywidendy poza tym w wakacje Pojawiła się też cała masa różnych usprawnień na portalu No a w przygotowaniu jeżeli chodzi o atlas ETF dosłownie za kilka tygodni pojawi się seria właściwie taki katalog rankingów ETF takich żywych rankingów ETF Gdzie będą one aktualizowane w czasie rzeczywistym i będziecie mogli na przykład w prosty sposób sprawdzić który ETF wybrać sobie dajmy na to który ma replikować indeks msci All Country World index albo generalnie Jaki wybrać ETF na globalne rynki akcji albo jaki wybrać na przykład na nasdaq czy na przykład na jakiś sektor czy jakiś region czy może jakiś tematyczny także myślę że będzie całkiem sporo fajnych tutaj informacji Materiałów dla was Już za kilka tygodni również niejako na drugim wątku toczą się tutaj prace nad tym żeby wyjść w świat z atlasem ETF żeby po prostu zaprezentować wersję angielską a jeszcze nieco później Mam nadzieję że jeszcze tej jesieni pokażemy coś co No mam nadzieję że będzie takim no wręcz Game changer jeżeli chodzi o to w jaki sposób można pozyskiwać informacje o ETF czy szerzej o inwestowaniu przy pomocy właśnie etfów na razie niech to będzie spowite taką pewną mgiełką niespodzianki ale jak już będę miał więcej konkretów tutaj do zakomunikowania to z pewnością się o tym dowiecie okej To tyle jeżeli chodzi o ten bardzo długi wstęp A teraz już przechodzimy do tych będ Tes przy strategiach jakichkolwiek nawet jeżeli chodzi o testowanie prostego portfela 60 40 60 PR akcji 40 PR obligacji to jak sprawić żeby mieć pewność że to na co spoglądamy ma sens No więc jeżeli chodzi o te błędy czy też pułapki jakie na nas tutaj czyhają przy budowaniu własnych portfeli to pierwszy błąd czy pierwsza pułapka jaką sobie tutaj wynotowane mierne dopasowanie modelu naszej strategii do danych historycznych No mając na podorędziu dane historyczne i mając na podrę komputer to nie jest żadna sztuka żeby zbudować sobie taką strategię i tak ją skomplikować i dodać takie reguły żeby to wszystko pięknie wyglądało ale właśnie no właśnie na danych historycznych ale na danych już z przyszłości Czy w przyszłości generalnie taka strategia nie ma zbyt Wielkich szans na to żeby po prostu zadziałała nawet nie trzeba się specjalnie samemu silić bo dzisiaj sztuczna inteligencja czy generalnie moce komputerów mogą spowodować że tak naprawdę same by nam zbudowały takie strategie które absolutnie Świetnie wyglądają na danych historycznych także overfitting to jest coś czego Powinniśmy unikać dlatego też Najlepszym sposobem na unikanie overfitting jest maksymalne upraszczanie strategii a już przede wszystkim nie szukanie na siłę czegoś co mogłoby ją poprawić dodając jakieś dodatkowe warunki czy z modyfikując nieco logikę takiej strategii tylko po to żeby się okazało że jakimś tam wycinku danych to wszystko fajnie działało I żebyśmy się po prostu nie oszukiwali że znaleźliśmy tutaj jakąś maszynkę do drukowania pieniędzy i kolejny błąd czy kolejna pułapka jaka czych na nas to jest można powiedzieć rozwinięcie tego o czym wcześniej mówiłem czyli Over fittingu czyli tak zwany data snooping bias czyli błąd eksploracji danych jest to bardziej ogólne pojęcie dotyczące tego że mając dane nawet jeżeli nie będziemy nic modyfikować w konkretnie w naszej strategii to możemy dobrać takie dane dla takiego okresu chociażby żeby to wszystko fajnie wyglądało No oczywiście to jest tylko oszukiwanie samego siebie zresztą jest takie fajne powiedzenie katuj dane tak długo aż wyznają ci co zechcesz także pamiętajcie data snooping czyli błąd eksploracji danych to jest coś czego należy się wystrzegać błąd też pułapka numer to jest czyli po polsku gdybyśmy starali się to przetłumaczyć to jest przewidywanie no i tutaj znów Robiąc sobie strategi przy pomocy jakiegoś algorytmu nawet banalnego algorytmu możemy niejako oszukiwać i wykorzystywać dane z przyszłości w trakcie symulacji czyli na przykład jeżeli symuluj coś w roku Powiedzmy 15 to my możemy już sięgnąć doych 201 co normalnie w życiu nie mogłoby mieć szans bytu tak jeżeli mamy rok 2024 no to my nie wiemy co będzie w roku 2025 i nie możemy się posiłkować tu i teraz w naszej strategii danymi z przyszłości No ale o ile w realnym świecie nie jest możliwe żeby coś takiego mogło mieć miejsce o tyle jeżeli chodzi o budowanie strategii jak najbardziej czasami może się zdarzyć tak że nawet nieświadomie będziemy właśnie popełniać ten look Ahead bias czyli to przewidywanie bo nieświadomie czy też po prostu zwykły błąd spowoduje że my w naszej symulacji będziemy sięgać do danych z przyszłości które w momencie jak są symulowane wyniki strategii dajmy na to właśnie w roku 2015 to my nie będziemy mieć świadomości że szukamy sobie na przykład chociażby takie dane jak dajmy na to informacja o zmienności w roku 2016 i to niby nic wielkiego ale to już nam daje informacje których normalnie normalnym świecie byśmy nie mieli do takich danych nigdy dostępu no i coś co może powodować że ten system czy ta strategia będzie wyglądała na papierze Czy w symulacji lepiej no ale niestety to jest tylko i wyłącznie oszukiwanie siebie numer C surviv bi czyli błąd przeżywalności tu z kolei chodzi o to żeby nie korzystać z danych które No że tak powiem wiemy że fajnie się zachowały historycznie podam konkretny przykład gdybyśmy spojrzeli na indeks s&p 500 on został formalnie powołany do życia w roku 1957 od tamtego roku 1957 do końca roku 2021 jak kiedyś sprawdzałem z tych 500 spółek zaledwie około 10 proc spółek przetrwało czyli ponad 90 około proc spółek wypadło z tego indeksu z różnych powodów zbankrutowały zostały przejęte przez inne spółki a również mogło się zdarzyć tak że zostały zwyczajnie wypchnięte z tego indeksu przez inne mocniejsze silniejsze biznesy Mówiąc krótko 90 spółek około nawet ponad wypadło z tego indeksu w tym całym okresie ale gdybyśmy sobie zrobili taką symulację jakiegoś dajmy na to systemu strategii która ma nam robić Stock peaking właśnie z indeksu s&p 500 i wzięli sobie skład obecny tego s&p 500 ale gdybyśmy wiedzieli że właśnie te spółki z roku 1957 przetrwa do dziś i byśmy spoglądali sobie na te spółki tak jak gdyby nigdy nic no to my tym samym będziemy popełniać błąd przeżywalności bo nie będziemy mieć już w portfelu 90 proc spółek które wypadły z tego indeksu dlatego że po prostu zostały wyparte przez inne biznesy jak mówiłem czy po prostu no zniknęły z tego indeksu a nie znikają spółki z indeksu dlatego że im tak świetnie się powodziło tylko dlatego że generalnie raczej było dokładnie odwrotnie więc mo 1957 rok to jest bardzo ekstremalny przypadek ale gdybyśmy sobie nie wiem zrobili symulację za ostatnie 20 lat ale spoglądając na dzisiejszy skład s&p 500 i cofnęli się z tym składem dzisiejszym s&p 500 o 1020 lat wstecz i zrobili tą symulację doboru różnych spółek właśnie z tego dzisiejszego składu No to my byśmy nie wkładali do portfela tych spółek które 10 15 20 lat temu były w tym indeksie ale ich nie ma no i przez to nasza strategia będzie wyglądała po prostu le lepiej Dlatego też Uważajmy na Survivor bias sporo o tym pisałem chociażby w kontekście strategii advance equity momentum którą wykorzystuje na ik linki w opisie do tego filmu numer 5 no to błędne dane historyczne Ileż to błędów widziałem w tak zwanych zwłaszcza darmowych danych i często się to też pojawia że ktoś szuka danych o tym żeby sobie coś tam sprawdzić właśnie jak się działo na rynkach finansowych No i oczywiście najchętniej sprawdzamy dane darmowe i to nie ma nic złego w tym że korzystamy z danych darmowych bo sporo dobrych danych darmowych jest ale jest też sporo śmieci mówiąc zupełnie wprost dlatego też Uważajmy na to jakie dane bierzemy do analizy żeby się nie okazało że będziemy po prostu analizować śmieci Jak to się mówi po angielsku shit in shit out Jeżeli mamy śmieci na wejściu to nie oczekujmy że na wyjściu zrobi się z tego jakiś miód Zresztą jeżeli chodzi o szczególnie dane na przykład z rynku akcji poszczególnych spółek No to miejmy świadomość że takie dane historycznie To nie są tylko ceny ale tam są również zdarzenia korporacyjne są splity są dywidendy jeszcze bardziej skomplikowane może być to w przypadku danych dla kontraktów terminowych gdzie muszą być scalane poszczególne serie więc naprawdę tutaj dzieje się sporo No jeżeli będziemy korzystać ze złych danych No to tak mówię złe dane na wejściu będą złe dane na wyjściu natomiast też Miejmy świadomość tego że niektóre dane dobre dane jakościowo mogą bardzo dużo kosztować przez słowo bardzo dużo kosztować to może to oznaczać nie wiem w polskich złotych nawet dziesiątki tysięcy złotych za dobre jakościowo dane czyli coś co praktycznie raczej się nie zdarza chyba żeby inwestorzy indywidualni kupowali gremialnie dobrze to teraz numer s tak za chwilę mi będzie brakowało tutaj palców u rąk to jest pomijanie dywidend ileż ja to też razy widziałem na przykład porównanie złota do s&p 500 dla długiego okresu gdzie złoto biło indeks s&p 500 czyli spółki amerykańskie tyle że no właśnie ktoś zamiast index s&p 500 Total Return czyli z reinwestowany Mii dywidendami brał po prostu goły indeks cenowy bez dywidend tak zwany spx no i wtedy Fajnie to wychodziło na takim wykresie że złoto faktycznie cudownie wypada na tle akcji amerykańskich ale po dodaniu Ty dywidend jednak okazuje się że złoto tak łatwo w tym porównaniu już z akcjami amerykańskimi nie miało numer 7 To jest brak uwzględniania kosztów wszelakich kosztów właściwie chociażby transakcyjnych w naszych symulacjach a więc wszelkie prowizje poślizgi cenowe sprey przewalutowania czy też koszty innego typu koszty za zarządzanie Czy koszty chociażby takie jak podatki bo podatek może również być postrzegano postrzegany jako koszt numer 8 nieodpowiednia walidacja strategii No czyli Jeżeli mamy dajmy na to dane za okres 20 lat my sobie budujemy jakąś strategię i wykorzystujemy pełne 20 lat do budowania tej strategii No i wszystko jest fajnie tyle że no niestety jak to się mówi w żargonie informatycznym testować będziemy to na produkcji czyli na środowisku produkcyjnym czyli No tam gdzie jak już coś się wydarzy to będzie bolało No i tak samo może być niestety z inwestowaniem że jak sobie Zbudujemy strategię na wszystkich danych jakie mamy dostępne No to będziemy to testować na swoich pieniądzach dlatego też jest coś takiego w budowaniu strategii back testing jak Ins sample czyli dane testowe i Out of sample czyli dane Już nie takie testowe do budowania strategii tylko do jej weryfikowania więc te Ins sample dane To są te dane testowe które umożliwiają nam w ogóle tą pierwszą weryfikację strategii w ogóle jeżeli chodzi o logikę tej strategii ale później żeby zweryfikować czy ta strategia również śmiga na danych których ta strategia nie widziała No to musimy mieć też dane tak zwane Out of sample kolejna pułapka jaka na nas czych to numer 9 i to jest zbyt krótki okres testowania czyli nawet gdybyśmy mieli te dane in sample i Out of sample ale robili to d dla bardzo krótkiego okresu chociażby dajmy na to mamy rynek akcji ktoś kto nie przechodził jeszcze przez coś takiego co się działo w latach 2007 2009 czyli tak zwany Global Financial Crisis to mógłby sobie pomyśleć że ten rynek akcji to jest całkiem przyjemny i Owszem czasami trochę nim polepie troszkę pobuja No ale generalnie spada się zawsze na cztery łapy i jest przyjemnie i tak naprawdę to w ogóle najlepiej jest mieć 100% akcji w portfelu i iolo tak tyle że gdybyśmy się cofnęli nieco dalej wstecz no to się okazuje że od czasu do czasu co kilkanaście a czasami co kilkadziesiąt lat no przechodzą przez rynki takie burze przechodzi przez rynek takie tsunami które zmiata wielu graczy z planszy No i dlatego też No jak budujemy swoją strategię to Starajmy się żeby ona nie była tylko dla bardzo krótkiego okresu i to jeszcze takiego dobrego w cudzysłowie okresu który pokazuje że ta strategia działa tylko Starajmy się też obejmować w naszych symulacjach takie okresy gdzie naprawdę było ciężko takim strategią I zobaczmy na ile ta strategia sobie radziła na ile my jako inwestorzy byśmy sobie radzili przechodząc przez takie turbulencje rynkowe numer 10 to błędne założenie w naszej strategii a właściwie w symulacji No Wyobraźmy sobie coś prostego prosty portfel 6040 portfel pasywny jeżeli sobie włożymy do portfela 60 akcji 40 proc obligacji i spróbujemy sobie zrobić taką symulację i zrobimy to prostą metodą w Excelu Wypisz sobie stopy zwrotu ale nie będziemy robić rebalancing zapomnimy o tym rebalancing to tak naprawdę te wyniki będą No że tak powiem o no cztery litery do rozbicia po prostu no bo w efekcie jak będziemy taką symulację w ten sposób przeprowadzać przez bardzo długi okres to mielibyśmy coś takiego że ten portfel zostanie zdominowany przez akcje Bo nie będziemy robić rebalancing No a zrobienie rebalancing No to wymaga nieco więcej zachodu dlatego też jeżeli my spoglądamy na jakieś wyniki jakiejś nawet prostej strategii jak 6040 to upewnijmy się czy ktoś robił rebalancing jak go robił jakie koszty tam były uwzględniane tak żebyśmy znali wszystkie założenia do symulacji numer 11 pomijanie inflacji to zwłaszcza pomijanie inflacji przy symulacjach które obejmują wiele dekad o ile uwzględnianie inflacji dla krótkiego okresu dajmy na to kilku lat może nawet kilkunastu jeżeli jest okres niewielkiej inflacji to nie jest jakiś specjalny problem ale jeżeli robimy symulację obejmujące dekady to tutaj pomijanie inflacji z tego równania może być cholernym błędem No bo może się okazać że nominalnie nasza strategia nawet całkiem fajnie sobie radzi no ale cóż z tego jeżeli na przykład były okresy w Stanach Zjednoczonych gdzie bony skarbowe czyli najbezpieczniejszy instrument na świecie bez żadnego ryzyka płacił powiedzmy to jest dajmy na to to odpowiednik lokaty w banku płacił rocznie 15 proc no to cóż z tego jeżeli by nawet ktoś na akcjach zarobił 16 proc jeżeli miał przy tym ogromne ryzyko Jak mógł sobie po prostu leżeć brzuchem do góry i mieć 15 proc za nic dlatego też uwzględnianie inflacji w takich długich symulacjach ma bardzo istotne znaczenie No i powoli Zbliżamy się do końca przedostatnia pułapka to jest pomijanie lokalnej waluty No tutaj w szczególności jeżeli chodzi o takie instrumenty które są synonimem bezpieczeństwa jak na przykład obligacje No i ktoś sobie powie obligacje amerykańskie fajnie chronią portfel przed bujaniem ale jeżeli inwestorowi chodziło o to żeby zabezpieczać się właśnie Po przeliczeniu tego portfela do polskiego złotego No to okazuje się że te obligacje nie do końca muszą spełniać tę rolę Zwłaszcza jeżeli tych obligacji w portfelu jest znacząco dużo dlatego też Jeżeli jesteśmy bardzo czuli na to i w jakiej walucie ten portfel jest czy w jakiej walucie będziemy go konsumować na przykład w polskim złotym No to miejmy też tutaj na uwadze to żeby te symulacje przeprowadzać w polskim złotym tutaj są pewne ograniczenia bo i zakres danych zwykle zmniejszy i zakres rynków No ale jeżeli mamy tylko taką możliwość i faktycznie zależy nam na tym żeby na przykład konsumować portfel w polskim złotym to warto też robić pewne symulacje w polskim złotym żeby nie mieć tutaj żadnych zaskoczeń No i wreszcie ostatni błąd czy pułapka jaka tutaj na nas ccha to są po prostu zwyczajne ludzkie błędy w wyliczeniach dosłownie kilka dni temu Czytałem w jednym z blogów w Polsce wyniki strategii różnych No i było tam podane dla rynku akcji amerykańskich dla indeksu s&p 500 że za okres tam już nie pamiętam gdzieś od końca lat 80 do teraz standardowe odchylenie wynosiło 12 proc ja tak się skrobał po głowie Jak to jest możliwe że standardowe odchylenie czyli zmienność takiego portfela to było zaledwie 12 proc jeżeli 12 proc to bardziej dla portfela powiedzmy typu 60 40 50 na 50 czyli portfela w którym mamy już sporo obligacji w tym portfelu a nie same akcje natomiast portfel który ma wypchany pod korek akcje No to zmienność 12 jest niespotykane jest właściwie niemożliwa zwłaszcza dla takiego okresu jak kilka dekad tam było zaprezentowane zwyczajnie osoba która te obliczenia pokazywała popełniła błąd No i teraz O ile s&p 500 dla takiego okresu z kilku dekad ma zmienność standardowe odchylenie rocznych stóp zwrotu nie będę tutaj wchodził w niuanse liczenia tego To jest około 16 czasami nawet więcej no to widzimy że różnica między 12 a 16 jest istotna No i teraz jeżeli my będziemy porównywać to na przykład do czegoś to się nam okaże że s&p 500 to wcale takie zmienne nie jest jeżeli nagle się okazuje że dodając do tego obligacje to w sumie się niewiele zmienia bo będzie zmienność bardzo podobna Tylko dlatego że ktoś nie doszacować dla akcji amerykańskich także bardzo uwaga i uwaga Tym bardziej że bardzo wiele komentarzy było pod tym wpisem ale nikt dosłownie nikt tego nie wychwycił i nie skontrolował no nic To tyle ode mnie na dziś Dziękuję serdecznie za uwagę jeżeli wam się podobało to będę wdzięczny za łapkę w górę oraz za subskrypcję Tego kanału Natomiast ja też obiecuję że niebawem będę starał się wracać do różnych rozgrzebany tematów jak chociażby o manage futures czy Return stacking czy też jeszcze innych tematów które gdzieś tam wam obiecałem czy które się gdzieś tam przewijają w komentarzach życzę wszystkiego dobrego do usłyszenia bye bye