Epärealistinen osuus backtestissä on se, että salkun ja positiokoon kasvaessa ostettaisiin aika isoja määriä samaa osaketta, ja epäilen että slippagea pitäisi varmaan kasvattaa.
Minulla on mahdollisuus ajaa myös tuo Monte Carlo mutta en ole vielä niin hyvin perillä sen tarkoituksesta että osaisin arvioida millä asetuksilla se pitäisi ajaa, tai osaa tulkita tuloksia. Täytyy tutustua mm. tähän lisää.
Ja tärkeänä tietona tietenkin myös se että kaupat on tehty 100% käteisellä ja marginaalia ei ole testin kaupoissa käytetty.
Riippuu paljolti siitä miten hyvin backtestit on toteutettu. Nopeasti ei kovin hyvää varmuutta ole saatavissa algoritmin hyvyydestä. Ehkä laskisin ensin 10 vuoden tuloksista vaikka kuukausittaiset ylituotot ja näiden keskihajonnan.
Sitten vaan varsinainen testijakso treidauksen osalta käyntiin. Jos backtestitn ylituotto on vaikka 2,0% kuukaudessa ja keskihajonta on 3,0% niin 68% kuukausista pitäisi osua välille (-1,0%, +5%). Tuosta on ihan hyvä lähteä liikkeelle ja antaa osviittaa suoriutumisesta.
Tuottokuvio on vähän tuollainen hömppä yksinkertaistus, jonka avulla on vain tarkoitus havainnollistaa tuottoa. Tässä kaikki havainnot on laitettu peräkkäin suunnilleen aikajärjestyksessä ja sijoitetaan, kun ennuste on yli 0%.
Alla mallia on opetettu vähän enemmän, jonka jälkeen ennusteiden ja ennustevirheen vaihteluväli pienenee merkittävästi. Positiivisia ennusteita on enemmän ja ennusteiden suuntaa ennustetaan vähän tarkemmin.
Ensimmäinen kuvio on lauantailta ja alla oleva tiistailta. Kehityksen suunta on aika samanlainen kuin edellisessä. Vaikuttaa kuitenkin, että jatkossa kehitys hidastuisi.
Ei ollut täysin out-of-sample, mutta osittain kuitenkin. Tulokset on kuitenkin ihan vastaavia kuin testaamani DAX yhtiöiden ennusteet, joita ei ollut käytetty opetuksessa lainkaan.
Y-akselin yksikkö Ennuste, Ennustevirhe ja Suunta oikein kaavioissa on %. Ennustevirhe viimeisessä alimmillaan n. 1,4 prosenttiyksikköä
X-akselilla on kaikki havainnot sortattuna ennusteen perusteella pienimmästä suurimpaan. Yhteensä suunnilleen 100 osaketta * 10 vuotta * 251 päivää/vuosi = 251 000. Käytännössä kuitenkin jonkun verran vähemmän.
Poikkeuksena Tuotossa on suunnilleen aikajärjestys ja alkusalkuksi asetettu 1$, joka kasvaisi tuonne 10^28$.
Ennustetaan toistaiseksi ainoastaan yksittäistä päivää.
Mallin paremetreja on nyt toi 5,8 miljoonaa. Tässä välissä testailin 3,3 miljoonan parametrin mallia, mutta päätin kuitenkin vähän nostaa määrää. Opetuksessa käytettävien tokenien määrää en ole laskenut, mutta kasvatan sitä nyt koko ajan.
Edelleen mennään character-tason tokenisoinnilla, joita on yhteensä 582. Testinä näistä puolet on yhden päivän tuotoille ja toinen puolisko 1-200 päivän tuotoille
Ihan kiinnostavilta nää tulokset näyttää, mutta vaativat kyllä kaveriksi hyvän strategian ja halvat kaupankäyntikustannukset.
Alla muutaman osakkeen pidemmän aikavälin ennusteita. Kuvioissa 150. päivän kohdalla tehdään ennuste seuraavalle 50 päivälle.
Noi on tuossa vähän sarjakuva tyyliin. Seuraavan ruudun ennuste tehdään aina mihin edellisen ruudun ennustejakso loppuu (AMZN 0 → AMZN 1 … → AMZN 5). Viimeisen ruudun ennustejakso päättyy nykyhetkeen.
Melkoiset systeemit rakennetaan pienten marginaalien hyödyntämiseksi.
" XTX Markets
– Ostaa ja myy osakkeita, valuuttoja, velkakirjoja, raaka-aineita ja optioita yli 80 markkinapaikalla.
– Etsii markkinoiden tehottomuudesta johtuvia hyvin pieniä ja vain sekunnin osia kestäviä hintaeroja.
– Sama tuote voi olla eri puolilla maailmaa eri hintainen, ja XTX:n monimutkaiset algoritmit tunnistavat tällaiset tilanteet.
– Yhtiöllä ei ole yhtään ihmismeklaria, vaan kaikki kaupat tekee kone.
– Päivittäinen kaupankäyntisumma on lähes 300 miljardia Yhdysvaltain dollaria.
– Liikevoitto oli vuonna 2022 1,1 miljardia puntaa ja vuonna 2023 835 miljoonaa puntaa. "
Oletko testannut ja saanut hyviä tuloksia GRU layereitä käyttävillä malleilla? Olen käyttänyt muutamissa aikasarjoihin liittyvissä projekteissa ja todennut aika hyväksi.
Eipä ole tullut testailtua aikaisemmin. Niillä näyttäisi tulevan ihan hyviä tuloksia muutaman paperin perusteella, joten vaikuttaa ihan tutustumisen arvoisilta.
RNN:t tai niiden variantit kuten GRU:t ja LTSM:t ovat varmasti ihan passeli ratkaisu, jos esim. opetusdata ja laskentakapasiteetti asettavat rajoituksia. RNN:t olivat kuitenkin sekvenssidatan opetuksen sota-malleja sen reilu kymmenen vuotta ennen transformereita. Siksi löytynee myös muita uudempia malleja paremmin tutkimusta.
Selvää lienee kuitenkin jo nyt se, että transformerilla tai muilla uudemmilla malliarkkitehtuureilla on mahdollisuus oppia sellaisia säännönmukaisuuksia, jota RNN:illä jää mallien yksinkertaisuuden vuoksi oppimatta.
Totta, transformerit mahdollistaa paljon pidemmän ”muistin” ja siten riippuvuudet paljon kaukaisempiin tapahtumiin datassa huomioidaan paremmin. Mikäli datasetti on pieni ja haluaa testata yksinkertaista mallia lyhyille aikasarjoille, niin LSTM/GRU ovat ihan toimivia edelleen. Näistä melko paljon tuoreitakin julkaisuja ongelmissa joihin ne sopivat luontaisesti paremmin. Transformerit parempia, mutta monimutkaisempia toteuttaa.
pohdiskelin, et voiskohan kielimallista olla hyötyä perussijottajille enempi, jos analyysiin pohjautuvaa dataa sais jotenkin kuratoitua ensin? esim jonkun uutis / makro databasen kautta.
vähänniinkuin cursor tekee koodauksessa, mut tää toimis sijotustiedossa.
Cursor toimii kahta kautta erityisen hyvin koodaukseen
Koska se on fine-tunattu massiivisella määrällä koodia nimenomaan koodauksen downstream-taskeihin
Sen voi kytkeä RAGaamaan esim. organisaation omaa code basea
Periaattessa kohdan 2. voisi toteuttaa jonkun frontier-mallin kanssa. Mutta silti ei ole odotettavissa talousanalyysiin yhtä hyviä tuloksia kuin Cursorilla koodaukseen, koska 1. pitäisi tehdä myös siten, että viritetään alla oleva LLM nimenomaan ymmärtämään talousanalyysia geneeristä mallia paremmin.
Yllä oleva on jossain määrin toki spekulaatiota, koska mallista ja sen treenauksesta ei kerrota juuri mitään. Mutta yleiskokemuksen perusteella on oletettavaa, että yllä oleva pitää paikkaansa.
Voi taas olla et noi nykyset mallit ei pääse täyteen potentiaaliin analyysissa, koska 1. niil ei aina oo ajankohtasinta dataa ja 2. sekin data joka niillä on sotkeutuu kohinaan
tähän palatakseni, päätin itseasiassa kokeilla tehdä tommosta mallia just RAGin avulla. Latasin siihen 20 energiasektorin yhtiön 10-K filingia jenkeistä ja saan huomattavasti parempia vastauksia kuin normi gpt:llä, joskaan en läheskään riittävän hyviä. Veikkaan et pystyn jatkokehittää sitä tekemällä vielä niin, että malli pääsee käsiks taulukoihin esim. tase, tuloslaskelma jne. et saadaan ns kovaa dataa vastauksien tueksi. Ehkäpä suurin hyöty tästä tulee siitä, että käyttäjä pääsee kahlaamaan satoja raportteja nopeasti. Jos muitakin kiinnostelee niin värkkään tässä lähiaikoina vielä UI:n tohon niin pääsee sit testailemaan.
Esimerkkinä: kysyin juuri, että kerro Exxon mobilen taseesta. pohjana gpt-4o mutta optimoinnin avulla malli osaa kertoa faktoja paljon tarkemmin ja numeerisemmin.
—Model response—
Exxon Mobil Corp’s balance sheet reflects its financial position and provides insights into its capital structure and financial health. Here are some key elements derived from the provided data:
Current Liabilities:
Total current liabilities, excluding notes and loans payable, have been decreasing over the years from $68,411 million in 2022 to $61,226 million in 2023, and $65,352 million in 2024.
Long-term Liabilities:
Total long-term liabilities, excluding long-term debt, have shown an increase from $56,990 million in 2022 to $60,980 million in 2023, and then a further increase to $75,807 million in 2024.
Equity:
ExxonMobil’s share of equity at the year-end was $195,049 million in 2022, increased to $204,802 million in 2023, and further to $263,705 million in 2024.
The total equity, which includes noncontrolling interests, was $212,538 million in 2023 and increased to $270,606 million in 2024.
Debt:
Long-term debt slightly decreased from $40,559 million in 2022 to $37,483 million in 2023 and further to $36,755 million in 2024.
The total debt figures were $41,193 million in 2022, slightly increasing to $41,573 million in 2023, and remaining fairly stable at $41,710 million in 2024.
Financial Ratios:
The ratio of current assets to current liabilities was 1.41 times in 2022, increased to 1.48 times in 2023, and then slightly decreased to 1.31 times in 2024.
Debt to capital ratio decreased from 16.9% in 2022 to 16.4% in 2023 and further down to 13.4% in 2024.
Net debt to capital stood at 5.4% in 2022, dropped to 4.5% in 2023, and increased to 6.5% in 2024.
Total Capital Employed:
Total capital employed, which is a Non-GAAP measure, increased annually from $238,166 million in 2022 to $248,714 million in 2023, and to $307,489 million in 2024.
Overall, ExxonMobil’s financial position has shown improvements in equity and capital employed over the years, with a stable approach to managing debt levels
Hyvää settiä! Tuohon voisi malliksi ottaa vielä ehkä mieluummin jonkin CoT-mallin (esim. DeepSeek R1, jos vain laskentaresursseja löytyy), jolloin numeerinen analyysi voisi olla vielä syvempää.
Itse olen sukeltamassa edellä keskustellun LLM-avusteisen teknisen analyysin projektiin, jolle @Ripelein tekikin jo proof-of-concept kokeilua.
Ajatuksena seuraava:
Zero-shot ennustaminen, jossa pre-trained mallilla ennustetaan suoraan treidisignaaleja
Osakedatalla treenattu malli treidisignaalien downstream-ennustamiseen
Yksityiskohdat hioutuvat vielä, mutta ajatus on piste-estimaattien sijaan koittaa taikoa jokin jakauma (esim. zero-shotissa eri temperature säädöillä ja custom-mallilla diskretisoimalla hintamuuttujat ja ottamalla vocab-jakauma ennen token-ennustetta). Ajatuksena siis se, että esim. 70% todennäköisyys jollekin estimaatille voisi olla vahvempi signaali kuin vaikka tasajakauma 10 eri piste-estimaatin suhteen. Varmaan sellainen minimissään päivätaso on se, missä toimitaan datarajoitteiden vuoksi.
Projekti tulee viemään vuoden (opinnäytetyö), mutta koitan rapsata välituloksia tänne ajoittain.
Alla on ennustettuja markkina-arvoja 25 'Q1 tulosten julkaisseiden yhtiöiden osalta, joista olen naputellut tuloslaskelman ja taseen lukuja ylös. Rahavirtojen osalta tiedonkeruu on toistaiseksi kesken, mikä voi näkyä joidenkin yhtiöiden ennusteissa.
Ennustemenetelmänä ihan simppeli neuroverkkoihin perustuva malli. Malllin menevät tiedot Liikevaihto, liikevoitto, tulos ennen veroja, tulos, taseen loppusumma, oma pääoma ja nettovelka viimeiseltä vuodelta + tulevalta vuodelta. Tietojen osalta malliin menee lisäksi niiden muutos vuoden taikaiseen nähden.
Aika moni yhtiö, jotka lukujen perusteella näyttävät halvoilta tulevat tässäkin esiin hyvällä potentiaalilla. Minkään näköistä laadullista analyysiä ei ole mukana, joten sitä puolta on tietty hyvä miettiä.
