Tässä hieman lisää mielipiteitä vallihautaan edellisten kommenttien lisäksi.
Käytin tuota avoimen lähdekoodin mallia siksi, kun NVIDIA eikä juuri kukaan end2end-mallin tekijä ole julkaissut tarkkoja speksiä omasta mallista. Tämä varmaan siksi, että kaikki kilpailevat toistensa kanssa.
Teslan mallissa lienee innovaatioita, joita ei haluta kertoa. Koska Tesla ei ole julkaissut tietoja, tässä viitataan lähinnä Wayven tietoihin
Oma maallikkoarvauksen mukaan end2end-järjestelmän kehitys vaatii ainakin nämä 3 steppiä
end2end-perusarkkitehtuurin kehittäminen
Tämä on paljon isompi työ, kuin tuo avoimenkoodin periaatekuva osoittaa. Siitäkin puuttuu paljon yksityiskohtia.
Ratkaisu on oltava sellainen, johon ei tarvitse tehdä isoja periaatteellisia muutoksia
Datan hallinta ja simulointi
Koska end2end-lähestyminen pohjautuu suureen määrään dataa, on siihen liittyvät kokonaisuuden rakentaminen kriittistä.
Esimerkiksi Wayvellä se on vienyt vuosia. Teslahan ei tästäkään tarkkoja tietoja ole julkaissut.
Wayvellä kokonaisuuteen kuuluu mm.
GAIA World model
Ghost Gym simulaattori
PRISM Photorealistinen ympäristön 4D-rakennusmalli (3D+aika)
LINGO tekstin yhdistäminen end2end-malliin eli tekstin kautta tietää, miksi malli tekee mitäkin eli mitä se ajattelee
Tuossa esimerkki PRISM:stä. Eli keinotekoisesti luodaan täysin realistinen maailma ihmisten liikkeinen
Lisäksi Wayvellä on toki myös Teslan Data Enginen kaltainen liikenteessä olevien autojen datan lähettäminen pilveen, opetus ja uusien parametrien lähetys autoon
Lisäksi Wayve käyttää Self Superviced Learning mallia luomaan esikoulutetun mallin, joka ymmärtää hyvin ajoympäristön visuaaliset ja kontekstuaaliset ominaisuudet. Näitä ominaisuuksia käytetään syötteinä end-to-end oppimiseen, mikä vähentää oppimistaakkaa.
Tähän liittyy myös paljon työkaluja.
Mallin opetus ja arkkitehtuurin säätö
Valtava määrä dataa on kaiken edellytys. Sitä ei voi vain lisätä, vaan on edettävä iteratiivisesti kasvattamalla asteittain opetusdatan määrää ja skaalaamalla/muokkaamalla näiden väleissä mallin kokoa/parametreja, arkkitehtuuria ja rautaa
Teslalla on tähän vaiheeseen ilmeisesti mennyt pian 2 vuotta ja vielä ollaa kesken.
Yhteenveto
Vaiheita 1 ja 2 voinee tehdä osin rinnakkain ja itse arvaisin, että vievät minimissään vuoden pari.
Vaihe 3 voi viedä vuosia
Jos joku vaikka GM päättää lähteä tätä uudelleen kehittämään ja ovat 3 vuoden päästä samalla tasolla kuin Tesla nyt, on Tesla silloin edelleen 3 vuotta edellä
Lupailin palata astialle viimeistään mun ja Keisarin betin tarkatusajankohtana, eli tänään. Kahvihuoneen puolelta löytyy tilanne Tesla vs Keisarin isoimmat positiot Oroco & Voxtur. Pahalta näyttää Keisarin kannalta!
Itse Tesla-keskusteluun mulla ei oo paljoa lisättävää. Seison aikaisempien näkemysteni takana. FSD V13 on selvä osoitus että Teslan ratkaisu toimii ja kehitys on kiihtyvää.
Oikeastaan haluaisin kysyä FSD:n epäilijöiltä, että missä kohtaa tulevaisuutta kehitys pysähtyy. Lisäksi @Seinakadun_Keisari ja @everlaastia haluaisin edelleen vastauksen siihen, pidättekö hyviä FSD-ajovideoita feikkeinä.
"Morgan Stanley (NYSE:MS) has revised its price target for Tesla (NASDAQ:TSLA) shares, increasing it to $430 from $400, with a new bull case valuation of $800. Tesla’s advancements in autonomous vehicle (AV) technology and its integration of embodied AI are highlighted as key drivers for the updated valuation.
According to the report, Tesla’s unique combination of expertise in data collection, robotics, energy storage, and AI/compute infrastructure has positioned it as a leader in the emerging autonomous mobility market."
Steve 5 hours ago I drove from Maine to NYC on Friday, leaving at sunrise, and FSD was unavailable for about half the trip because of blinded cameras. How can this system get to the next level without redundant sensors? Doesn’t seem possible.
Tässä se pihvi. Minä en usko että vision-only tulee olemaan koskaan lv5 tasolla, ihan fyysisten rajoitteiden takia.
Mutta kuinka lähellä “unsupervised self driving” on bullien mielestä?
Ashok Elluswamy, the head of FSD at Tesla, has previously stated that for Tesla to enable unsupervised self-driving, Tesla needs to achieve the average in miles per critical intervention “equivalent of human miles between collision,” which stands at 670,000 miles, according to NHTSA.
Therefore, based on this data shared by Musk, Tesla needs to go from 493 miles between disengegament to 670,000 miles between disengagement within the next 5 months.
Sinänsä nämäkin “493 miles” graafit voi ottaa skeptisesti, sillä Tesla ei varsinaisesti jaa tarkempaa dataa. Ja olkoonkin totta, niin maalitolppa näyttää silti olevan todella kaukana.
Tämä Sijoittaja-alokkaan kuva pistää kyllä taas miettimään …
Itsellä Teslassa kiinni taas tälläkin hetkellä koko pelisalkku ja hyvin on toistaiseksi mennyt, mutta onhan tuo market cap ihan valtava! Mutta onko perusteltu?
Toisaalta tulevaisuus ei todellakaan ole perinteisessä autoteollisuudessa. Seuraavan 5-10 vuoden aikana tapahtuu varmasti merkittävää rakenneuudistusta alalla, joka näyttäytyy jo euroopan perinteisillä tehtailla.
Graafi oli kuitenkin väärennetty. Community trackerin pitäjä kommentoi:
I’m not sure how you calculated this, but I’m seeing a different result. Also, I don’t have this chart on the actual tracker, yet you used the same color scheme and wording to make it appear the same.
Kysymys ai-asiantuntijoille: eikö viimeiset desimaalit todellisuudessa ole eksponentiaalisen vaikea saavuttaa, päin vastoin mitä Musk antaa ymmärtää.
Erittäin vaikeaa nähdä tässä muuta kuin suoranaista valehtelua Muskilta. Luulisi heillä olevan sisäistä dataa, joka ei tue Muskin repostin väärennettyjä lukuja
On mielestäni hiukan provosoivaa sanoa, että kehitys pysähtyy - ainakin, jos tarkoitetaan kuvasi kaltaista tilannetta, jossa kehitys pysähtyy lopullisesti. Kuitenkin tilanne on mielestäni sen kaltainen, että on hyvin vaikea ennustaa, missä määrin ja miten pitkäksi ajaksi ajaudutaan jonkinlaiseen umpikujaan (kehityskäyrän tasanteelle) tilanteessa, jossa ratkaisua pitäisi pystyä parantamaan tietynlaisen corner case -joukon osalta tai viemään joidenkin asioiden suhteen uudelle tasolle suhteessa vanhaan versioon.
François Chollet kirjoittaa o3 -mallien menestyksestä ARC Prize benchmarkeissa seuraavaa:
OpenAI’s new o3 system - trained on the ARC-AGI-1 Public Training set - has scored a breakthrough 75.7% on the Semi-Private Evaluation set at our stated public leaderboard $10k compute limit. A high-compute (172x) o3 configuration scored 87.5%.
This is a surprising and important step-function increase in AI capabilities, showing novel task adaptation ability never seen before in the GPT-family models. For context, ARC-AGI-1 took 4 years to go from 0% with GPT-3 in 2020 to 5% in 2024 with GPT-4o. All intuition about AI capabilities will need to get updated for o3.
…
o3’s improvement over the GPT series proves that architecture is everything. You couldn’t throw more compute at GPT-4 and get these results. Simply scaling up the things we were doing from 2019 to 2023 – take the same architecture, train a bigger version on more data – is not enough. Further progress is about new ideas.
Tämä on mielestäni se iso epävarmuus, joka tilanteeseen liittyy. Eikä pelkästään FSD:n osalta vaan AI-kehitykseen muutenkin. Jos nykyinen ratkaisu ei riitä, niin parempi ratkaisu ei (todennäköisesti) ole (pelkästään) se, että heitetään ydinvoimalan vieressä olevaan varastohalliin 100 000 GPU:ta lisää, kasvatetaan mallin parametrien määrää N-kertaiseksi ja kerätään muutama miljardi ajokilometria lisää.
Lopulta kyse on R&D-ongelmasta, jossa joku nopeasti ajatellen yksinkertaisen tuntuinen asia voi vaatia sen, että käytännössä mallin arkkitehtuuria ja toimintaa ravistellaan isosti uusiksi. Tällaisen ongelman ratkeamisen ennustaminen kalenterissa on äärimmäisen vaikeaa ja mielestäni se näkyy juuri Teslan / Muskin aiemmissa ulostuloissa FSD:hen liittyen. Kun näkee jotain tarpeeksi sinnepäin toimivaa, niin on helppo ekstrapoloida mutkat suoriksi ja ennustaa menestystä lähiajoille. Piru on silti kuitenkin niissä yksityiskohdissa, kun huomataan, että ei tämä perkele tästä skaalaamalla lähtenytkään. Vuodet vierivät kalenterissa ja hiukset harmaantuvat, kun ratkaisua ei meinaa löytyä. Ja sitten joku uudenlainen näkökulma / ratkaisu saattaa viedä asiaa nopeasti ison harppauksen eteenpäin, kuten tuo ARC Prize -esimerkki väkevästi osoittaa.
En nyt vielä olisi kovin huolissani kun tilanne on se että noin vuoden sisään on hypätty ensin V11 - > V12 eli täysin uudenlaiseen lähestymistapaan ja sen jälkeen oletettavasti jatkettu sillä uralla lisäten dataa ja laskentakapasiteettia ja tehty taas selkeä hyppäys V12 - > V13. Nämä kehitykset on jokainen voinut todeta seuraamalla testaajien palautteita.
Ei siis mitään viitteitä siitä että kehitys olisi pysähtymässä tai edes hidastumassa. Mielenkiintoista nähdä miten kauan V14 julkaisuun vielä menee ja minkälainen askel sen kanssa otetaan.
Analogisen rinnastuksen (mahdollisesti) virheellisestä ekstrapoloinnista tarjoaa erinomaisesti tämä transformereiden mahdollistama generatiivisen tekoälyn kehitys, jota ARC Price esimerkki osaltaan kuvastaa. 2020 generatiivisen tekoälyn kyvyt olivat ehkä alakoululaisen tasolla, 2022 oltiin jo yläastelaisen tasolla ja 2024 hätyyteltiin jo PhD-osaamistasoa. Tämä on saanut monet ekstrapoloimaan (hyvin todennäköisesti virheellisesti), että Artificial Superhuman Intelligencehän on täällä 1-2 vuoden sisällä, vaikka totuus on se, että aika vahva konsensus tekoälytutkijoidenkin keskuudessa on, ettei transformerit vie meitä ASI:in välttämättä ollenkaan. Tarvitaan täysin uusia läpimurtoratkaisuja.
On enemmän kuin mahdollista, että vastaavasti ekstrapoloimalla hyppyjä V11 → V12 → V13 ei voida tehdä mitään päätelmää LVL4/5 autonomian saavuttamisesta.
Teslan AI-kehityksen osalta sijoittajalle iso haaste on se, että yhtiön AI R&D on käytännössä ihan täysin musta laatikko. Joutuu olemaan täysin Muskin viestin varassa. Yleisen tekoälytutkimuksen (joka ei vie FSD-domania välttämättä eteenpäin juuri ollenkaan) osalta sentään yksityistenkin yhtiöiden tekemä tutkimus (mm. Meta, Microsoft, Anthropic, Mistral, Nvidia ja jopa OpenAI) on vielä suhteellisen avointa ja ainakin tekoälyyn perehtyneelle on mahdollista arvioida, vastaako yhtiöiden kertomat näkemykset AI R&D:stä omia arvioita.
Näin juuri. Kyseessä ei ole välttämättä mitenkään lineaarisesti etenevä “ojankaivuuprojekti” tai perinteinen ohjelmistoprojekti, joka voidaan toteuttaa pala kerrallaan edes osapuilleen ennalta arvioidussa aikataulussa. Kyse on jossain mielessä enemmänkin tutkimusprojektista, jossa useamman vaiheen tuloksena voi olla se, että pitää tutkia lisää ennen kuin isoja läpimurtoja jossain vaiheessa saavutetaan.
Vaikeus on myös siinä, että oikeasti ei kai tiedetä, miten haastavaa level 5 FSD:n ratkaiseminen on verrattuna esimerkiksi AGI:n ratkaisemiseen. Onko lopulta ehkä niin, että level 5 FSD:n ratkaiseminen ei merkittävällä fundamentaalilla tavalla eroa AGI:n ratkaisemisesta? Konteksti on toki FSD:n tapauksessa rajatumpi, mutta vaatiiko täysi autonomia ja kaikenlaisista poikkeavista yllättävistä tilanteista selviäminen kuitenkin sen kaltaista ymmärrystä ympäröivästä maailmasta, liikenteestä ja ihmisistä, että se merkittävässä määrin vastaa jo jonkinlaista AGI:ta?
Tämä asia lopulta selviää vasta sitten, jos/kun jossain vaiheessa level 5 FSD ja AGI on saatu aikaan.
Puhe level 5:tä tai AGI:sta on mielestäni aika turhaa vielä tässä vaiheessa sillä Teslalle pitäisi riittää FSD:n suorituskyvyn osalta vastaava level 4 kuin Waymollakin. Auton ei tarvitse selviytyä autonomisesti joka ikisestä tilanteesta vaan teleoperaattori voi auttaa niin kuin Waymokin toimii. Tällainen taso on jo osoitettu mahdolliseksi ja toimivaksi ratkaisuksi. Kyse on vain siitä milloin sillä tasolla ollaan.
Sen jälkeen pitäisi olla mahdollista voittaa markkinoita pienemmillä kustannuksilla ja skaalausnopeudella sekä jatkaa softan kehitystä kohti täyttä autonomiaa. Täydellinen on hyvän pahin vihollinen!
Toivottavasti kuitenkin AfD:n ajama ydinvoima saa kannatusta Saksassa kuten Muskin haastattelussa puhuttiin. FSD:n jenkkiregulaatio, Meksikon tullimääräykset, Saksan ympäristöregulaatio ja huippuosaajien viisumirajoitukset ovat Muskin bisneksien ytimessä, joten hyvä sauhuta lähellä pääkallopaikkoja.
Kiinassa nämä puheet eivät vaikuta ainakaan myyntiä heikentävästi. Ensimmäisenä pre-order-päivänä Juniperia varattiin jo kuukauden myynnin verran.
Ymmärsinkö oikein, että joku palstalainen oli täällä sellaisessa ymmärryksessä, että kehitys olisi jotenkin hidastumassa? Kuulostaa kovin oudolta, sillä todellinen kehityshän on päinvastoin kiihtyvää. Suosittelen lämpimästi perehtymistä asiaan - ettei vain sen vuoksi olisi sijoittamatta Teslaan
Yllä taidettiin lähinnä muistuttaa siitä, että lineaarisesti ekstrapoloimalla kehitysaskeleita v11, v12 ja v13 välillä, ei voida vetää johtopäätöstä siitä, että lisäämällä vain dataa ja laskentaa (ns. hyödyntämällä neural scaling lakeja) päästään varmuudella Teslan tavoittelemaan Level 4 tai jopa Level 5 -autonomiaan.
Lisäksi kannattaa muistaa se, että vaikka onkin positiivista, että highway disengagementit vähenevät, corner caset ovat ne level 3+ autonomian todellinen haaste. Motariajamisen kehityksen on syytäkin jatkua eksponentiaalisena, koska se oletettavasti parantaa mallia corner-tapausten osalta mallia vähenevällä hyödyllä.
Kuten myös yllä todettiin, syvällinen perehtyminen on suhteellisen haastavaa, sillä Tesla ei juuri avaa tekoälykehitystään. Sieltä tulee lähinnä hajanaisia datapisteitä, joista on aivan mahdotonta tehdä ensimmäistäkään valistunutta arvausta siitä, millaisia läpimurtoja on tehty, missä mahdolliset pullonkaulat vielä ovat ja mikä on skaalauspotentiaali ja sen reunaehdot tulevaisuuteen.
Perehtyisin ainakin itse enemmän kuin mielelläni Teslan mallin teknisiin yksityiskohtiin, mutta etsinnöistä huolimatta tietoa tärkeistä yksityiskohdista (alkaen mallin neuroverkkototeutuksen perusarkkitehtuurista) ei vain ole saatavilla.
Vaikka toivon että autojen autonomia yleistyy mahdollisimman pian on tätä nykyistä hypeä saati odotettua kehitysvauhtia vaikea ostaa. Esimerkiksi junissa täyttä automaatiota (ei siis minkään tason autonomiaa vaan tiukasti keskusjohdettua automaattista liikennöintijärjestelmää) on kehitetty vuodesta 1920 alkaen. Ensimmäiset yleisille radoille suunnitellut järjestelmät alkavat juuri nyt ilmestyä markkinoille. Junille tuo haaste on selkeästi kertaluokkaa pienempi kuin autoille, koska muuttujia on kiskoilla niin paljon vähemmän. Täysi kunnioitus Teslalle kunnianhimoisesta lähestymisestä tähän, mutta vaikea on nähdä autonomiaan perustuvaa lvl4 järjestelmää ilmestymässä käyttöön vielä tällä vuosikymmenellä.
