Katselin Waymon AI-kehitystä johtavan Dragomir Anguelovin videon Waymon nykyisestä tekniikasta.
Näin maallikkona se tuntuisi paremmalta kuin se, miten oletan Teslan uuden End2End-arkkitehtuurin toimivan.
Mielestäni Waymon ratkaisu ei tarvitse paljoa koodia, vaan neuroverkot tekevät suurimmat hommat, mutta se on hallittavampi kuin End2End
Toteutus on täynnä Transformer-neuroverkkomalleja, kuten nykyään tuppaa olemaan.
Karkea selitys Transformerista
Transformerin sisääntulossa data (esim. sanat) muutetaan tokeneiksi, joita edustaa moniulotteinen vektori
Opetusvaiheessa nämä vektorit asettuvat opetusdatan mukaan oikeisiin suhteisiin toisiinsa.
Näillä datan välisillä suhteilla voi ennustaa uutta dataa (kuten sanoja, kuvia jne.) tai luokitella niitä
SWFormer, jota käytetään autoa ympäröivän maailman tunnistamiseen. Tuo perustuu Swin transformer-arkkitehtuuriin.
Koska Waymo käyttää myös lidaria, näkyy alla esimerkissä, kuinka se kykenee tunnistamaan yöllä pimeässäkin ympäristönsä objektit tarkkaan
Wayformer perustuu transformeriin. Sillä ennustetaan ympäröivien objektien (agents) liikeradat (trajectories)
Tässä hieman tarkemmassa Wayformer-konseptitason kuvassa Encoderiin, johon LLM:ssä voisi viedä sanoja, viedään nyt liikenteen objektien tietoja, jotka siis muutetaan tokeneiksi, joita edustaa vektori. Näiden välisillä suhteilla ennustetaan liikeradat
Videoilla oli muutakin, mutta tässä keskeisiä.
Tuolla mallilla siis saadaan mielestäni ilman suurta määrää koodia, puhtailla neuroverkkoratkaisuilla toteutettua ratkaisu, jota saattaa olla helpompi hallita ja lisätä turvallisuuteen liittyviä sääntöjä ja integraatioita, kuin puhtaassa End2End-ratkaisussa.
Näin itse ajattelisin.
Kiinnostava seurata Mobileyen, Teslan ja Waymon kehitystä.
Näistä Google(Waymo) on edistynein uusien AI-mallien kehityksessä. mm Transformer on heidän kehittämä.
Mobileye:llä on laaja ymmärrys autonomisesta liikenteestä kokonaisuutena
Teslassa on paljon nuoria AI-kykyjä, jotka voivat tehdä poikkeuksellisia innovaatioita
Videoita löytyy Youtubesta haulla Drago Anguelov Waymo