Smart Eye - King of automotive’s Interior Sensing AI?

Eivätkö nämä DW:t ole todiste tuotteen kaupallistamisesta ja kaupallisesta potentiaalista? Tässä pitänee ymmärtää että tuotesykli on sangen pitkä ennen kuin auto tulee tuotantolinjasta ulos kuluttaja-asiakkaalle (mikä korreloi suoraan Smartin liikevaihtoon ja tulokseen).

7 tykkäystä

”Miksi yhtiölle pitäisi antaa aikaa suorittaa?”

Tällaisen kysymyksen voisi helposti johtaa päivän keskustelusta. Laitan tähän mieleen nousevia seikkoja, miksi itse olen sitonut käteni ja haluan katsoa minimissään 2022-2023… mieluiten kuitenkin tappiin asti.

  • EU lainsäädäntö. Tämä velvoittaa. Tier2-toimijoilta on kuultu, että tämän tultua voimaan lähtivät OEM:t aika livakasti liikkeelle hankintaprosesseihin. Seurauksena jo se, että 2022 alkaen DMS tulee olemaan entistä enemmän standardituote uusissa automalleissa. Vasta pieni osa tuon vuoden automalleista, mutta selkeästi jo nyt nähdään etukäteen DMS-tekniikan yleistymistä ensi vuonna. Lippulaivamalleja on jo nähty tänä vuonna.

  • Total Adressable Market. DMS:lle kokonaismarkkina on luokkaa 3.5mrd €. Se on aivan liian pieni niche, että Microsofteja tai vastaavia jättejä kiinnostaisi lähteä kehittämään omia algoritmejaan automotive-speciaaliksi. Panos-tuotos ei ole jäteille kannattava. Sen sijaan pienille DMS-tier 2 toimijoille TAM on valtava. Markkinoilla menestyvät avaintoimijat pystyvät moninkertaistamaan liikevaihtonsa helposti.

  • Dual Sourcing & kilpailukenttä. Nykytietojen valossa lähes kaikki isot OEM:t tulevat pyrkimään dual sourcingiin. He eivät tule jättämään asioita yhden kortin varaan tällaisessa niche-tekniikassa, jota laki heiltä velvoittaa. Lisäksi tiedetään, että varteenotettavia toimijoita markkinoilla on suurin piirtein 3-4 kpl, joista kaksi erottuu selvästi markkinajohtajina. Tätä tuntuvat sanovan niin autoyhtiön edustaja kuin markkina-analyytikot sekä Tier-2 toimijat itse. Samalla sekä uhka, että mahdollisuus. Jos olet toinen avainpelaaja markkinalla, on vähän vaikea nähdä ettetkö voisi saada 30-40% DMS-markkinasta.

  • Teknologia. Kamera-DMS:lle ei ole löytynyt kilpailevaa teknologiaa, jolla lain vaatimus voidaan täyttää. Lisäksi kilpailevan teknologian osalta DMS-juna meni jo. Eivät kerkeä enää oikein kehittää, verifioida ja validoida dataansa kun isoimmat toimijat ovat jo kilpailuttamassa toimittajia. Seuraus: Tiedämme, että arviolta 18-19 kpl TOP-20 OEM toimittajasta on hankkimassa camera based DMS. Esimerkiksi VW-konserni parhaillaan vuosille 2024-2027. Kameratekniikassa on myös monia muita tarpeellisia soveltamiskohteita, kuin pakollinen DMS: AR-näytöt, 3D-efektit, älykkäät ohjaustoiminnot, gesturet jne jne.

  • Lisäksi nämä optiot USA säädännöstä, Euro NCAP antaa osaltaan lisäö vauhditusta jne.

Keississä on siis moni asia ”isossa kuvassa” kohdallaan. Jätin tästä tietoisesti OMS:n kokonaan pois. OMS on valtava lisäoptio - joskin todella paljon kilpaillumpi sellainen - vuosista 2025-2026 alkaen

107 tykkäystä

Miten hyviä kamera-DMS:t oikeasti ovat käytössä, ottaen huomioon erilaiset kasvot, silmäluomet, kaihit, lasit ja eri valaistusolosuhteet?
Milloin ne ovat niin hyviä, että autossa ei tarvita DMS-OFF -nappulaa? Jos on pakottava lainsäädäntö, saako tuon kytkeä pois? Pelkään vaan sitä, että parin vuoden päästä lainsäädäntöä lykätään reilusti tai lievennetään, koska ei se ollutkaan ihan niin hyvä vielä.
Onko jollain ketjussa tällainen jo autossaan, tai koeajanut?

Softa pelittää hyvin, hakutoiminnolla varmasti löydät relevanttia keskustelua manitsemistasi asioista.

Design winnejä ei voiteta helposti, vaan niitä edeltää aina 1-3 vuotta kehitystyötä OEM:n ja Tier1:sen kanssa.

2 tykkäystä

Joo olen kyllä seurannut tätä ketjua melko pitkään ja omistanut firmaa jonkin aikaakin. Toki ketju on pitkä ja olen varmaan skipannut jotain. En keksi hyvää hakusanaa.
Mulla on vähän omakohtaista kokemusta kuvantunnistusohjelmoinnista ja myös silmänliikekameroista, mm käynyt Tobiin pääkonttorilla keskustelemassa tarvittavista hw/sw-muutoksista yhteen sovellukseen, kun perussysteemit eivät olleet tasan sopivia. Näissä eye trackereissa pari vuotta sitten iso haaste oli miten saada kalibroimatta hyvälaatuista dataa ulos niin että se olisi toimisi koko populaatiossa, erityisesti ikäihmiset ja joidenkin sairauksien vuoksi vaikeasti mitattavat.
Niinpä mielessä pyörii tällä taustalla, että mitenkähän hyvin ne sitten ihan oikeasti toimii kaikilla kuskeilla, joilla ajokortti on.
Toimiiko 90, 99 vai 99.999% kuskeilla kaikissa tilanteissa hyvin niin, että turvallisuus lisääntyy, mutta ärsytystä ei tule.

7 tykkäystä

Kenties jotain käsitystä saat Chalmers Universityn master thesiseistä, jotka SmartEye on tilannut. Niitä on muutamia olemassa, ainakin 4-5 kpl. Tässä vaikka yksi vuodelta 2015, vaikkakin:

  • Face ID on vähän eri asia kuin eye gaze vectoring käsittääkseni
  • työ on 6 vuotta vanha eli algot ovat kehittyneet huomattavasti Smartin itsensä mukaan.

Conclusions kpl 6.

https://odr.chalmers.se/handle/20.500.12380/212358

Sitten toinen melko merkittävä tekijä on kameran asemointi DMS-mielessä. Steering wheel/infotainment on paras yhdelle kameralle. Mitä vinommasta sitten yhdellä kameralla kuvataan sen vähemmän tarkkaa eye gaze vectoring on.

Esimerkki: VW konserni kilpailuttaa vuosille 2024-2027 ja haluaa hoitaa yhdellä kameralla DMS+OMS asentamalla sen peräpeilin ylle/lähelle. Ei ole läheskään optimipaikka DMS:lle, mutta lienee ”välttävä”. OMS:lle tuo on paremmin sopiva paikka. On kuitenkin parempi (osakkeenomistajille ja liikenneturvallisuudelle) että on edes ”kohtalaiseti toimivia järjestelmiä” laajalti autoissa käytöissä kuin vain muutama premium-konfiguraatio muutamassa autossa… tästä euro NCAP edustaja kommentoi hyvin Affectivan podissa (linkki aikaisemmin ketjussa).

Yksi muuttuja lisää on kameroiden lukumäärä. Optimi olisi varmaan useampi kamera, joista steering colum DMS 1kpl ja loput OMS yms. (Suomeksi: SmartEye + Affectiva = :gem:)

Esimerkki 2: Volvo tulee käyttämään puolestaan kahta A-pilareihin asennettua kameraa DMS-tarkoituksessa. Tuon vahvuus on varmasti että vaikka kuski katsoisi sivupeileihin niin gaze vectoring säilyy tarkkana vs. yhden kameran steering column installaatio. Yhden kameran steering column installaation tilanteessa luotettavuuden kannalta ylivoimaisesti hankalin hetki on kun kuljettaja katsoo sivuikkunoita.

Kannattaa lukea Smartin oma white paper. Olennaista on, että järjestelmän tekoäly tunnistaa itse tilanteet joissa gaze vectoringin luotettavuus on kärsinyt riittävästi —> järjestelmä voidaan konfiguroida sellaiseksi ettei se ainakaan tuossa tilanteessa anna varoitussignaaleja ECU:lle / ADAS:lle. Eli silloin kun varoitussignaaleja annetaan tulee olla myös erittäin varma siitä, että tunnistus on tehty oikein.

Sitten tietysti myös Hw-konfiguraatio ja optical path vaikuttaa luotettavuuteen. Uskoisin itse että HW-puolella kaikilla semiconductor yhtiöillä on hyviä valmiita tuotteita (nxp, renesas, ti, nvidia jne). Colin kirjoittaa tästä paljon ja mainostaa Seeingin osaamista/tuotteita.

Yksi opinnäytetyö käsitteli mm. millaisiin lohkoihin katseenseuranta algoritmi kannattaa jakaa. Smartilla niitä lohkoja on noin 10 kpl, esim. Peräpeili, tuulilasi vasen/oikea, sivuikkuna vasen/oikea, sivupeili vasen/oikea, infotainment, mittaristo ja ”muu alue”. Ps. Olin näkevinäni saman lohkojaon Nvidian tammikuisessa Drive- alustan DMS-videossa :stuck_out_tongue_winking_eye: sama video, jossa oli myös se Emotion ID mukana…

Tässä tajunnan virtana päällimmäisiä mietteitä näin maallikkona :man_shrugging:

30 tykkäystä

Kiitos @timontti
Face ID on joo eri asia kuin eye gaze vectoring :slight_smile: - aika paljon kyllä mm. iPhonen Face ID:hen jo luotetaan, vaikkapa pankkisoftiin pääsee sisälle sillä. Toki, se on erikseen opetettu, mutta silti saa puhelimen auki vaikka on kesäparta, hammasharja suussa tai mitkä vaan silmälasit päässä. Enkä vaimon puhelimeen pääse käsiksi, jotta jotain se teknologia osaa tunnistaa.
Ja se, että mitataanko silmämunan asentoa verkkokalvon heijastuksista, vai riittääkö tarkkuudeksi pupillin erottaminen valkuaisesta ja pään asennon suurinpiirtein arvioiminen. DMS-käytössä ehkä voisi riittää kyllä.

Kameran asemointi katseen suunnan hakemiseen on tosiaankin tärkeä juttu. Hieman alaviistosta olisi paras. En oikein käsitä, miten taustapeilistä käsin tuo voisi toimia muuten kuin pelkästään pään asentoa ja kasvoja tutkimalla, koska lippalakit ja Leningrad Cowboys -tyyliset otsatukat - ehkä vähän lyhyemmätkin tupeet - olisi aika mahdottomia kasvojen analyysin kannalta. Toki, jälleen, pelkkä pään asennon tunnistus voisi riittää, yhdistettynä johonkin muuhun.
Silmämunan asennon mittaaminen yläviistosta feilaa jo siihen, että monilla erityisesti vanhemmilla miehillä yläluomi alkaa sen verran roikkua, että se peittää iriksen ja pupillin tehokkaasti.
Autossa katseen suunnan mittauksen voisi mahdollisesti “autokalibroida”, kun kuski koskettaa jotain vaikka radion tai ilmastoinnin hanikkaa jonka löytämisessä hyvin todennäköisesti pitää katsoa hetken sinne päin.

Tämä on ehdoton edellytys. Mutta mitä sitten tehdään, jos vaikka puoleen minuuttiin ei varmaa dataa saada? Ehkä automaattiohjaukset tai ohjausavut tippuu pois - tai vaarallista ehkä sekin on - jossain tilanteessa auto pysäytetään tien laitaan? Vai annetaanko vain nalkuttavaa ding-dingiä kaiuttimista, jonka saa napista kuitattua ja matka jatkuu?

Tämä varmaankin näin ainakin jos silmämunan suuntaa mitataan. Kasvojen suunnan nyt varmaankin voi kuvankäsittelyllä nähdä silloinkin, tai ainakin pään asennon. Esim jos on oletettavaa, että kuljettaja vilkaisee taustapeiliin, niin se voi olla ihan ok kalibrointipiste. Kuljettajan ei kai muuten ole toivottavaa pitkäaikaisesti katsoa sivuikkunasta.
Mutta siis jos tämä VW:n taso riittää, että suurinpiirtein ollaan hereillä - ja ehkä se voisi riittää - niin onko Smart Eyen gaze-tracking-teknologiat over-kill? Eihän tarvita tarkkaa katseen vektoria, kuten joissain muissa sovelluksissa, vaan tarvitaan kaikille sopiva vireystilan mittaus, oli stetson päässä tai ei. Tähän ehkä juuri tuo Affectiva tuo mahdollisuuden jättää tarjous.
Selasin pikaisesti noita mainitsemiasi opinnäytetöitä ja white papereita, myös tuon, missä tuota lohkojakoa käytettiin.
Niissä ei kyllä tähän luotettavuusasiaan, tai itse asiassa käytettävyysasiaan, siis in practice, isoilla massoilla, tullut juurikaan valaistusta.
Ois kyllä kiva kuulla käytännön kokemuksia kuskeilta, mutta tuskin autovalmistajat tai algotoimittajatkaan niitä julkisuuteen laittaa.

Edit. Niin ja sitten vielä se ajo-oikeus (eli ajokortti) vs DMS. Aikamoisia tapauksia saa ajokortin. Ajokortin poisottaminen on iso asia, ihmisoikeuksien rajoittaimista lähinnä. Monelle, vaikka yksinelävälle vanhukselle, ajokortin poisotto suoraan minimoi sosiaaliset kontaktit ja pienentää mahdollisuuksia huolehtia itsestään. Ajokortin poisotto myös ennustaa kuolemaa aika hyvin (muistan jonkun tutkimuksen asiasta). Mitenkähän DMS:t suhtautuu näihin ääritapauksiin :thinking:

9 tykkäystä

Kyllä käsittääkseni lainsäädäntö vaatii sekä distraction että drowsiness. Kuljettaja voi olla virkeä, mutta ei seuraa lainkaan katsellaan liikennettä… jolloin pitää olla jonkinlainen eye gaze vector. Mikrounen kannalta myös esim. silmäluomen sulkeutumisnopeus on keskeinen faktori, joka pitää pystyä mittaamaan. Tämä nyt omia käsityksiä lukemisen perusteella jne.

Tämä onkin oma juttunsa. Suomessa on arviolta 20 tuhatta näkövammaiseksi / sokeaksi luokiteltevaa kuljettajaa. Luin, että määritelmä olisi pystyykö näkemään yhtä metriä pidemmälle. Meillä on siis käytännössä jokaisella kylällä kuljettajia, jotka eivät näe tuulilasiaan pidemmälle kunnolla.

Silmätaudeista ym. en osaa sanoa, että miten vaikuttaa

6 tykkäystä

Smarteye.se taustavideoihin on ilmeisesti lisätty(?) mersun konseptiauto F-015 :thinking:

Tämä onkin mielenkiintoista, koska viimeksi SmartEye on ollut mersun suhteen aktiivinen juurikin 2015 tuolla twiitillään.

edit: näköjään lambo-video siellä myös vielä pyörii myös

lisäys2: Näköjään tuo video on vain tällä tietyllä sivulla. Onhan se voinut olla siellä kokoajan, en vain ole ajatellut

https://smarteye.se/automotive-solutions/

17 tykkäystä

Tämän mukaan Level3 löytyisi

Hauskaa, että Lynk & Co kotipaikka on Gothenburg, Ruotsi. Sama kaupunki, kuin Smart Eye Ab.

29 tykkäystä

Tämä on sangen mielenkiintoinen tapaus seurattavaksi.

6 tykkäystä

Todellakin! Eikös smartille ollut povattu DW Geelyltä? Qualcomm taas muistaakseni oli kimpassa Veoneerin kanssa ja heillä taas yhteistyötä Seeingin kanssa, mutta ei yksinoikeudella. Menee mielenkiintoiseksi :smile:

2 tykkäystä

http://corp.smarteye.se/en/press/press-releases/press-detail/?slug=smart-eye-completes-acquisition-of-affectiva

Smart Eye Completes Acquisition of Affectiva

23 juni 2021 15:00:00

Combined company will solidify leadership in Driver Monitoring Systems, and accelerate the emerging automotive Interior Sensing Market with advanced AI.

GOTHENBURG, Sweden and BOSTON, Mass. — June 23, 2021 — Smart Eye, the leader in AI-based eye tracking, announced that it has completed its acquisition of Affectiva, the pioneer of Emotion AI and Human Perception AI, per the agreement that was announced on May 25, 2021. The newly merged company has formed a global AI powerhouse that will lead and accelerate the growth and development of software for automotive Interior Sensing, Media Analytics, Human Factors Research and other adjacent markets.

Post-closing, Smart Eye and Affectiva are focused on combining their complimentary teams and technologies to deliver an advanced Interior Sensing platform, using machine learning, deep learning, computer vision and massive amounts of real-world data to gain a deeper understanding of what is happening inside a vehicle. This solution will not only improve automotive safety, saving human lives around the world, it will also provide differentiated mobility experiences that enhance wellness, comfort and entertainment.

The combined company will continue to deliver innovative Driver Monitoring Systems (DMS), building on Smart Eye’s proven leadership in this space. Already, Smart Eye has achieved a stronghold in the DMS market through 84 production contracts with 13 OEMs.

Now, in order to meet the regulatory requirements and industry demands for not only driver monitoring, but holistic cabin and occupant monitoring, the newly merged company will combine its industry-leading technologies to deliver a new Interior Sensing platform that will position them to successfully bid on the Interior Sensing contracts that OEMs and Tier 1s are putting out for bid.

These new capabilities will be on display at CES 2022, where Smart Eye will have a larger booth (#6942) in the new CES West Hall that will be focused on automotive tech. Demos will be available to select clients, partners, investors and media. Smart Eye will announce more details about the company’s presence at CES 2022 this Fall.

Edit:

  • Interior sensing: Kehitetään “advanced Interior Sensing platform” yhdistämällä tiimejä ja teknologioita
  • DMS: mikään ei muutu, jatketaan Smartin teknologialla (rivien välistä tulkittu)
  • CES 2022 (5-8.1.2022): varattu isompi booth, jossa tarkoitus demota uusia yhdistettyjä kyvykkyyksiä. Isompi booth on merkki siitä että, nyt investoidaan kasvuun.
18 tykkäystä

OMS:n suhteen on kiinnostavaa, mitä tarkoittaa jos saa OMS+DMS-markkinasta (nämä pyritään tilaamaan varmaankin paketina jos mahdollista) esim. vain 15% osuuden. Kilpailu on kovempaa OMS:ssä, mutta vastaavasti arvokkaampi markkina tekee sen, että liikevaihtoa tehnee 15% DMS+OMS:n markkinaosuudella enemmän, kuin 40% DMS-markkinaosuudella.

Siinä mielessä OMS:n kovempi kilpailu ei ole ongelma, kunhan on tarjota sellainen paketti, jolla saa kohtalaisen markkinaosuuden.

4 tykkäystä

Affectivan brändi siis säilyy. Fiksu veto :sunglasses:

42 tykkäystä

Jenkkien roadshow jatkuu. Jonnet ei muista mitä SEE:n kurssille kävi kun jenkit innostui heidän kierroksensa aikana.

9 tykkäystä

Colinin analyysi Smartin design winneistä. Aiaiai jäätävä määrä peruttuja, ei hyvältä näytä.

Eipä vielä hätäillä. Muistetaan, että kaikilla Tier-2 DMS-toimittajilla on sama ongelma. Perussyyt:

  • lainsäädännön puute viivästyttää, melko vahvasti vieläkin pl. EU GSR joka on tämän sijoituskeissin keskeinen kriittinen tekijä. Esimerkiksi Audi ja monet muut siirsivät mallejaan tämän takia.
  • Ongelmat osalla autovalmistajista, esim JLR. Tästä on keskustelu aikaisemmin.
  • Tuoreimpana koronavirus

Kaikki tiedossa olevat syyt ovat siis Tier-2 toimijoiden kannalta ulkoisia tekijöitä. Lisäksi muistuttaisin vielä seuraavaa: SmartEyen johto sanoo itse, ettei perumisia ole tapahtunut. Heidän mukaansa myös mahdolliset perumiset kommunikoitaisiin sijoittajille välittömästi. Kaikkien näiden vuosien viivästymistenkin jälkeen johto sanoo, että DW:tä edellyttää kaupallinen sopimus ja sen toteutumisen todennäköisyys on vähintään 95%. Jos tällaisessa jäisi kiinni valehtelusta, ei tällä yhtiöllä olisi mitään tulevaisuutta esim OEM:n näkökulmasta → OEM haluavat luotettavia pitkäikäisiä kumppaneita.

On selvä, että suurin osa 2015-2018 winneistä on joitakin vuosia myöhässä. Kuten olen asiaa täällä käsitellyt, on 2019 voimaan tulleella EU GSR:llä merkittävää vaikutusta OEM toimintaan. Sivusin tätä asiaa viimeksi viime viikonloppuna tai alkuviikosta tässä ketjussa. Hyvä myös muistaa, että 18-19 kpl TOP-20 OEM on hankkimassa tätä tekniikkaa, ja on osin hankkinutkin.

Colin tekee tietoista mediapeliä… tässä tämän päivän kirjoituksessa ei ole mitään uutta… Mielestäni tuossa on Aptivin osalta menty vähän listauksessa mönkään… mutta katsellaan :slight_smile:

39 tykkäystä

Onko siis mikään Smartin DW mennyt todistetusti kilpailijoille?

3 tykkäystä

Dw on sopimus siitä että Smartin tekkiä käytetään autoissa tai sitten ei. En usko että oem:t sitoutuvat mihinkään kappalemäärään tai siihen että malliin ylipäätään tulee dms.

Eli kantsii voittaa isovolyymisiä autoja joihin oem haluaa dms.

Miten smartti voisi ilmoittaa jos dms optiota ei päätetä käyttää oem toimesta? Eihän se smartin päätettävä asia ole. Mielestäni olisi parempi jos noille dwlle ei yritetä alkuvaiheessa firman toimesta antaa euromääräisiä mitään arvioita, koska dms alkuvaiheessa ne ovat mahdottomia. Ei ole smartin päätettävissä.

1 tykkäys