Smart Eye - King of automotive’s Interior Sensing AI?

Joissakin robottiautokeiluissa on menetelty juuri noin. Kuuntelin kesällä podcastia. Olivat tuoneet markkinoille robottiauton, joka liikutteli vanhuksia “lomakylässä”. Heillä ei ollut kuulemma kiire ja hidas meno ei haitannut. Oliskohan ollut tämä https://voyage.auto/
25 mph huippunopeutena. Sekin on ehkä vielä liikaa, jos joku juoksee eteen.

2 tykkäystä

Itseäni jäi edelleen vaivaamaan muutama asia kuten se, että miten tässä vaiheessa vielä puhutaan tulkinnasta jos kerran regulaatio on jo olemassa. 2022 markkinoille tulevat ajoneuvot ovat kuitenkin jo todella pitkällä tuotekehityksessä.
Myös se jäi vaivaamaan, että miksi tästä asiasta ei löydy selkeää speksiä, vaan käsissä on vain hyvin lavea määritelmä regulaatiossa.

Vaati hieman salapoliisityötä, mutta sain selville seuraavaa (huom. sisältää omia johtopäätöksiä löydöksistä, joten lukeminen omalla vastuulla).

Ensinnäkin EUn GRSn (General Safety Regulaation) prosessi on seuraavanlainen:

Nyt ollaan käsittääkseni ympyröimässäni kohdassa, jossa keskustellaan regulaation tarkemmista spesifikaatiosta autonvalmistajien ja ulkopuolisten tutkimusinstituuttien kanssa. Edeltävässä “Committee vote” kohdassa siis hyväksyttiin regulaatio 2019/2144.

Tuo tarkempi speksi, joka määrittää varsinaiset vaatimukset mm. Driver Drowsiness and Attention Warning (DDAW) järjestelmälle, lyödään lukkoon ilmeisesti vasta 15 kuukautta ennen adoptiota, joka onkin ilmeisesti 07/2022 (ei 05/2022, kuten olin aiemmin jostain ymmärtänyt). Tämä on siis “Voted in plenary” kohta yo. aikajanassa.

Sitten varsinaiseen asiaan. Sain käsiini erään suhteellisen tuoreen väliraportin liittyen DDAW keskusteluun. Tämä raportti sisälsi myös draftin DDAW järjestelmän vaatimuksista.
En ole ehtinyt lukea koko raporttia, koska se on melko laaja, mutta kerron tässä omin sanoin muutamat mielestäni tärkeimmät asiat pikaluvustani.

  1. Autonvalmistajat ovat esittäneet, niin monia erilaisia DDAW järjestelmiä, ettei ole mahdollista luoda yhtä yhteistä menetelmää järjestelmien tehokkuuden arvioimiseksi. Siispä valmistajien täytyy todistaa järjestelmän tehokkuus omien testiensä perusteella (testeille annettiin tiettyjä vaatimuksia, jotka pitää toteutua, jotta järjestelmä on hyväksyttävissä).

  2. Valtaosa (majority) esitellyistä järjestelmistä käyttää kaistavahtia ja ohjauspyörän sensoria, mutta ei välttämättä rajoitu näihin.

  3. Kuljettajaa valvova kamerajärjestelmä on hyväksyttävissä, kunhan sen tehokkuudesta/luotettavuudesta jatkuvassa valvonnassa toimitetaan todisteet (epäilen, että tässä saattaa olla taustalla jonkin low level kamerasoftan käyttö, joka vahtii vain silmiä).

Sitten pari tämän palstan osalta ehkä kiinnostavinta asiaa.

Ensinnäkin, raportissa mainitaan (tämä oli kirjoitettu yo. kohdan 2 yhteydessä), että tulevaisuuden DDAW järjestelmien nähdään (envisioned) ottavan suoremman tavan (more direct approach) valvoa suoraan kuljettajaa, jotta väsymyksen (drowsiness) oireet huomataan aiemmin.
Itselläni tiedossa olevista teknologioista tämä tarkoittaisi mielestäni kuljettajaa valvovaa kamerajärjestelmää tai mahdollisesti mm. elintoimintoja valvovaa sensoria (tosin en ole varma voiko esim. sykkeestä päätellä riittävän ajoissa väsymyksen tilaa).

Toisekseen, vuonna 2024/2026 on tulossa lisää pakollisia vaatimuksia (sisältyy tuohon samaan 2019/2144 regulaatioon), joista yksi oli Advanced Driver Distraction Warning. Tämän vaatimuksen oma työnantaja on ainakin alustavissa suunnitelmissa aikonut taklata kuljettajaa valvovalla kamerajärjestelmällä.

26 tykkäystä

Myös continentalilla (tier-1) oli kamerajärjestelmä esitetty ratkaisuksi kumpaankin lainsäädännön vaatimukseen (2022 & 2024/2026)… ja kummallekkin vaatimukselle (drowziness & distraction).

Tulossa on kamerat kovaa vauhtia… :sunglasses: mielenkiintoista penkomista.

Itse yhtenä iltana penkaisin tänne linkitetyn EU-asetusluonnoksen varsinaista versiota siltä osin, että mielestäni EU asetti siellä GDPR-hengessä aika tiukkoja rajauksia datan tallentamiselle näistä järjestelmistä…

Eritin hyvä, että alan ihmiset @Z11 ja @Pandakarhu kontakteineen kontribuoivat tänne. Toinen tier-1:llä ja toinen autovalmistajalla :+1::sunglasses: Suuri kiitos teille. Markkina voi tarjoilla hyviä paikkoja lisäilyyn tai mukaan tuloon lähipäivinä.

14 tykkäystä

Ei pistänyt silmään, että täällä olis puhuttu vielä tosta liikevaihtoon suhteutetusta arvostuksesta (p/s 34, 2019). Siis oonko aivan hukassa mutta kuulostaa aivan poskettomalta. Odotuksissa huikeaa liikevaihdon moninkertaistumista?

5 tykkäystä

Eikös tuo tuppaa kasvuyhtiöillä monesti näin olemaan. QT esim edelleen 12.79 pvs

1 tykkäys

Tarkennuksia, lisäyksiä ja pohdintaa.

Tällä en siis tarkoittanut etteikö järjestelmä voisi olla kehittyneempi versio ja varmaan joissain premium malleissa tulee olemaankin. Mutta, koska kustannukset ovat kuitenkin kriittisiä ja esim. Smart Eyen 10 EUR / auto on aika kova hinta, niin veikkaan, että tässä vaiheessa tullaan käyttämään enemmän yksinkertaisia, vain silmiä tarkkailevia järjestelmiä.

Tähän unohtui tarkentaa, että tällä hetkellä vaatimus aiotaan taklata vain silmiä tarkkailevalla järjestelmällä.

Eli arvioisin, että kehittyneemmät järjestelmät (esim. kasvoja seuraavat) tulevat markkinoille aluksi kalliimpien premium autojen ja osittain itseajavien autojen kautta sekä mahdollisesti keskihintaisiin autoihin lisävarusteena tai esim. parhaan varustelutason mukana. Tämä olisi ihan normaali evoluutio autoteollisuudessa, kun tuodaan uusi ominaisuus autoihin.

On mielestäni kuitenkin selvää, että järjestelmät tulevat yleistymään. Vauhti riippuu siitä, että miten asiakkaat ottavat sen vastaan ja pystyykö viranomaiset osoittamaan, että se pelastaa (paljon) henkiä.
Todennäköisesti seuraava regulaation kautta ajettava uusi asia tulee olemaan Occupant Monitoring System, joka vaatiikin sitten kehittyneempiä algoritmejä. USAssahan on jo työn alla HOTCARS act, jossa autoihin pakotetaan järjestelmä, joka valvoo ettei pysäköityyn autoon jätetä lasta tai eläimiä yksinään (en ole perehtynyt tarkemmin tähän enkä sen aikatauluun).

2 tykkäystä

Oliko tästä jotain lähdettä? Kuulostaa kyllä todella kalliilta

2 tykkäystä

Se oli mainittu siinä REn 09/2017 raportissa.

Smart Eye’s communicated ASP of EUR 10

2 tykkäystä

Vakuuttavaa salapoliisityötä kaikkien (ja etenkin @Aston_Livingstone:n) osalta, kiitokset myös omasta puolestani!

Pitkän empimisen jälkeen uskalsin laittaa peliin n. 5% salkusta @ 122 SEK aamun dipistä. Kummempia teknisiä tukitasojahan ei näin pienivaihtoisessa yleensä ole, mutta tuo 120 SEK näyttäisi toistaiseksi pitävän (iso osa viime viikon vaihdosta oli 119-123 tasoilla).

Sitten vaan tiukkaa holdia seuraavat pari-kolme vuotta :ok_hand:

8 tykkäystä

Omasta puolesta suuret kiitokset @lazyway tän nostamisesta esille. Nyt joko köyhdytään tai rikastutaan valtavasti yhdessä :joy:

13 tykkäystä

Kiitos myös kaikille teille jotka olette kontribuoineet tietoa ketjuun! Näköjään saan ketjun jokaisesta viestistä ilmoituksen koska olen perustanut ketjun. Yritin poistaa sen asetuksista mutta ei näytä onnistuvan. Varmaan osittain sen takia olen postannut ketjuun aika paljon mutta tarkoitus on nyt jäädä enemmän taustalle ja postata tänne vain jos tulee jotain todella hyödyllistä tietoa jaettavaksi, jota ei jo ole täällä

Edit: Sain Astonin avustuksella jatkuvat ilmoitukset nyt pois :blush:

4 tykkäystä

Tarkoitatko tällä siis sitä että auto alkaisi itsenäisesti soitella virkavaltaa paikalle mikäli auton kuljettajalla havaitaan puhelin kädessä ajon aikana. Näkisin että tässä aletaan jo sitten ylittämään uudenlaisia rajoja ihmisten valvomisen suhteen.
Toki en sano että onko tuo nyt sitten hyvä vai huono, mutta en usko että kuuluu autovalmistajien prioriteetteihin valvoa suomen lakia.

3 tykkäystä

En miettinyt asiaa noin pitkälle. Voisi ehkä riittää, että järjestelmä alkaa päästämään varoitusääntä, joka on sen verran rasittava, että kuljettaja ymmärtää / haluaa suosiolla laittaa puhelimen syrjään. Samaan tapaan, kuin nyt autot varoittavat ajamisesta ilman turvavyötä. Se on totta, että auton ei kuulu valvoa lakia, mutta ohjata kuljettajaa turvalliseen ajamiseen.

Itsestään ajavat autot ovat sitten oma juttunsa, koska niissä tulee vielä entisestään korostumaan vaatimus kuskin valppaudesta. En tiedä miten auton kuuluisi reagoida, jos se havaitsee kuskin selaavaan puhelinta kun cruise on päällä. Esimerkiksi automaattinen hidastaminen moottoritiellä voisi aiheuttaa omia ongelmia (muun liikenteen sujuvuus kärsii, jopa vaaratilanteita jos auto hidastaa liikaa).

Näissä on kyllä insinööreillä ja päättäjillä paljon miettimistä, niin teknisesti kuin lain näkökulmasta. :smiley:

1 tykkäys

Tuo vertaus turvavyövaroitukseen on kyllä hyvä. Itsekkin siis tämän ketjun ansiosta siirtynyt Smart eyen omistajien joukkoon ja näen paljon potentiaalia kameroissa verrattuna muihin valvonta metodeihin, mutta pitää yrittää vähän opponoida :wink: Vaikka vuonna 2022 ja 2024 tuleviin säännöksiin ratkaisuiksi kävisivät muutkin metodit kuin kamera, luulisi kameralla olevan kaikista suurin potentiaali tarkkailla laajemmin ajoneuvon sisällä tapahtuvia asioita, liittyen turvallisuuteen tai sitten kokonaan muuten palvellen ajoneuvon kuljettajaa. Pitkällä tähtäimellä luulisi siis kameroiden yleistyvän joka tapauksessa ja vaikkapa tuollainen ratin liikkeisiin perustuva kaistavahti ei varmasti omaa yhtä suurta potentiaalia kuin kamera.

2 tykkäystä

Yksi mahdollinen kysymys, mikä nousee mieleen tässä Smart Eyen tapauksessa on yksityisyydensuoja. Onko Smart Eyen järjestelmä täysin sisäinen vai päätyykö videota palvelimille tms.?

1 tykkäys

Drownziness & Distraction -valvonta:
image
image

Järjestelmän tarkoitus, johon viitataan:

image

Advanced distraction järjestelmän tarkoitus:

image

Toisin sanoen näyttää siltä, että järjestelmä on tarkoitettu ensisijaisesti kuljettajan huomauttamiseksi, kun kuljettaja toimii riskiä sisältävällä tavalla. Datan luovutus kolmannelle osapuolelle on kiellettyä.

Kiina: Voitte olla varmoja, että kaikki menee CCCP:lle.

10 tykkäystä

USA:ssa on tuo driver monitoring näillä näkymin tulossa pakolliseksi v. 2024

The Moving Forward Act specifically includes a plan to mandate driver monitoring in cars and trucks sold from 2024.

Seeing Machines pointed out that regulatory-driven demand for DMS continues to build around the world and momentum in the US points to policy adoption targeting the same timeframe.

The group added that ‘Moving Forward’ would line up closely to European General Safety Regulation which passed into law in November 2019.

Lakipaketin etenemistä voi seurata täältä:

https://www.congress.gov/event/116th-congress/house-event/110850?s=1&r=2

Jo ennen lakipakettia on USA:ssa on jo suositus järjestelmille annettu:

The DMS segment is poised for significant growth thanks in part to the support of leading safety agencies. In February 2020, the National Transportation Safety Board (NTSB) in the US recommended the use of DMS as an effective means of driver engagement in SAE Level 2 vehicles.

Tänne oli jo elokuussa linkitetty, mutta nostan tästä uutisesta pari pointtia:

Autovalmistajien haluna on lienee v. 2025 ajatellen pykiä yhdistämään DMS/OMS kyvykkyys:

But these are two very separate technologies. “DMS is very high-performance, allowing us to pick up exactly when a driver takes his mind off the job of driving,” explained McGlone. “It is highly attuned to what’s going on directly with the driver. The occupant monitoring technology is a little wider and a little looser, but we’re seeing a desire from automakers to start working on options for integrating the two.”

Yllä penkasin eri valmistajien teknisiä kyvykkyyksiä youtube-videoista… Siinä yhteydessä kommentoin, että SM näyttää teknisesti heikoimmalta, ja ne keskittyvät lähinnä kasvojen/silmien seurantaan. Samassa yhteydessä kävi ilmi, että SE:llä on selvästi paras kyvykkyys havainnoida usean kameran voimin koko auton sisältöä (OMS). Tämä kohta uutisesta näyttää olevan samoilla linjoilla. Mielestäni SM:n edustaja tässä myöntää, että heillä on lähinnä kasvojen havainnointi, mutta OMS:n tarvitsevat muita kumppaneita

Seeing Machines is actively looking into this space with its existing customer base, and it could open the door for new partnerships. “We’re looking at relevant features we can expand on from our own expertise in face and eye gaze tracking, but we’re also working with partners with different capabilities, which when combined make a pretty powerful value proposition for automakers,” he added.

2017 RE raportin perusteella SE:llä oli ainoana kyky jopa 8 kameran käyttöön. Lisäksi SE:n whitepaperissa oli tuo artificial intelligence puoli tuotu esille mielestäni huomattavan voimakkaasti… kun taas SM-matskuissa sitä ei hirveästi käsitellä (?)

Developers could also harness artificial intelligence and machine learning to ‘learn’ as many traits of driver distraction from as many different angles as possible. This would mean cameras could be placed in a greater range of places as opposed to simply in front of the drive

Kilpailutilanne kiristyy?

https://www.eetimes.com/qualcomm-prepares-to-take-nvidia-for-a-ride/

Once finalized, the Qualcomm-Veoneer partnership looks set to become Qualcomm marketing its Snapdragon processors and Veoneer’s Guardian-type software head-to-head with Mobileye EyeQ and Nvidia Drive. In a story entitled Veoneer Jilts Nvidia, Weds Qualcomm on ADAS/AV, Junko Yoshida asked “ But what would it take for the two companies [Qualcomm and Veoneer] to convince Tier Ones or OEMs to go with them instead of Mobileye?

DMS rooli:

If cars aren’t going to drive themselves then vision-based driver monitoring systems (DMS) becomes the primary safety technology, to monitor for distraction, drowsiness and impairment in the human driver. ADAS is then the secondary safety technology, to warn, assist or intervene. Mobileye and Nvidia bet big on AI and automated driving development, but they are both nowhere in DMS technology leadership.

SM ja Autoliv + Qualcomm… ovat jonkinlaisessa kimpassa:

Autoliv and Seeing Machines started working together in August 2017 with Qualcomm and Seeing Machines partnering at the start of this year.

It follows therefore that the DMS provider indicated in the slide below is Seeing Machines. Having just announced its next generation automotive DMS strategy it will probably be taking calls from Mobileye and Nvidia over the next couple of weeks.

Seeing Machinesin uusi strategia 2.9.2020… Mukaan on tullut nyt artificial intelligence sekä koko interiorin monitorointi… eli kumppanuuksien avulla SM pyrkii kilpailemaan OMS:ssä jne.

Representing a step-change in its delivery of Driver Monitoring System (DMS) technology to automotive Tier 1 suppliers and OEMs, Seeing Machines has unveiled an expanded strategy and product portfolio incorporating its next generation embedded processing pipeline technology. The enhanced “three pillar” offering targets the rapidly expanding camera-based interior monitoring market, extending cost, scalability and integration benefits for carmakers as well as safety and convenience for their customers.

Seeing Machines continues to grow as an automotive leader in DMS technology, now in tie-ups with six OEMs globally, across nine ongoing programs over an expanding range of vehicle models. The Seeing Machines FOVIO Chip (delivered in partnership with Xilinx) remains the highest performing, lowest cost market solution for standalone DMS vehicle integration and now represents nearly one-third of Seeing Machines booked business, and is projected to grow to approximately one half in response to Euro NCAP requirements.

Kannattaa tuolta käydä lukaisemassa koko teksti…

Ps. EE Timesin Automotive sivu kannattaa ottaa kirjanmerkkeihin. Tuntuvat olevan aika kiinnostuneita raportoimaan DMS:n kehityksestä eri puolilla

https://www.eetimes.com/designline/automotive-designline/

esim tälle lukusuositus:

https://www.eetimes.com/complex-automotive-software-whats-your-strategy/

Kesän uutisoinnin perusteella SM odottaa kahta uutta automallia julkaistavaksi lähikuukausina… uutisoinnin perusteella SM:llä on ollut enemmän roolia raskaassa liikenteessä (kuten myös RE analyysit tämän totesivat)… mutta mielenkiintoista nähdä missä määrin pääsevät henkilöautoihin

17 tykkäystä

Kyllähän tuosta saa helposti pyöräytettyä sellaisen skenarion, että:

  1. Cräshboom
  2. Vakuutusyhtiö: “Joo, sensorin mukaan olit 51 % väsynyt, niin tuota ei korvata nääs mitään”
  3. “Selvä!”
3 tykkäystä

Tekniikkaa hyvin havainnollistava video

Yhdistetty ST:llä tällaiseen rautaan

lisäys: SE:llä on hyviä videoita youtubessa esim tämä AGM

11 tykkäystä

@Aston_Livingstone Onko sinulla tietoa onko kameroilla jotka laitetaan premium autoihin hinta eroa normaaliin bulkkitavaran autoon? Vai liikkuuko kameran hinta 5€-10€ autossa kuin autossa?

2 tykkäystä