Smart Eye - King of automotive’s Interior Sensing AI?

Ei näköjää linkkiä avannut enemmän foorumisofta mutta preceptistä eli kolmosesta juttua

4 tykkäystä

Kaikkia ei pelota.

image

25 tykkäystä

NCAP-protokolla julkaistu, voimaan 2023.

Nyt alkaa tulla mustaa valkealla konkreettisempia teknisiä vaatimuksia teknologialle :slight_smile:

52 tykkäystä

Toyotan ADAS-järjestelmää valittu tekemään ilmeisesti Mobileye ja ZF. Mobileye on ainakin ennen tehnyt yhteistyötä cipian kanssa…

Kolme ev-adas leiriä lienee Mobileye, nvidia ja qualcomm.

The Toyota bZ EV models should feature several new driving assistant systems, some of which may allow autonomous driving. Toyota has chosen ZF and Mobileye, an Intel company, to develop advanced driver-assistance systems (ADAS) for its future models.
ZF and Mobileye will work together to produce advanced camera technology integrated with the latter’s radar technology for use in the ADAS of future Toyota models. Mobileye’s EyeQ4 SoC and ZF’s Gen 21 mid-range radar technology together will be used to interpret the surrounding environment to prevent and mitigate collisions.

7 tykkäystä

Muutama poiminta assessment protocolista:

  • EuroNCAP puhuu Driver State Monitoringista (DSM) versus tähän asti käytetty termi Driver Monitoring System (DMS)
  • Occupant Status Monitoring tarkoittaa kaikkea matkustajien tunnistamista, kameran avulla tunnistamisesta ei näyttäisi paperissa erikseen olevan mainintaa, eli OSM ≠ OMS
  • Direct Monitoring näyttäisi tarkoittavan kameraa (“Where driver state determination is supported by sensor(s) directly observing the driver”)
  • Indirect Monitoring tarkoittaa “perinteistä” kuskin valvontaa (“Where driver state determination is achieved indirectly through means other than sensor(s) directly observing the driver (e.g. steering input)”)

Pisteytyksessä ei tarkastella lainkaan DMS:ia, jos ajoneuvo ei täytä seuraavia vaatimuksia. Voisiko tämä viivästyttää vielä DMS käyttöönottoa kaikista karvalakkisimpien mallien tapauksessa?

To be eligible for scoring points in DSM, the SBR requirements in section 3.4 must be met:

  • Front seats including occupant detection
  • If applicable, at least one rear seats with unbuckling and/or occupant detection
    Only when the vehicle under assessment is equipped with an AEB, LSS and/or SAS system,
    points can be scored for DSM.

Myös seuraavat vaatimukset sille, että on oikeutettu DSM pisteytykseen:

Direct monitoring systems must be active at all times when the vehicle is in forward motion
at speeds ≥10km/h. A cumulative period of up to 1 minute of driving at speeds ≥10km/h is
permitted for the system to begin measuring the driver state, this is acceptable providing it
is detailed in the OEM provided dossier.

Indirect monitoring systems must be active when the vehicle is in forward motion at speeds
≥65km/h.

Eräs huomio DMS vaatimuksista

For the evaluation of Driver State Monitoring systems (DMS), Euro NCAP requires a
dossier from the OEM containing a detailed technical assessment.
The dossier should contain:

  • Sensing, providing evidence that the sensing system is capable of sensing a wide variety of different drivers and that is able to operate in a wide range of circumstances.

Muistaakseni joissakin caseissa mm. aasialaistaustaisten tai tummien naisten driver monitoring on ollut epäluotettavaa, oletettavasti suppean opetusaineiston vuoksi. Smart Eyen algoritmi on todettu koulutetun monipuolisella datasetillä, jota edelleen Affectivan ja iMotionsin mittavilla aineistoilla on höystetty. Voisin ainakin arvailla, että Smart Eyen nimi tässä OEM toimittamassa dossierissa takaa hyväksytty-merkinnän tähän kohtaan. Todennäköisesti muutkin DMS-toimijat toki pääsevät läpi vaatimuksista, oleellisempaa voikin olla että nämä vaatimukset rajoittavat enempien kilpailijoiden pyrkimyksiä alalle sekä OEMien yrityksiä tehdä DMS:ia in-housena. Ohessa minimivaatimukset:

Covering the full range of each driver variable detailed here is a
prerequisite to scoring points in the DSM assessment. The OEM needs to demonstrate, by
means of a dossier, that the sensing system was verified using a population covering at least
the following ranges and elements:

  • Age Youthful (16-18) – aged (≥80)
  • Sex All
  • Stature AF05 – AM95
  • Skin Complexion Fitzpatrick Skin Type (1 - 6)
  • Eye lid aperture >6.0mm

Tämä tosin on hieman erikoinen kohta, OEM:ien pitää selvittää rajoittavatko seuraavat tekijät DMS suorituskykyä (kyllä tai ei). Sitä ei kerrota, vaikuttaako tämä pisteytykseen mitenkään.

The OEM must demonstrate, by means of a dossier, that when faced with the following ranges and elements the DSM system is either not degraded in performance or that performance is degraded …

  • Hand on wheel One hand on wheel at 12 o’clock position
  • Facial occlusion Face-mask, hats, long head hair fringe obscuring eyes
  • Eyewear Sunglasses with a <15% transmittance
  • Eyelash makeup Thick eyelash makeup
  • Facial hair Long facial hair (>150mm in length)

Ja pisteytyksestä. DMS tuottaa siis enimmillään kaksi pistettä. En löytänyt tietoa tämän Safety Assist -kategorian maksimipistemäärästä ts. ei voi sanoa kuinka merkittävässä roolissa DMS on viiden tähden saamiseksi. Kategoriasta viiden tähden saaminen edellyttää kuitenkin vain 70% kaikista pisteistä, eli tämän kriteeristöpäivityksen merkitys DMS yleistymiseen ei ole sanottua. Tämän Safety Assist maksimipistemäärän selvittäminen olisi sen ymmärämiseksi ihan oleellista, ties vaikka joku sen tiedon jostakin löytäisikin, ehkä en vain osannut etsiä oikeasta paikasta.

Pitäisiköhän vuosiluvun olla tässä joku muu kuin 2020?
SBR = Seatbelt reminder

A maximum of 3.0 points can be scored for Occupant Status Monitoring in 2020:

  • 2.0 points for DSM
  • 1.0 points for SBR with Occupant Detection on rear seating positions

NCAP ei ilmeisestikään testaa koko DMS:ia ajoneuvokohtaisesti(?), vaan pisteet määrittyvät tutkitun DMS-ratkaisun perusteella, josta OEM toimittaa paperit (dossier). Assessment protocolin mukaan suurin osa DMS vaatimuksista koetetaan tällä tavalla:

The OEM must provide information / OEM must demonstrate / OEM must provice evidence, by means of a dossier, to…

ja vain seuraavat kohdat tarkastetaan labrassa:

The Euro NCAP Secretariat will review the DSM dossier provided by the OEM and will
ask the test laboratory to spot check a number of Distraction, Fatigue and Unresponsive
Driver situations before awarding the points.

Olisi kiinnostavaa kuulla Martinin mietteet tästä kriteeristön päivityksestä, tekeekö uudet kriteerit DMS:sta edellytyksen viiden tähden arviolle vai ei. Mainintoja DMS pakollisuudesta uusiin automalleihin ei myöskään taida olla vielä julkistettu, se olisi puolestaan varsin jyrkkä asetus suhteessa tähän EuroNCAP kriteeristöön.

45 tykkäystä

https://cdn.euroncap.com/media/64096/euro-ncap-assessment-protocol-overall-rating-v91.pdf

Kokonaisarvosanaan Safety assist luokka vaikuttaa 20% painolla myös uusilla kriteereillä, joten kokonaisarvosanassa 5 tähteä mahdollista ilman DMS.

Edit:
https://www.euroncap.com/en/for-engineers/protocols/safety-assist/
Kukaan muu perillä, korvaako tuo 2023 protokolla kokonaan aiemman? Itse järkeilen, että kyllä, mutta tällöin muutamat aiemmat kategoriat jäisivät kokonaan pois.

Edit 2: ilmeisesti tuo uusi protokolla säätelee vain kahta osa-aluetta, ”occupant monitoring system” ja ”speed assist system”. Tämän hetken tuloksia, kun katselee esim. Bmw ix, on maksimipistemäärä safety assist luokassa 16, uusi protokolla kasvattaa dms arvoa 1 pisteestä kahteen pisteeseen. Mutta laskeeko tuo kokonaispistemäärä 6, tuossa uudessa protokollassa? Onko näin, että AEB on tuon DMS luokan sisällä ja vaaditaan mikäli siitä halutaan ylipäätään pisteitä? Tämä on tosiaan merkittävä kysymys, koska ratkaisee vaaditaanko safety assist 5 tähteen DMS.

18 tykkäystä

Mobileye on partneroitunut Cipian kanssa ja varmaan mielellään tekevät maanmiestensä kanssa kimpassa, mutta eikös Nissanin Propilot 2.0 ole ihan samalla sirulla ja Seeingin Fordeja on myös eli peli ihan auki vielä.

Samassa muuten Mobileyen itsenäistymisestä Intelistä. Intel toki jää isolla osuudella omistajaksi ipon jälkeen.

3 tykkäystä

Cenkosilta kommentit Euro-ncapin teknisistä vaatimuksista. Arvioivat, että vaatimukset täyttäviä järjestelmiä pystyvät toimittamaan ainoastaan Smart Eye ja Seeing Machines, mutta Cipian riemukkaasta reaktiosta Twitterissä voisi päätellä, että otetaan heidät vielä mukaan.

Cenkos epäilee Teslalle tulevan kiire DMS-ostoksille mikäli haluavat nauttia viiden tähden turvallisuusluokituksesta. Tesla ei ole pystynyt luomaan inhousena vaatimukset täyttävää järjestelmää. Tähän ei taida siten muutkaan autonvalmistajat pystyä.

CENKOS NOTE TODAY:

EU-NCAP specifications - good news

Euro-NCAP have now finally released the technical paper covering the expectations and scoring for automotive Driver Monitoring Systems. The technical expectations for DMS are relatively sophisticated with DMS systems needing to measure not just head position but eye gaze and eye aperture. The expectations cover both a wide range of driver types that must be recognised (gender, age, ethnicity) but also levels of occlusion (ie availability) in real world applications. Specifically, the paper highlights that system performance must not be degraded in certain conditions which include sunglasses and facial hair. Further to this the system performance must either not be degraded (or warn the driver of degraded performance) under more advanced conditions: Facial occlusion, face-mask, hats, long head hair fringe obscuring eyes - eyewear sunglasses with a <15% transmittance, Eyelash makeup Thick eyelash makeup, facial hair, long facial hair (>150mm in length. Technical specifications are also well defined for Downness (Karolinska Sleepiness Scale 7) which must be detected as well as a micro-sleep of 1-2 seconds. ?

CENKOS COMMENT: We see this technical specification as good news for Seeing Machines and Smart Eye who are probably the only suppliers that can meet the advanced occlusion targets. Whilst the advanced occlusion targets are not mandatory, we fail to see why any sensible OEM would risk selling a car that warn you every 10 seconds the system is not working if, for example, you are wearing a face mask. It also now looks clear that Tesla will have to source Seeing Machines or Smart Eye relatively promptly or face a poor Euro-NCAP safety rating. We also see a potential for these standards to be copied by European Commission as a mandated safety specifications, although the expectation is for this to be watered down with the EC likely focussing more on basic occlusion and not advanced occlusion. These standards may also help accelerate activity in other markets such as Japan, where the recognition of Eye by Japanese OEMs has been slow, but the Japanese New Car Assessment Programme (JNCAP) rarely deviates from EU standards. We maintain our 19.5p valuation and Buy recommendation.

32 tykkäystä

Ihan totta. DMS-tier 2:set vaihtelee näiden ADAS-toimittajien kanssa toistaiseksi vapaammin, tosin leirejäkin on alkanut syntyä.

2 tykkäystä

Eikö tämä ollutkaan niin bulkkituote mitä täälläkin on esitelty. Kilpailijoita tulee kuin sieniä sateella kuulemma. Kunhan Tesla ei Smarttia vain ostaisi, ainakaan näillä hinnoilla :slightly_smiling_face:

12 tykkäystä

Smart Eyeltakin pieni kommentti NCAP vaatimuksen päivitykseen:

This practically makes DMS a requirement for any new car model launched on the European market

Linkkaavat jo aiemmin täälläkin tsekattuun e-kirjaseen, lieni julkaistu kuukausi - kaksi sitten.

14 tykkäystä

23 alkaen pakollinen ncapin 5 tähden saamiseksi, Euroopassa myydyistä autoista ilmeisesti n. 60-70% saa viisi tähteä. Luulisi että tämä näkyisi pipelinessä heti!

Onko kukaan tutustunut coma.ai ja heidän openpilot ADAS-järjestelmään. Heidän dms vaikuttaa aika edistykselliseltä.

6 tykkäystä

Miksi Smart Eye käyttää sosiaalisen median postauksissaan sanavalintaa ”practically”? Saatan olla skeptinen turhaan, mutta tuo sai minun huomioni.

Ymmärrän asian siten, että DMS ei olisi vaatimus, vaan enemmänkin kategoriassa ”useimmiten tarvitaan”. Näin ollen takaovi jää hieman raolleen statementin osalta mielestäni. Kuinka muut näkevät asian? Luulisi, että tällainen breakthrough regulaation osalta motivoisi käyttämään ”must have” tyyppisiä sanavalintoja (kunhan niille sanoille olisi katetta).

4 tykkäystä

Smart Eye viittaa tuossa siihen, että autonvalmistajat joutuvat ottamaan DMS käyttöön saadakseen viisi tähteä, eli DMS ei ole pakollinen muiden arvosanojen saamiseksi. Kaikki valmistajat eivät ehkä edes tähtää parhaaseen EuroNCAP arvosanaan(?), tai eivät ainakaan sitä saa, eli DMS ei ole must. Käytännössä (practically) uusien autojen kuitenkin odotetaan saavan viisi tähteä, siksi myös DMS on käytännössä (practically) pakollinen.

20 tykkäystä

Minun sanavarastossani tuo “practically” tarkoittaa samaa, kuin käytännössä eli jokin muukin ratkaisu voisi täyttää vaatimukset. Tätä ei kuitenkaan pidetä todennäköisenä. Muuttuvassa maailmassa kartetaan ehkä sanoja “must”. Olen samaa mieltä kanssasi. (Omistan osakkeita).

Kääntäjällä, ja kurssi kyykkää melko rajusti:

Smart Eye competitor takes home design win from German vehicle manufacturer

Smart Eyes’ competitor Seeing Machine has won a design win from a leading German vehicle manufacturer to supply its Fovio Driver and Occupant Monitoring System. It appears from a press release.
The order covers an expansive number of vehicle models that are planned for mass production from the beginning of 2024. The estimated value of the order is 125 million Australian dollars, corresponding to 815 million kronor, based on forecasts for the estimated product life cycle.

Including the latest order, Seeing Machines Driver and Occupant Monitoring Systems have won 11 car programs from 8 individual car manufacturers, comprising a total of 95 models.

29 tykkäystä

Mitä tästä nyt pitäisi päätellä, kuinka iso ongelma tämä on Smartin kannalta? SEE vahvistanut johtoaseman DMS-markkinoilla ja SEYE:n markkinaosuus jää odotettua pienemmäksi?

3 tykkäystä

Jos design wineillä mitataan, niin eikös Smart siellä edelleen kärjessä ole.

3 tykkäystä

Tänään SEE:n ilmoituksessa oli, että ovat toimittamassa dms:ää 95 malliin. Smartti taitaa olla jossain 83-84-kohdalla.

Varmaan laskupaine jatkuu parikin päivää.

Pitäis katsoa ww:n myyntimääriä että onko sieltä tulossa pottia mahdollisesti Smartillekin.

Huomiona, että taisi tämäkin dw mennä tier1:sen mukaan. Eli magna tier1 ja oletettavasti se mangan dms-peruutuspeiliratkaisu jossa SEE mukana

3 tykkäystä

Varmaan Toyota on seuraava iso markkinoidenjakaja. Oliko Toyota jollain inhouse -ratkaisulla vai tuleeko tästäkin dw normisti?