Smart Eye - King of automotive’s Interior Sensing AI?

Tähän lyhyet pointit Toyota-podcastista. Ei ihmeempiä:

General:

  • ADAS development under working name “Guardian”… actual product uses name “Teammate”

  • “automated highway driving system to be launched this year (level 2)”

  • Teammate introduces the hands free function → driver needs to be paying attention… uses systems to monitor drivers gaze are needed.

DMS:

  • Configuration: driver facing camera + steering torque sensor + hand touch sensors in steering wheel

  • 2nd/3rd gen camera, best system yet in use. eye closure, gaze, face and head position, yaw, pitch, roll… so it’ about where is the driver is actually looking…

  • IR emitters in steering column to detect gaze

  • fatigue / distraction detection

  • Currently system only gives feedback when system is not in use → disabling/alerting function in use.

  • Multiple phases for the warning function… first audio/visual warnings, later more systems in use e.g. haptic feedback or even slowing and parking the car

  • Camera has brought in so much more information than just hand sensors etc. It’s great piece of the puzzle.

  • Currently no personalization based on DMS (e.g. mirror adjustments etc) but it’s about bringing more freedom (without hands)

Other:

  • Teammate was developed by small team in north-america, with help of TMSC etc.

Ps. Kesän aikana kuulin myös toimialan sisältä, että povailtu > 1 mrd€ nominationeja vuoden 2022 loppuun mennessä pitää edelleen kutinsa. Tekniikasta on tulossa ehkä odotettua enemmän standardisoitua tulevina vuosina…

ps2. odotan H2/2021 isoja nominationeja kerrottavan +9kk viiveen puitteissa, kuten alalla tapana on… eli käytännössä Q2/Q3 2022. Nämä ovat sellaisia asioita, että odottelen hyvillä mielin ensi vuotta. Osake mörninee niin kauan kunnes alkaa isommin tapahtua. RedEyen ennuste tälle vuodelle vaikuttaa ainakin konservatiiviselta kun katsoo Affectivan ja Smartin toteutuneita liikevaihtoja 2020… mutta katsotaan miten firma kommentoi osarissa lähikuukausien näkymiä :slight_smile:

44 tykkäystä

Onko sulla @timontti tietoa korvanapissa 2020 tehdyistä kilpailutuksista? Luulisi että sieltä voisi tulla jotain ~9kk viiveellä tälle vuodelle? Firmalle olisi hyvä saada jotain uutista tuutista ulos aiemmin kuin 2022Q2/Q3 noiden suhteen. Itse toivon, että saadaan uutista vielä tälle vuodelle ja junaan siitä lisää bensaa.

16 tykkäystä

Tässä terveisiä Leijonaketjusta. Elikkäs Sonylla on konseptiauto koeajossa ja siintä sanovat mm. tällaista:

As well as monitoring the surrounding traffic, the Vision S also features a bank of interior sensors which keep track of the driver’s level of concentration and fatigue, providing alerts if necessary. Sony is even developing a lip-reading system which can recognise the driver’s voice commands in noisy situations and deliver them to the infotainment system.

Ei aavistustakaan onko oma DMS, mutta ainakin jonkin verran on Sonyllakin omaa softakehitystä alueella. Voisi kyllä kuvitella, että haluavat skaalata myös muuhun kuluttajaelektroniikkaan tuota huulilta lukua ja siksi tekevät itse.

https://www.autoexpress.co.uk/news/108773/pure-electric-sony-vision-s-begins-road-testing-programme

5 tykkäystä

Colinin kommentti linkedinissä:

Joint release from Smart Eye and OmniVision which appears to announce the mating of the 2.1MP OV2312 RGB-IR sensor with Smart Eye’s latest interior sensing algorithms. This aligns with my analysis of a trend towards an “imaging signal chain” and system-level thinking, where the image sensor and imaging algorithms are considered together, to maximize core signal availability. The days of combining any image sensor, any IR emitter, any image processor with any imaging software and hoping for the best are now long gone. This change creates significant barriers to entry for new suppliers and late-comers to the #DMS #OMS party.

What is unclear is how the announcement fits with the acquisition of Affectiva just two months ago, “to bring to market automotive-grade Interior Sensing #AI better and faster than the competition.” Seeing Machines announced its solution nine months ago in October 2020 (https://lnkd.in/d7CCq5C) and already has won a production contract for occupant monitoring, possibly for Fisker using Magna as tier one.

One interpretation could be that a combined Affectiva/Smart Eye offering will be the next-generation solution for interior sensing. This raises the question of what Seeing Machines has planned for its next-gen offering, and specifically what it can achieve using its NPU-based Occula processor. We will evidently hear more about those plans in time. We already know the trend in interior sensing is towards 5MP image sensors, placing much higher demands on the image processor.

If you wish to discuss this analysis in further detail, I can be booked for telephone-based advisory and consultancy services on both GLG and Guidepoint. Just ask for me by name.

Jännä kommentti kommenttiosiossa:

6 tykkäystä

Affectivalla on lienee yksi kilpailija emotions ai:n osalta automotivessa. Onko sitten varteenotettava niin vaikea sanoa

Muiden tunnistettujen emotions ai -tarjoajien osalta (nvidia, veoneer, aptiv) erittäin vahva oletus on, että affectivan algoritmit kyseessä.

Ps. Eikös vielä vähän aikaa sitten ollut huutelijoita, joiden mukaan Smartin softa ei voisi pyöriä tuollaisella chipillä jonka virrankulutus on 2.5W. Nyt ollut hiljaista :face_with_monocle:

20 tykkäystä

Magna ostaa Veoneerin. Mielenkiintoista

17 tykkäystä

Veoneer tekee yhteistyötä Seeing Machinesin kanssa? Seeing vahvistaa asemiaan ja yhteistyötä Magnan kanssa?

Ihan valideja juttuja Jenssillä. Hyvä kuulla hieman kriittisempääkin näkökulmaa tähän caseen. Tunsin pienen piston salkussani kun Smart Eye on 30% painolla :see_no_evil: Lähtökohtaisesti uskon tähän teknologiaan, sen vyörymiseen automotiveen ja siihen että SE tulee olemaan keskeinen peluri tässä. Tämän ja foorumin keskustelun valossa en näe sijoitusta aivan niin riskisenä mitä Jens.

4 tykkäystä

Ensi viikolla Ranalla täällä keynote esitys:

Dr. Rana el Kaliouby

AI Thought Leader. Machine Learning Scientist. Co-founder and CEO of Affectiva, an MIT spin-off.Author of the book “Girl Decoded”. Disrupting industries and humanizing technology with Emotion

AI.Keynote: The future of AI is human-centric

https://ki-champions-bw2021.de/en/ki-champions-bw-2021-english

4 tykkäystä

Jens sanoo että tämä on turhake kun autonomiset autot tulee. Kuinka se sitten toimisi suomen pikkuteillä, kuka ne kartoittaa ja etä se varmasti myös toimii. Jos se menee rikki kuka sitä sitten ajaa, onko se täysin ajokelvoton, tai kuinka moni ajaja ei todella halua että autoa voi ollenkaan itse ajaa. Kyllä mielestäni regulaation kiristyessä tälle paikkansa on vaikka kuinka autonomisia autoja olisi.

9 tykkäystä

KUN tulee.

ja

Tämä voi olla vain oma ajatus ( @timontti tuomitkoon, kun tunnet paremmin), mutta tää autonomia on omaan makuun aika tolkuttoman kaukana, kun miettii kaikki muuttujat. Esim. tänä kesänä Suomessa ollut ihan tolkuton remontti liikenteessä (siltoja, liittymiä, asfaltti ymsyms). Liikenteen ohjaus, liikenteenjakajat, varoituskartiot, työmaa-ajoneuvojen / kaivinkoneiden pysäköinnit ja liikehdinnät yms. Näissä on kyllä välillä itselläkin kädet niin täynnä (toki jonossa eka saa aina selvitellä työmaiden läpi reitin). Mikäs näissä on oikeasti realiteetti, kun kaistoja kavennetaan kahdesta yhteen työmaiden kohdalla, tai on tehty tilapäisteitä työmaiden ohi / läpi. Eläimet, muut autoilijat, kelit… DMS on loistojuttu… mutta onko kaikki sen jälkeen vaan plussaa, vai onko tätä leivottu jo kurssiin?

Ja Suomen työmaat vaan esimerkki muuttujista…

Ja en omista positiota Smart Eyessa. Mahdollinen tiedon ja ymmärryksen puute sekä skeptisyys syynä.

10 tykkäystä

Jos sähköauton tuleminen on niinkin “yksinkertaisen” haasteen vuoksi, kuin akkuteknologia, ottanut vuosikymmeniä, niin veikkaisin, että auton ajaminen itsekseen ottaa myös vuosikymmeniä.

Jossain moottoritiellä auto pystyy varmaankin ajamaan puoli-itsenäisesti piakkoin, mutta sielläkin kuskin pitää olla koko ajan varmasti valmiudessa. Viimeksi kun motaria ajelin, niin päällystetöiden vuoksi puuttuivat kaikki tiemaalaukset - kuskille ei saa tällaiset maalaukset olla missään tilanteessa tielinjauksen havainnon peruste. Auton pitää olla aidosti älykäs, jotta se selviytyy liikenteessä enkä itse näe sellaista älyä tällä hetkellä yleisestikään koneissa tai tietokonesoftissa.

Jotenkin tuntuu, että “autonomiset autot” ovat nyt nousseet aika suuriin otsikoihin. Jossain vaiheessa puhuttiin, että tietokoneet tekevät tulevaisuudessa suurimman osan aivotyöstä - nyt taas tuo keskustelu on rauhoittunut…

edit: Autonomisten autojen lisäksi ei puhuta ollenkaan etäohjattavista ajoneuvoista. Voisiko esim. taksikuski olla kotonaan ja etäajaa taksia? Sama kuski voisi ajaa mitä tahansa firman taksiautoa. Tähän on teknologiaa mielestäni paljon lähempänä kuin autonomisiin autoihin. Olisi kätevää esim. auton vuokrauksessa, kun auto etäajettaisiin ovesi eteen.

5 tykkäystä

Industry expert Colin on myös skeptinen itseajaviin autoihin. Mielestäni oikein asiallinen kirjoitus.
Magma’s Deal for Veoneer Eliminates Some Roadblocks | EE Times

4 tykkäystä

Jos autonomiset autot tulee joskus, niin niiden pitäisi tulla myös valtavirraksi, jotta DMS olisi turhake. Itse kuulun siihen porukkaan, joka tykkää ajaa autoa - jopa radalla kilpaa :grinning_face_with_smiling_eyes: Vaikka nytkin omassa autossani on automaattinen kaistallapito ja automaattinen jarrutus esteisiin ja liikennevaloihin, niin tykkään mieluummin ajaa itse.

Uskon siten vahvasti, että autotehtaat tekevät jatkossakin niitä autoja, joille on kysyntää. Jos autonomiset taksit tulevat, niin niiden rinnalla myydään on vielä jonnekin vuoteen 2050 asti itse ajettavia autoja.

6 tykkäystä

Pidetään homma yksinkertaisena, eli mitä OEM:t itse sanovat:

  • Volvo juuri julkaisi 2030-strategian. Tuovat korkeintaan level4 autoja nykytietojen valossa. Voihan tuo tietysti muuttua muutaman vuoden päästä eteenpäin.

  • VW julkaisi juuri 2030-strategian (cariad platform). Cariad 2.0 myötä level 3-4 driving alkaa yleistyä 2025 (audi) ja erityisesti 2026 alkaen (VW). Tätä tukee myös VW-konsernin DMS nominationit vuosille 2024-2027…

Tuossa pari alle kuukauden vanhaa pitkän aikavälin strategiaa kahdelta tunnetulta OEM:ltä. Nämä siis nimenomaan suurten massojen käyttöön.

Kuten tiedossa on, kun uusi teknologia tulee autooon on se siellä vähintään 7 vuoden ajan eteenpäin (ramp-up). Näillä vuosiluvuilla päästään jo 2030-luvun alkupuolelle niin, että autoissa on vähintään DMS ja enenevissä määrin myös OMS mukana sitten myöhemmin.

Ketkä sitten ovat hehkutelleet level5 full-autonomy? Ne ovat olleet enemmän näitä ei-legacy toimijoita ilman vuosikymmenien kokemusta autojen valmistuksesta. Elon aika etupäässä, koska dissasi DMS-kameroita… ja nyt on ikään kuin joutunut julkisesti myöntämään olleensa väärässä. Levelistä 5 tulikin kertaheitolla level 2 tesla. Jonkin verran tieliikennekuolleita se kylläkin vaati… :man_shrugging:

Teknologian kehitystä ei pidä lainkaan vähätellä. Hyvinkin meillä voi 2030 olla käytössä ensimmäisiä level5 malleja massojen käyttöön… mutta esimerkiksi DMS yhtiöt itse odottavat pelkän DMS-penetraation menevän aika pitkälle (vuonna 2026 olisi 30-50% autoista DMS:llä ja koko autokanta lähempänä vuotta 2030).

Mitä sitten kun level5 yleisesti käytössä? Ei kameroiden (oms) tarve ole poistunut mihinkään ajoneuvoista. Päin vastoin, sen on oltava aivan pakollinen turvavaruste onnettomuuksien välttämiseksi. :slightly_smiling_face:

Kvartaalitaloudessa ajatus hodlaamisesta koko vuosikymmenen ajan on monelle piinallista :blush: voihan se tunne joskus itseenkin iskeä :man_shrugging:

68 tykkäystä

Autonomisen ajamisen haaste on erikoistilanteet. Kun puhutaan level 5 tasosta, ei riitä, että auto ymmärtää ja osaa ratkaista 99,9% tilanteista.

Ihminen osaa lentää kuuhun ja muuta hienoa, mutta se on leikintekoa level 5 auton rakentamisen rinnalla.

21 tykkäystä

En itsekkään usko täysin level 5 tuloon vielä tällä vuosikymmenellä, koska en näe tekniikan olevan vielä tarpeeksi kehittynyttä, että auto pystyisi luovimaan jokaisessa pohjolan olosuhteessa. Oheinen video kuitenkin osoittaa, että level 4 on jo nykyaikaa. SEYE-sijoittajana hieman huolestuneena katsoin, että kuinka pitkällä kehitys on jo menossa :smiley:. Saattaa DMS-hillotolppa olla odotettua lyhytikäisempi, mutta OMS varmasti tulee olemaan vakiovaruste :wink:

1 tykkäys

Kenen kamerasysteemi on Subarun Outbackissa? Tässä jutussa kerrotaan että tunnistaa kuskin ja muistaa penkkien yms asetukset, sekä vahtii nukahtamista.

1 tykkäys

Seeing Machines parhaana arvauksena.

Stellantis taitaapi olla heillä.

1 tykkäys

Junk, all the reviews that I read previously for the Skuby Outback were not impressed by the DMS, so can’t be Seeing Machines. It has been in production with DMS for some years without announcement from either Smart or Seeing. Must be a local supplier?

3 tykkäystä