NVIDIA - Mahdottoman mahdollistaja

[VoidZ0ne]

Olen opiskellut ja tehnyt tekoälyhommia duunina vuodesta 2017.
Tuosta pilvipuolesta:
Nvidialla on jo tovin ollut oma pilvi ja siellä palveluita ja ne ei ole ikinä näkynyt ainakaan omassa kuplassani että niitä kummemmin käytettäisiin. Näissä jossain osa-alueissa (robotiikka, omniverse, autonomiset autot) ehkä Nvidialta voisi tulla jotain erikoistuneita ohjelmistoratkaisuja mutta en jaksa uskoa että ne tuovat Nvidialle kuitenkaan merkittävää jatkuvaa tulovirtaa.

Minulle Nvidia on ollut, on nyt ja tulee olemaan pääosin hardisyhtiö joka on nyt kuplassa pääosin isojen hyperscalereiden LLMien treeniklusterien rakennusvimmasta aiheutuen ja kun bullwhip efekti iskee niin osakekupla puhkeaa.

Inferencepuolella on paljon enemmän kilpailua (Ja esim juuri tuo ketjussa mainittu AMD:n Instinct näyttis tarjoaa jo parempaa perf/$ kuin Nvidian vastaavat ja kilpailua tulee jatkuvasti lisää. Mielenkiintoisena pidän esimerkiksi Groq yhtiön LPU teknologiaa, jota voi APIn kautta testata ilmaiseksi)

Suuren skaalana treenipuolella Nvidialla on vielä etulyöntiasema jonkin aikaa, mutta nyt esim verkkopuolella on näitä konsortioita jotka ratkoo yhdessä miten Nvidia otetaan kiinni ( https://ultraethernet.org/ ).

Huggingface jonka kirjastoja ja ekosysteemiä moni kehittäjä käyttää tekee myös kovasti duunia että Nvidia saisi kilpailua inferencepuolella yms. https://www.youtube.com/watch?v=tTBYgnlA2aI

[Roope_K]

@VoidZ0ne

Nvidialla on jo tovin ollut oma pilvi ja siellä palveluita ja ne ei ole ikinä näkynyt ainakaan omassa kuplassani että niitä kummemmin käytettäisiin.

Viitannet DGX Cloudiin? Olisi kyllä hienoa, että joku analyytikko joskus kysyisi tästä Huangilta jotain. Tuo on nimittäin potentiaalisesti erityisen hyväkatteinen liiketoiminnan osa-alue. Pienin $120k arvoinen fyysinen infra vuorattavissa alkaen $37k/kk. Eli Nvidialle break-even on maksimissaan kolmen kuukauden vuokran kohdalla ja sen jälkeen lähes 100 pinnaista profittia. Mutta kuten sanoit, niin eipä tämä ole itsellenikään näkynyt mitenkään. Tosin ihan kovin monella firmallakaan on tarvetta kahdeksan A100/H100 GPU:n virtuaalisupertietokoneelle ainakaan Suomessa ja ehkä siksi tämä ei hirveästi näy.

Tässä toisenlainen näkemys kuplaskenaarioon edellä mainitulta Beth Kindigiltä:

Here’s Why Nvidia Stock Will Reach $10 Trillion Market Cap By 2030

[karhulalainen]

Tässä videossa on hyvä kattaus analyysiä Nvidian arvostukseen kassavirtapohjaisesti, kasvuajureihin, kasvuennusteisiin, splittiin ja siihen, mikä on nyt toisin verrattuna teknokuplaan 2000. Adam on singaporelainen yrittäjä, kirjailija ja kouluttaja.

Nvidia (NVDA) Stock Splits. Crash or Boom? - YouTube

[Sijoittaja-alokas]

Tämä voisi olla Inderesilläkin tavoitteena.

[Oxymoron_007]

BARRON’S 10.6.2024

“A stock split is a vote of confidence from management that the stock will hold its value, as the stock [price] typically increases,” S&P Dow Jones Indices senior analyst Howard Silverblatt says.

Winthrop Capital chief investment officer Adam Coons expects the split to boost retail investor interest, but cautions that an influx of retail traders could trigger volatility for the stock.

“They can be a little bit more quick and emotional with their buying and selling decisions, so that can lead to heightened volatility as you start to dilute the institutional buyers,” Coons told Yahoo Finance.

Evercore ISI’s Julian Emanuel sees increased volatility as an opportunity to buy Nvidia — a stock he views as a “generational opportunity” and this era’s “marquee” technology stock.

“While high profile splits have often fueled stock volatility — speculative buying and profit taking around the event — Thinning the trees within the forest post-split catalyzes the Buying Opportunity for the patient investor,” Emanuel wrote in a client note.

Historically, stock splits are typically bullish for the companies that enact them, with average returns one year later of 25% versus about 12% for the broad market, according to analysis from Bank of America.

• Nvidia’s skyrocketing gains have driven the broader market to record highs. Its rally accounted for about a third of the S&P 500’s return since the start of the year, and more than a quarter of the S&P 500’s return in the month of May, according to Silverblatt.

[karhulalainen]

Tätä jo ehdittiinkin pohtia Planet ketjussa, mutta on uutinen tännekin merkittävä. Ei ehkä NVIDIA:n kassavirran näkökulmasta, mutta onhan siistiä viedä NVIDIA:n GPU tekemään päättelytöitä reilusti edgeen/reunalle, eli orbittiin, saadaan ainakin kokemusta teknologiasta avaruudessa ja tietysti nähdään voiko päättely avaruudessa tuoda hyviä asioita…

Planet Labs PBC Announces Real-Time Insights Technology Using NVIDIA Jetson Platform - Planet Labs PBC

[Avokado]

Tässä tweetissä maalaillaan että “kupla” olisi puhkeamassa.

https://x.com/burkov/status/1801051974038634633

Mira Murati OpenAIn CTO edustaja sanoo tällä videolla että heillä on labrassa malleja jotka eivät ole kovin paljon julkisesti saatavia malleja edellä. Eli ChatGPT5 on kuten uusi Windows tai iPhone → inkrementaalinen parannus ei pankin räjäytys.
https://x.com/AGItechgonewild/status/1801255457773764842

[Roope_K]

@Avokado

Mira Murati OpenAIn CTO edustaja sanoo tällä videolla että heillä on labrassa malleja jotka eivät ole kovin paljon julkisesti saatavia malleja edellä. Eli ChatGPT5 on kuten uusi Windows tai iPhone → inkrementaalinen parannus ei pankin räjäytys.
https://x.com/AGItechgonewild/status/1801255457773764842

Hienosti kontekstista irroitettu pätkä. Tuo vastaus ei liittynyt GPT5:n kykyihin mitenkään vaan kysymys koski Muratin visiota AGI:sta ja sen riskeistä… https://www.youtube.com/watch?v=BD0Us5Bn6Lw. Vai kuvitteliko joku, että GPT5 on jonkin sortin AGI?

Ja mitä noihin väitteisiin A-sarjan dumppauksesta tulee, niin onhan se mahdollista - ne ovat kuitenkin jo kaksi sukupolvea vanhoja siihen, mitä nyt on tilattavissa. Siihen en kyllä usko, että “kaikki ovat lopettaneet mallien opetuksen”, kun SEC:n alla raportoivien yhtiöiden kertomuksistakin käy ilmi, ettei tämä pidä paikkaansa.

[Avokado]

@Roope_K

@Avokado

Mira Murati OpenAIn CTO edustaja sanoo tällä videolla että heillä on labrassa malleja jotka eivät ole kovin paljon julkisesti saatavia malleja edellä. Eli ChatGPT5 on kuten uusi Windows tai iPhone → inkrementaalinen parannus ei pankin räjäytys.
https://x.com/AGItechgonewild/status/1801255457773764842

Hienosti kontekstista irroitettu pätkä. Tuo vastaus ei liittynyt GPT5:n kykyihin mitenkään vaan kysymys koski Muratin visiota AGI:sta ja sen riskeistä… https://www.youtube.com/watch?v=BD0Us5Bn6Lw. Vai kuvitteliko joku, että GPT5 on jonkin sortin AGI?

Bottom line on, että Miralta lipsahtaa tietoa siitä, missä labrassa olevat mallit menevät. Väite siitä, ettei tämä liity mitenkään GPT-5 kykyihin, on jo aika paksua. Onhan heillä laboratoriossa muitakin malleja, mutta eiköhän GPT-5 ole se, mitä kaikki kieli pitkällä odottavat.

Kysymyksessä, johon Mira vastaa, mainitaan AGI ja miltä tulevaisuus näyttää. Kysymys on pitkä ja sekava. Ja niin on vastauskin. YouTube-litteraatti on alla aikaleimoilla, joissa kyseiset sanat esiintyvät. Välissä on yli 2 minuuttia. Kuuntelin tuon haastattelun enkä havainnut siinä mitään, mikä invalidoisi faktan, että julkisten AI-mallien kykyihin on tulossa vain inkrementaalista parannusta.

AI:n soveltaminen on sitten kokonaan eri kysymys. Monenlaista hauskaa viritystä on käynnissä. Osa näistä on huonoja OpenAI:lle, mutta hyviä Nvidiaille. Kuten alla.

🏡 Home | Open WebUI

@Roope_K

Vai kuvitteliko joku, että GPT5 on jonkin sortin AGI?

Olet siis samaa mieltä kanssani, että tulossa on inkrementaalinen parannus. Iso osa sijoittamisesta on pohtia, mitä muut ajattelevat. Joku varmasti luulee, että AGI on melkein täällä. Mun visioni on, että kun inkrementaalista parannusta sisältävä GPT-5 tulee ulos, AI-ralli lässähtää. Sinun visiosi on, että kun inkrementaalista parannusta sisältävä GPT-5 tulee, AI-ralli jatkuu. Olemme eri mieltä vain siitä, mikä on markkinareaktio. Toisin sanoen siis siitä, mitä “joku muu ajattelee”.

YouTubesta:
Kysymys.
…
12.45
model which is expected to bring the
12.47
company closer to AGI and I know you
…
Vastaus
…
15.00
you know inside the labs we have these
15.03
capable models and you know they’re not
15.08
that far ahead from what the public has
…

[Roope_K]

@Avokado

Bottom line on, että Miralta lipsahtaa tietoa siitä, missä labrassa olevat mallit menevät. Väite siitä, ettei tämä liity mitenkään GPT-5 kykyihin, on jo aika paksua.

Niin - putkessa olevat mallit ovat toki inkrementaalisia parannuksia nykyiseen, jos vertailukohtana on AGI (kuten kysymyksessä oli). Toki inkrementaalisuuden taso on myös jossain määrin subjektiivista, mutta esim. huhuttu SORA osana GPT5:sta on ainakin omasta mielestäni (ja myös topicin aiheena olevan Nvidian liiketoiminnan kannalta) varsin suuri inkrementti.

[Roope_K]

Noniin, Nvidia on nyt sitten itsekin mukana LLM-pelissä - esittelyssä Nemotron 340B: https://d1qx31qr3h6wln.cloudfront.net/publications/Nemotron_4_340B_8T_0.pdf

Päihittää mm. Llama3 70B ja Mistral 8x22B benchmarkeissa (toki on paljon isompi).

Vaatii vaatimattomat 16x H100 16 bitin flotareilla.

Ihan en osaa tulkita, miten tämä monetisoidaan. Lisenssi on vapaampi kuin muissa Open Source -malleissa, mutta en tiedä tekeekö se tästä vielä esim. start-upeille preferoidun mallin huomioiden tuo laskentavaatimusten määrä. Vai onkohan tarkoitus kirittää muita opettamaan yhä isompia malleja ja siten kuluttamaan enemmän Nvidian rautaa?

[Jarnis]

Kaikki NVIDIAn softakehitys on suunniteltu lisäämään raudan kysyntää ja potentiaalisesti ohjaamaan se NVIDIAn rautaan koska tietenkin NVIDIAn softa on suunniteltu ja optimoitu NVIDIAn raudalle ja muilla toimii jos toimii, ja jos toimiikin niin ei välttämättä niin hyvin kuin NVIDIAn raudalla.

[Roope_K]

Nvidia saa seuraavan kilpailijan Suomesta:

Prosessorien suorituskykyä jopa 100-kertaistava Flow Computing spinnasi...

Vakavasti puhuen ei tässä edes yritetä välttämättä ratkaista saman käyttöskaalan laskennan ongelmia, joita Nvidia kiihdyttää.

Sen sijaan samaa paradigman muutosta laajempaan rinnakkaisuuteen, jota Huang on jankuttanut pari vuotta, ajetaan suomalaisin voimin eteenpäin.

Ihan mielenkiintoista on, että Flow Computing väittää kykenevänsä kääntämään olemassa olevan ohjelmakoodin rinnakkain suoritettavaksi ilman koodimuutoksia ja hoitamaan säikeiden race conditionin yms. synkronoinnin 1/100 kustannuksella klassiseen CPU:hun verrattuna. Se, miten käskyistä tunnistetaan rinnakkaistettavat osat, on kyllä mysteeri ja varmaankin liikesalaisuus.

[VoidZ0ne]

Vähän tuohon WebUI:hin tai yleisemminkin Web + AI juttuihin mikä tästä tuli mieleen ja on mainitsemisen ja ehkä keskustelun arvoinen on WebGPU ja siihen liittyvät tulevaisuusskenaariot.

Vähän taustaa:
WebGPU on teknologia jonka pitäisi mahdollistaa helpommin näytönohjaimien ja vastaavien AI prosessointia tehostavien suorittimien (NPUt ja mitä näitä nimiä nyt on) käyttämisen suoraan selaimessa. Tämä voi johtaa siihen että kehittäjät alkavat enenevissä määrin joissakin ratkaisuissa suosimaan toteutuksia joissa serverin sijaan AI laskenta siirretään selaimessa suoritettavaksi kun läppäreissä alkaa olla tehokkaita AI:ta tukevia suorittimia (Applen M-sirut, tulevat Windows läppärit joissa sitten Qualcomin Snapdragon X-Eliteä, AMD:n/Intelin uusia suorittimia).

Näitä tukevia kirjastoja on esim sitten transforers.js jolla voi jo ajaa esim puheentunnistusta/kielimalleja selaimessa:
Puheentunnistus: https://www.reddit.com/r/LocalLLaMA/comments/1dbzxz7/whisper_webgpu_blazinglyfast_mlpowered_speech/
Kielimallit: https://webllm.mlc.ai/

[Avokado]

CTOn Google Scholar profiilista löytyy kasa patenttihakemuksia ja papereita. Liian kaukana mun osaamisesta, mutta varmasti alan ekspertti noista isot linjat kaivettua.

Martti Forsell

Performance and programmability comparison of the thick control flow...

Positiivista että taustat on kunnossa. Tässä maassa on liikaa BF-kusetuksia joissa hakijoiden tekninen osaaminen liittyy lähinnä PowerPointiin.

@VoidZ0ne kiintoisa toi WebGPU. Ideana kaiketi tehdä käyttäjälle läpinäkymättömiä sovelluksia jossa laskenta voi tapahtua lokaalisti tai serverillä tilanteesta riippuen. Jos WebGPUsta käyttö laajenee voi se alkaa nakertamaan CUDAn valta-asemaa.

[Roope_K]

Nvidia on nyt maailman suurin yhtiö. Iso kysymys on seuraavaksi, voiko se olla sitä kestävästi.

FT:ssä oli merkkipaalun kunniaksi mukavan karhuinen, mutta ihan tarkkanäköinen analyysi AI-yhtiöiden kehityksestä. Esim. Citi Bankin helmikuussa listaamista “AI-voittajista”, jotka 2023 raketoivat isosti, yli 60% ovat tältä vuodelta miinuksella. Pelkät lupaukset eivät enää riitä, nyt pitää olla näyttöjä AI-tuotoista. Ja lopulta aika pienellä joukolla niitä on näyttää.

Lainaus artikkelista:
Rob Arnott, chair of asset manager Research Affiliates, said the AI-linked rally still “has the look to me of a classic bubble”. “One of the things about a classic bubble is you do see smaller players fade before big ones start to suffer,” he said.

Nvidian kannalta olisi suotavaa, että mahdollisimman moni yhtiö pystyisi monetisoimaan AI-lupaukset nopeasti ja isosti. Nyt ei ehkä näytä siltä.

Koko maksullinen artikkeli luettavissa tästä: Most stocks hyped as winners from AI boom have fallen this year

[Sijoittaja-alokas]

Tässä alla olevassa tviitissä on hienosti käsitelty yhtiön kokoa, no joo… onhan näitä vertailuja aiemminkin ollut.

https://x.com/KobeissiLetter/status/1803429453898436666

[karhulalainen]

@Roope_K

Nvidia on nyt maailman suurin yhtiö. Iso kysymys on seuraavaksi, voiko se olla sitä kestävästi.

Aina yhtä ajankohtainen kysymys Nvidian kohdalta - mennäänkö todella sinne minne Jensen osoittaa polkua. Vuoden tähtäimellä Nvidian liikevaihto saadaan muiden isojen investoinneista, jotka edelleen maksetaan suoraan positiivisesta kassavirrasta. AI:n hyödyistä on nautittu jo vuosia, mutta kuitenkin hyötyprosentit hautautuvat kohinaan. Mutta pikkuhiljaa eksponentiaalinen AI:n kasvu alkaa näkyä. Esim. metaverse tyyppiset tehdassimuloinnit ja muutkin simuloinnit heittävät AI:n hyödyt ihan uudelle tasolle. Samoin kaikki AI terveydenhuoltoon ja lääketieteeseen tuottaa vielä massiiviset hyödyt. Minusta esim. Palantirin AIP antaa jo viitteitä, miten teolliset toimijat alkavat ulosmittaamaan AI:n hyötyjä. Kyllä se tästä lähtee, sen takia Nvidia on minun mielestä edelleen keskeinen osake hajautetussa salkussa, näilläkin kurssitasoilla.

[karhulalainen]

Jaan tämän saman ”videokoosteen” sekä Arm, että Nvidia ketjuun. Tässä on kyse henkilöstä nimeltään Masayoshi Son. Hänen videossaan esittämät visiot, toteutuessaan edes vähäisessä määrin, määrittelevät niitä uusia polkuja, jotka singauttavat AI:n merkityksen aivan uudelle tasolle. Tämä kooste pohjautuu youtubesta löytyvään videoon Softbankin yhtiökokouksesta 21.6.20204 (SoftBank Group Corp. The 44th Annual General Meeting of Shareholders - June 21, 2024). Kiinnostavimmat jutut 26 minuutin kohdalta alkaen.

Archived Video: SoftBank Group Corp. The 44th Annual General Meeting of Shareholders - June 21, 2024

Masayoshi Son on perustanut japanilaisen SoftBankin 1981. Masa on siis yrittäjä ja Japanin rikkaimpia henkilöitä. Seuraava kuva antaa pääpiirteittäisen kuvan Masan ja SoftBankin historiasta. SoftBank löytyy mm. Yahoon ja Alibaban takaa. Masa on tunnettu siitä, että hän teki yhtiönsä kanssa maailman isoimmat tappiot dot.com -kuplasta (1999-2002). Kuvasta voi päätellä sen, että SoftBank pysyi hengissä 2002 lähinnä pankkien hyvän tahdon ansiosta.

Videolla Masa kertoo, kuinka pari vuotta sitten hän oli epätoivoinen, koska ei ollut saanut mitään kunnollista aikaiseksi.

Nyt, 21.6.2024, hän paljasti, että vuosi sitten 11.6.2023, hän ymmärsi, että ASI, Artifical Super Intelligence, on se tarkoitus, johon hän on yhtiönsä perustanut. Kaikki tähän asti on ollut lämmittelyä tätä varsinaista tarkoitusta varten.

Videolla Masa käy läpi omaa ajatteluaan ASI:n osalta. AGI (Artifical General Intelligence) on vaihe, jossa tekoäly vastaa ajattelultaan viisaita miehiä ja naisia. Se saavutetaan muutaman vuoden kuluessa.

AGI:t verkottuvat ja syntyy ASI (Keinotekoinen Superäly). Se auttaa ihmisiä, se on hyödyksi.

Alla oleva kuva on kokonaisarkkitehtuurisesti kymppi. Kuva kertoo, kuinka Superäly laitetaan hommiin, eli tuottamaan konkreettisia asioita.

Eikä se ole kovin kaukana, 10 vuotta enintään.

SoftBank kertoo olevansa ASI-evoluutiossa keskeinen toimija Armin kautta

Koska Arm-arkkitehtuuri on juurikin AGI:hin ja ASI:hin sopiva

Edellisen johdosta en yhtään enää ihmettele, miksi SoftBank on puhunut, että Arm alkaa itse valmistaa siruja. Niitä nimittäin menee ja paljon, kun AGI viedään reunalle

Kumppanit ovat jo löytyneet

Seuraava kalvo on tärkeä – Masan mukaan kaikki toimijat tarvitaan yhteistyöhön.

Videosta käy ilmi, miten varma Masayoshi Son on visiostaan. Huomatkaa Masan tahtotila alla olevasta kuvasta. Sehän kertoo, että nyt mennään eikä meinata! SoftBank ja Masayoshi Son ovat olemassa tuottamaan Superälyn, yhdessä kumppaniensa kanssa. Kaikki mitä SoftBank on tähän mennessä tehnyt, on ollut lämmittelyä tätä seuraavaa vaihetta varten.

[Sijoittaja-alokas]

https://x.com/Mayhem4Markets/status/1804854875055964214

Tviitti Nvidian sisäpiirin myynneistä. Otin yhden olennaisen vastauksenkin talteen tuonne alle liittyen tähän tviittiin.