Mä en suoraan sanottuna ymmärrä, miksi kilpailijat eivät vain laita kaikkia resursseja ROCm/OpenCL kehitykseen ja PyTorchin pyörittämiseen ko. arkkitehtuureilla. Miksi säätää jotain uusia avoimia systeemejä, kun valmiit on jo olemassa? Tällä tavoin voitaisiin saada mutulla 95% datatieteilijöistä täysin indifferenteiksi alla olevan GPU:n suhteen. Nyt säädetään ties minkälaista proggista saturoituneilla resursseilla samalla, kun Nvidia vain kasvattaa jäätävällä osaamiskeskittymällään etumatkaa.
1 tykkäys
No siis tämän uuden keitoksen pohjana on alla ymmärtääkseni OpenCL, mutta kai tässä on ideana helpottaa sovelluskehittäjien elämää pinoamalla päälle kasa tavaraa joka korvaisi vastaavaa NVIDIAn tarjoamaa tavaraa.
1 tykkäys
Eihän näistä asioista aina tiedä, mutta minä otan sen kannan, että nyt on käynnissä sirutoimialalla se kuuluisa sekulaarinen trendi. NVIDIAn Blackwellit ovat vielä perus bulkkia, ja pikkuhiljaa toimialakohtaiset ratkaisut valtaavat alaa.
8 tykkäystä
Mä en kyllä usko, että alla oleva laskentarauta muuttuu mitenkään toimialakohtaiseksi eikä tuossa mielestäni sitä tarkoiteta.
Sen sijaan sovellukset voivat sellaiseksi hyvinkin muuttua. Ainakin vielä tekoäly on sitä käyttökelpoisempi, mitä kapeampi ratkaistava ongelma - myös jopa LLMien osalta.
Pikemminkin blackwelleillä yms. tuotettava laskenta on muuttumassa samanlaiseksi yleishyödylliseksi commodityksi kuin sähkö ainakin jos Huangiin tai vaikkapa Altmaniin on uskomista.
Tuo ennustekäyrä on myös ihmeellisen matala. Eikö projektiot pelkästään Nvidian osalta ole jo kuluvalle vuodelle siellä jossain $100B nurkilla? AMD:n Su ennusti joulukuussa $300B TAMia 2027 mennessä.
4 tykkäystä
Niin, Beth osaisi kertoa enemmän jos siltä kysyisi. Mutta pääteema on tuo trendi, joka tietysti voi sisältää minisyklejä, minitaantumia, kuten oli 2022. Eteen tulevia minisyklejä on hankala treidata, kuten oli 2021 - 2022. Ehkäpä tässä puhun itselleni, että hold tight 
4 tykkäystä
Riippuu siitä, miten kapeaksi “toimialan” määrittää. Mielestäni tässä voi kuitenkin olla yhdenlainen selkeä mahdollisuus skaalata rautaa reilusti tehokkaampaan suuntaan.
Esimerkiksi NVidia tarjoilee Blackwellien kanssa tensor coreilla laskettavaksi niin erilaisia formaatteja aina FP4-FP64 asti. Ainakin FP32:lle taitaa olla ilmoitetuista nopeuksista päätellen kokonaan HW-tuettu laskenta, FP64 mahdollisesti jollain tapaa emuloitu, koska se on niin reilusti FP32:ta hitaampi. Ja tensor coreilla siis saadaan tehtyä rinnakkaisia kertolaskuja ja yhteenlaskuja nopeasti matriisilaskennan hengessä.
Mitä jos esim. kävisi niin, että pelkästään FP4 riittäisi lopulta hyödyllisimpien neuroverkkojen inferenceen? Ja jos AI tulee “joka puolelle” käyttöön, niin tällöin varmastikin inferencen suhteellinen osuus laskentakuormasta alkaisi kasvaa reilusti. Tällöin esim. Blackwellien monimutkaiset tensor-coret olisi redusoitavissa pelkästään FP4 -tuen omaaviksi, jolloin rauta olisi selvästi yksinkertaisempaa (vähemmän transistoreja) tai sitä voisi vaihtoehtoisesti samalla piilastulla huomattavasti enemmän.
Tai sitten tämä vaihtoehto, jota itsekin spekuloit toisessa ketjussa:
Tuollaisten ternary bittien käyttö tekisi vielä edelleen HW-vaatimuksista yksinkertaisemmat, jos ei tarvitsisi tukea geneerisiä tensor coreja ollenkaan. Eli jos tuo osoittautuisi toimivaksi ratkaisuksi, niin tavalliset tensor coret voisi raapaista kokonaan pois ja tilalle saisi moninkertaisen määrän yksinkertaisia operaatioita tekeviä ternary bittien tensor coreja.
Samalla voisi tietysti dropata pois kaikkea muuta tarpeetonta monimutkaisuutta raudasta, jos sillä on tarkoitus ajaa lähinnä noita yhdenlaisia operaatioita. Blackwell soveltuu edelleen kuitenkin varsin geneeriseen laskentaan, mikä voi jossain tilanteissa olla hyvä, mutta jos sitä käytetään hyvin paljon vain yhteen tarkoitukseen, niin se on ehkä tarpeettoman monimutkainen työväline siihen. Yhden tarkoituksen laskimen voisi siis rakentaa halvemmalla, yksinkertaisemmin ja paremmilla yieldeillä.
Jos oikein villisti visioi, niin voisiko esim. inferenceen sopivan raudan rakentaa kokonaan eri näkökulmasta kuin geneerisen laskimen? Noissa Blackwellin kahdessa chipissä on kuitenkin yli 200 miljardia transistoria, eli massiivinen kompleksisuus on kyseessä ja vaan yhtä operaatiota tehdessä siitä kompleksisuudesta suurin osa menee hukkaan.
Jos esim. käytettäisiin ternary bittejä, niin voisiko olla järkevää rakentaa rauta niin, että se laskee esim. rinnakkain neuroverkkomallin yhden layerin operaatiot samanaikaisesti (tai vain parissa erillisessä osassa) ja sitten layerit peräkkäin. Tähän voisi integroida muistin / välimuistit sillä tavalla sopivasti, että kerroindata ja edellisen layerin inputit olisivat optimaalisesti haettavissa layerien välissä. Tuolla raudalla ei sitten paljon muuta tehtäisi, mutta se olisi todennäköisesti äärimmäisen tehokas niin suorituskyvyn kuin sähkön kulutuksenkin osalta juuri tuossa yksittäisessä operaatiossa. Ja todennäköisesti se olisi myös huomattavasti yksinkertaisempi suunnitella ja halvempi valmistaa kuin monimutkaisempia operaatioita tekevä, transistorimäärältään paljon isompi chippi.
Tällä tavalla toteutettu ratkaisu ei välttämättä vaatisi mitään sen kummempaa ohjelmoitavuutta nykyisten GPU:den tyyliin (vrt. esim. GPU:lla suoritettavat ohjelmakoodi) vaan toiminta voisi olla varsin pitkälle hardkoodattua ja kaikki HW-optimoinnit voisi suunnitella sen ympärille. Tuo olisi enemmänkin jonkinlainen “signaaliprosessoritoteutus” kuin geneerinen laskin. Syötedata ja neuroverkon kerroindata vaihtuisivat, mutta operaatiot olisivat paljolti fiksattuja ja parametroitavissa ainoastaan esim. verkon topologian parametrien kautta (layereiden määrä, nodejen määrä layereissä tms.).
Tuo voi olla edessä sitten, kun tarkemmin tiedetään, millaisia ratkaisuita tullaan tarvitsemaan. Ja se voi tarjoilla ehkä mahdollisuuden joillekin kammeta NVidia ainakin osin pois jakkaralta, jos löytyy sopivia yksinkertaisia ja käytännöllisiä “sovelluskohtaisia” ratkaisuita.
Vastaavaa optimointia voisi olla tehtävissä myös neuroverkkojen opetusta ajatellen. NVidia myy nyt kuitenkin AI-käyttöön sveitsiläistä linkkuveistä, josta sitten monessa AI-käytössä ehkä lopulta tarvitaan vain korkkiruuvia ja hammastikkua. Erillinen korkkiruuvi ja hammastikku voisivat olla sekä halvemmat toteuttaa että tehokkaammat käytössä.
6 tykkäystä
OpenAI + Microsoft investoivat $100B AI-datacenteriin. Nvidiaa ei ole mainittu eikä tietenkään koko satanen mene chippeihin, mutta aika isolla todennäköisyydellä iso siivu tuosta menee Nvidian yläriville. Vaikea on kuvitella, että tuonne lähdettäisiin hankkimaan jotain muuta kuin parasta laskentarautaa, jota tältä planeetalta löytyy. Aika makoisa uutinen mielestäni siis Nvidian omistajille: https://www.hs.fi/talous/art-2000010327896.html
Edit: Tom’s Hardware raportoi aika paljon pessimistisemmin Nvidian suhteen tästä projektista:
“It sounds like the companies are also potentially using this phase of design to move away from reliance on Nvidia. The report claims that OpenAI wants to avoid using Nvidia’s InfiniBand cables in Stargate, even though Microsoft uses them in current projects. OpenAI claims it would rather use Ethernet cables.”
9 tykkäystä
Ovat nämä aika uskomattomia uutisia. Mutta samalla puolijohdevalmistusta pitää lisätä USAssa. Arvelen, että tänään n. 90% puolijohteista tehdään Taiwanissa, ja Kiinariski on iso. Jenkit ei kyllä lähde tuohon investointiohjelmaan ilman Intelin uusimpia USA:n puolijohdetehtaita, tai ainakin lupaus tuotannosta USAssa muutaman vuoden päästä pitää olla. Nyt jos olisin Taiwan Semiconductor Manufacturing Company -sijoittaja, hajauttaisin Inteliin. Mutta tää oli mutu pohdintaa, paitsi uskon vahvasti, että tuo Taiwan keskittymä tulee purkautumaan.
Sitten vielä itse uutisesta. Ajattelen samalla tavoin kuin @Roope_K . NVIDIA on keskiössä. Hanke on niin iso, että hankeen aikana varmasti syntyy uusia innovaatioita, ja NVIDIAn kirittäjätkin saavat rooleja. Tämä uutinen kyllä pehmentää sijoittajien käsitystä NVIDIAn syklisyydestä, ja säädän myöskin omaa käsitystäni. Voi olla, että nämä sekulaarisen trendin uutiset ja investoinnit pienentävät lyhyen aikavälin syklien syvyytä, mutta tietysti sekulaarinen trendikin joskus kääntyy. Mutta lähiajat mennään aika haipakkaa.
7 tykkäystä
Hyvä twiittiketju Nvidian CEO:sta. Lukeminen kestää 
verran. Kaverin ajatuksia voisi käyttää Suomalaisessa yrityskentässä enemmänkin. Varmaan se jotakin tietää, kun on luonut Nvidiasta maailman kolmanneksi arvokkaimman yhtiön?
“I have low expectations” - Jensen Huang
6 tykkäystä
Salkunhoitaja Juuso Kenkkilä oli Alexandra Huhtan haastattelussa. Teemana oli seitsikko ja Kenkkilä hehkutti näistä eniten Nvidiaa.
Luettava osuus on lyhyt, mutta linkin takaa löytyy noin 12,5 minuutin haastattelu, joka ei ole maksumuurin takana.
6 tykkäystä
Ei varmaan yllättävää tarkemmin yhtiötä seuranneille, mutta ihan kiinnostava tviitti varmaan useimmille.
6 tykkäystä
Voi olla, että tästä on ollut aikoinaan puhetta, mutta Acquired on tehnyt pari vuotta sitten aivan mielettömän hyvän podcast-trilogian Nvidiasta, jossa riittää kuunneltavaa yhteensä reilun 7 tunnin edestä. Trilogia on jaettu Nvidian historian perusteella kolmeen eri ajanjaksoon ja vaikka voi tuntua turhalta kuunnella siitä, missä Nvidia oli 20 vuotta sitten, oli se mielestäni kaikkea muuta kuin turhaa jos haluaa ymmärtää millaisen kehitysmatkan yhtiö on kulkenut ja kuinka lähellä konkurssiakin on käyty riskillä yhden ainoa oljenkorren varaan heittäytyen.
Podcastissa käytiin myös läpi luonnollisesti Nvidian nykyistä tilannetta (kolmas osa viime syyskuulta) ja se auttaa ymmärtämään, minkä takia kilpailijoiden on äärimmäisen vaikea lähteä haastamaan Nvidiaa kokonaisvaltaisesti. Siinä vaiheessa kun kilpailija päättäisi lähteä mukaan juoksukisaan, ei riitä että kilpailija saavuttaa Nvidian nykyisen aseman, vaan kilpailijan pitäisi juosta niin lujaa, että se ei ainoastaan kirisi, vaan myös ohittaisi sen etumatkan, jota Nvidia parhaillaan repii koko ajan lisää.
Arvostuksesta oltiin luonnollisesti samaa mieltä, kuin meikäläinen ja varmasti moni muukin. Onhan se suolainen. Toisaalta niin kauan Nvidian nykyiset asiakkaat saavat niin paljon vastinetta rahalle kuin he tällä hetkellä saavat (eivätkä ala itse kehittämään omia ratkaisujaan), takoo Nvidia hurjaa tulosta käsittämättömän hyvillä katteilla ja arvostus on jokseenkin perusteltavissa.
Suosittelen aloittamaan tästä ensimmäisestä jaksosta:
Ja trilogian jälkeen kannattaa vielä kuunnella 90 minuuttinen haastattelu yhtiön CEO:n Jens Huangin kanssa:
Ei voi muuta kuin lämpimästi suositella näitä kaikille omistajille ja yhtiöstä kiinnostuneille. Herrat osaavat tehdä kyllä timanttisia podcasteja ja tällä kertaa erityisen kiinnostavasta yhtiöstä. 
14 tykkäystä
Acquiredin Nvidia-jaksoja on tullut hehkutettua täällä moneen kertaan, mutta ei haittaa ollenkaan, että niitä nostetaan tänne tasaisin väliajoin muistutuksena. Nämä ovat täydellisen ultimaattinen starter pack, jokaiselle omistajaksi ryhtymistä pohtivalle.
Etenkin nämä Acquiredin tech-jaksot, kuten Nvidia, ovat ihan täyttä timanttia. Aivan käsittämättömällä asiantuntemuksella ja tarkkuudella ko. herrat pystyvät juttelemaan kaikesta CoWoSista, verkkoteknologioihin ja CPU-kellotaajuuksiin. Lähinnä Lex Friedman on huippupodcastereista samalla tasolla.
Hyvä nosto!
8 tykkäystä
-
New speaker announced! Join Michael Dell and special guests including Jensen Huang, Founder & CEO of NVIDIA at #DellTechWorld in Las Vegas to discuss how we’re unleashing the #AI revolution and igniting the power of technology.
Register Now 
2 tykkäystä
Laitan tännekin tuonne puolijohdeketjuun kirjoittamani jutun Taiwan Semiconductorin Q1 tuloksesta. Kun kerran siinä NVIDIAankin viittaan.
Muutamia nostoja Taiwan Semiconductor Manufacturing Company:n (TSMC) Q1 osavuosikatsauksesta/sijoittajapuhelusta. Q4/2023 TSMC ennusti puolijohdemarkkinan (semiconductor market, excluding memory) kasvavan yli 10% v. 2024 ja nyt he ennustavat tuon markkinan kasvavan n. 10% (vetivät hieman alas). Vastaavasti Q4/2023 TSMC ennusti puolijohteiden valmistuksen (foundry industry) kasvavan 20% vuonna 2024. Nyt ennuste oli 15%-19% (samoin alensivat ennustetta).
Mutta TSMC:n oma liikevaihtoennuste vuodelle 2024 ei muuttunut, eli 21%-25%. Itse vedän sellaisen yksinkertaisen johtopäätöksen, että ns. vanhan tekniikan (non-accelerated) puolijohdemarkkinan kasvu on loppu, ja se näkyy tuossa TSMC:n koko maailman puolijohdemarkkinaa kommentoivassa ennusteessa. Mutta TSMC:llä AI tuotteet kompensoi vanhan tekniikan kysynnän hiipumista.
Kaikista olennaisin TSMC:n viesti AI toimialasta on se, että TSMC:n mukaan server AI prosessorien kysyntä kasvaa 2024 ja seuraavat 5 vuotta 50% joka vuosi (For the next 5 years, we forecast it to grow at 50% CAGR). Tänä vuonna tuon liiketoiminnan osuus TSMC:n liikevaihdosta on reilut 10% ja vuoteen 2028 mennessä se kasvaa yli 20%:n. Itseni kyllä yllättää se, että noiden AI tuotteiden osuus TSMC:n liikevaihdosta on noinkin pieni. Eli suurin osa, 90%, puolijohteista menee ihan perustavaraan, esim. perus palvelin, perus puhelin, perus auto, perus kulutuselektroniikka.
Eli kun NVIDIA:n Jensen tuo aika-ajoin pöytään isoja uudistamistarpeita viitaten koko maailman HW infraan, niin Jensen on asian ytimessä. 90% on vielä non-accelerated ja jossain vaiheessa 90% pitää olla accelerated, jos infra toimija aikoo pysyä markkinassa.
Alla minusta paras pikakiteytys TSMC:n Q1 tuloksesta niille, jotka nyt sijoittaa tai aikoo sijoittaa AI:hin.
TSMC hikes revenue target on AI server demand - Mobile World Live
14 tykkäystä
Pekan tviittiketju NVIDIAsta.
7 tykkäystä
Koitin rakentaa regressiomallia Nvidian kurssin ja tuloksen yhteydestä, mutta siitä ei tullut oikein eleganttia. R oli kuitenkin 0,9295, eli Nvidian kurssi korreloi voimakkaasti tuloksen kanssa noin 15 vuoden datan pohjalta.
PE 3kk tulokselle on nyt noin 40. Vuodesta 2010 vuoteen 2016 Nvidia on treidannut noin 20 mediaani PE:llä ja siitä eteenpäin noin 40 mediaani PE:llä. Viime vuosina PE on käynyt korkeimmillaan 170 paikkeilla.
Johtopäätös on, että minun ei tarvitse odottaa edes kovin kummoista tuloskasvua Nvidialta omistaakseni yhtiötä rauhallisin mielin. PE 40 on aivan tavanomainen arvostuskerroin tälle firmalle pitkällä aikajänteellä. Suurin uhka olisi, että tulos romahtaisi dramaattisesti. Sellaista ei kai näytä olevan näköpiirissä.
6 tykkäystä
Itse luulen että kurssi ottaa hittiä heti kun kasvun hidastuminen on nähtävissä. 20 vuotta sitten oli muuten edellinen vastaava infran rakennusvaihe, sillä kertaa oli kyseessä internet ja firmana Cisco. Jossain vaiheessa se Nvidiankin kasvu hidastuu kun AI-inframarkkina saturoituu ja/tai kilpailijat saavat kiinni.
16 tykkäystä
Minun on vaikea nähdä muuta kuin ulkoisia yhtymäkohtia Ciscon tilanteeseen 2000 ja Nvidian tilanteeseen 2024. Kumpikin on merkittäviä rautavalmistajia ja oman aikansa suurimpia yhtiöitä. Mutta sitten:
-
Ciscoa ostettiin vuonna 2000 yli PE 200 kertoimilla. Nvidian 3kk PE-kerroin ei ole toistaiseksi rikkonut PE 50 rajaa tällä kvartaalilla
-
Ciscon tulos kasvoi 07/97–07/00 146 %. Nvidian tulos kasvoi 01/21–01/24 670 %
-
Ciscon 12kk ROCE oli 07/2000 16,85 %. Nvidian ROCE oli 01/24 75,96 %
-
Ciscon tulos meni pakkaselle vuonna 2001. Kukaan tuskin odottaa Nvidian tuloksen menevän pakkaselle vuonna 2025
-
Ciscoa sopii mielestäni verrata enemmänkin Arista Networksiin, SMCI:hin, Nokiaan tai Ericssoniin. Nvidian verrokkeja ovat esim. Intel ja AMD. Niitä Nvidia vie kuin litran mittaa
Kyllähän kaikenlaista voi tapahtua. Markkina voi saturoitua, kannattavuus ja tulos kääntyä laskuun. Kurssi voi lähteä laskuun myös pelkän markkinasentimentin mukana. Tai sitten mörnintää voi olla luvassa sijoittajien epäuskon takia. Sijoittajat vetävät rahojaan pois Nvidiasta ja laittavat niitä joihinkin seuraavan aallon spekulatiivisiin AI-bumtsibumeihin. Jos itse haluaisin alentaa riskitasoani, hajauttaisin teknopositioni Nvidiasta osittain esim. Broadcomiin ja Microsoftiin.
Nvidia on kuitenkin paras siruvalmistaja enkä usko etulyöntiaseman katoavan mihinkään. Yhtiö aikoo tuoda uusia AI-siruja markkinoille jatkossa vuosittain. Jonkun lähteen mukaan AI-sirujen käyttöikä on 3 vuotta. Ei se kysyntä tule mitenkään äkillisesti häviämään. Muut teknojätit yrittävät varmasti kovasti kehittää omia sirujaan vähentääkseen riippuvuuttaan Nvidiasta. Jää nähtäväksi, miten se käytännössä onnistuu.
24 tykkäystä
Hyviä pohdintoja @Alan_Cali ja @Loyly. Olen itse jäsentänyt tuon Cisco - NVIDIA vertailun niin, että “Nyt asiat on toisin” . Näiden sanojen jälkeenhän tavallisesti alkaa alamäki. Vuoden 2000 internet loi kommunikointi-infran (spostit, www-sivut, etätyöt, mobiilidata, some jne.). Nykyinen AI boomi tuo erilaiset simuloinnit ja Metaverset, jotka suoraan säästää rahaa kun vaikka tuotanto voidaan simuloida ennen tehtaan rakentamista. AI tuo terveydenhuoltoon ja hyvinvointiin merkittävästi potentiaalia meidän kaikkien hyväksi. AI:n isoimmat jutut ovat nurkan takana tulossa. Materiaalien, lääkkeiden, akkujen yms. kehitystä tehdään tekoälyn/simulointien avulla. NVIDIA simuloi kvanttilaskentaa jo nyt ja parin vuoden sisällä kvanttilaskenta lyö läpi ja silloin kaikki nyt tehtävä laskenta ja simulointi voidaan tehdä vaikkapa miljoona kertaa tehokkaammin ja vähemmällä energialla kuin nyt isoimmissa GPU keskuksissa. Tämä oli oma näkökulmani nykyhetkeen ja salkkustrategiani punainen lanka.
7 tykkäystä