NVIDIA - Mahdottoman mahdollistaja

Osakkeet
700

Jokohan “huhut” Blackwellin viivästyksistä voidaan lopullisesti unohtaa?

Viime viikolla Nvidia toimitti OpenAI:lle ekan DGX B200:sen. Tuon pömpelin hinta on noin $500 000:

image
image707×711 63.8 KB

Huang kävi itse CNBC:llä kertomassa, kuinka Blackwell on täydessä tuotannossa, kysyntä on huippukovaa ja kaikki on menossa suunnitelmien mukaisesti. Tom’s Hardwaren mukaan Blackwellit on loppuun myyty seuraavaksi vuodeksi.

Ainakin TSMC:n myyntilukujen perusteella näyttäisi kaikki menevän taas putkeen. TSMC:n syyskuun kasvu oli 40% ja koko Q3 36.5%, mikä ylitti odotukset selvästi:

14 tykkäystä
701

Mitä porukka on mieltä kurssin kehityksestä? Hyppäsin mukaan 110 kohdalla suht pienellä määrällä kun tuo kuplan puhkeaminen pelottaa. Mutta nyt ollaan jo lähellä 135 ja suunta näyttää ylöspäin. Ehkä tässä syksyn aikana jo 150 puhkaistaan.

1 tykkäys
702

Tuossa muutama viesti ylöspäin on havainnollistusta siitä, miten Nvidia voi olla arvoltaan suurin piirtein mitä vain $0-$20T väliltä seuraavan vuosikymmenen aikana. Jokaisen tehtäväksi jää miettiä se, mitkä todennäköisyydet eri skenaarioille antaa ja miettiä sen pohjalta sijoitus-casen järkevyyttä.

Kuten täällä on lukuisia kertoja puhuttu, aika moni asia saa mennä nappiin, että edes nykyinen arvostus on kestävä. Esim. TTM PE on 63x ja seuraavan vuoden konsensuksella laskettu eteenpäin katsovakin PE 46x. Onhan nuo aika kuumia arvostuksia eivätkä ne todennäköisesti kestä oikeastaan mitään säröä tarinaan - kuten esim. tuotantoviivästyksiä, isompia kaupparajoituksia (kts. USA:n vaalit), marginaalien pienintäkään heikkoutta tms…

Toisalta mitään järisyttävää scifiä tarvitse keksiä esim. siihen skenaarioon, että 2026 EPS konsensus on totaalisen alakanttiin (kuten Nvidian kohdalla on ollut viimeiset 24kk). Mielestäni ei ole nykytiedon valossa mitenkään mahdotonta, että Nvidia myy Blackwellin vetämänä CY '25 aikana rautaa +$200B edestä 55% nettomarginaalilla, jolloin EPS olisi karkeasti $4.5 ja PE vuodelle '25 nykykurssilla “enää” 29x.

Kuplaa en kuplan sanakirjamääritelmän mukaisesti Nvidian kohdalla varsinaisesti ainakaan itse näe vielä. Toisin kuin yleensä kuplassa, Nvidian kohdalla liiketuloksen järistyttävä kasvu on vetänyt markkina-arvon ylös. Kuplissa taas yleensä markkina-arvo menee ensin ylös ja sen jälkeen mietitään, mistä se tulos joskus tehdään. AI-raudan yli-investointeja, jotka voinee luokitella kuplaksi, on tosin tehty kuten täällä on myös moneen kertaan keskusteltu.

Ja toistan vielä, jokaisen tehtävä on itse miettiä, onko markkina-arvon taustalla olevissa oletuksissa mitään järkeä. Tämä kommentti ei ole neuvo sijoittaa tai olla sijoittamatta Nvidiaan.

14 tykkäystä
703

Nämä “ehtiikö vielä mukaan” henkiset kysymykset ovat minusta parhaita, kiitos keskustelun virkistämisestä @eM86. Niin, ja loppujen lopuksi kaikki ovat tänään samalla viivalla Nvidian kanssa. Jokainen kokee saman tuoton maanantaista eteenpäin riippumatta milloin on mukaan tullut.

Tässä ketjussa on tuota Nvidian tulevaisuutta povattu innokkaasti ihan viime viikkoinakin. Laitan alla jakoon artikkelin, joka kivasti peilaa asioita, jotka luovat ennen näkemättömän potentiaalin luoda lisäarvoa tästä eteenpäin. Artikkelissa mainitaan robotiikka, AI-simulointeja hyödyntävä lääketiede, sään ennustaminen jne. Kaikki ovat merkitykseltään sähkön ja öljyn keksimisen suuruusluokkaa. Ja Nvidia tuon sen ohjelmistoinfran, jolla em. asiat saadaan aikaseksi. Bonuksena artikkelissa on Nvidian oma arvio AI:n merkityksestä toimialoille, 20T taalaa, eli 20 tuhatta miljardia taalaa. Itse olin aiemmin hihasta ravistanut arvon 10T. Pointti on se, että Nvidia saattaa muutaman vuoden päästä olla kiistatta maailman merkittävin IT yhtiö, eli merkittävämpi kuin Microsoft ja Apple, ja silloin niiden markkina arvo alkaa jäädä jälkeen Nvidiasta.

12 tykkäystä
704

Blackwellin loppuunmyynti käytännössä tarkoittaa, että Nvidian AI-myyntiähän on suhteellisen helppo haarukoida tulevalle vuodelle.

TSMC:n arvioidaan tuottavan Q1:llä 700k-800k yksikköä B-sarjalaisia. Keskimääräinen myyntihinta (ilman mitään DGX-härpäkkeitä) on $60k-70k.

Jos olettaa, että esim. tuo 800k alkaa olemaan lähellä täyttä tuotanto ramp-uppia ja ottaa esim. tuon keskihinnan keskikohdan, saadaan ekstrapoloimalla BW-myynniksi $208B. Tähän päälle tulee sitten vielä se $10-15B muilta tuotelinjoilta ilman mainittavia kasvuodotuksia. Tällä hetkellä korkein revenue-odotus on $223B ja konsensus $176B.

Lienee ihan oikeutettua myös olettaa, että B-sarjalaisten marginaalit ovat Hopperien tasolla (jotkut lähteet puhuvat suuremmistakin marginaaleista, mutta ei keulita). Olettamalla 55% nettomarginaalia, saadaan ensi vuoden EPS:ksi tasan $5.

Onko jollain parempaa näkemystä oletuksista lukujen takana (tuotantovolyymi / myyntihinta)?

10 tykkäystä
705

Eiköhän me tuolla estimaatilla hyvin pärjätä. Kaupat ja hinnat on varmaan jo lyöty lukkoon. Valtava tulos tiedossa. Mutta seuraavaksi pitäis alkaa hahmottaan vuotta 2026…

4 tykkäystä
706

Aivan timanttinen artikkeli. H100 GPU-tarjonta on ylittänyt rajusti kysynnän ja kapasiteetin hinta laskenut alle 12kk:ssa keskimäärin +40%. Vuosi sitten hinnat olivat (jos H100:seen pääsi ylipäätään käsiksi) jopa $8/h. Nyt vahvistetusti $2/h, mutta jopa $0.5/h hintoja markkinoidaan. Nvidian markkinointipuheet data center -toimijoille lupasivat $4.5/h, joten aika paljon ollaan tästä pudottu ja luonnollisesti tuotot arvokejussa sulaneet.

Käytännössä tarkoittaa, ettei uutta H100:sta ole juuri järkeä kovinkaan monen tahon enää ostaa. Monet data center -toimijat tekevät näillä hinnoilla tappiota ja mallikehittäjille H100 vuokraus voi olla useassa tapauksessa ostoa halvempaa.

Ainakin itselle jättää kyllä avoimeksi sen kysymyksen, että kuka näitä sitten vielä ostaa uutena Q3-Q4 kymmenien miljardien edestä? Kiinnostavaa on myös se, miten eri toimijat varautuvat samaan efektiin Blackwellin kanssa. Vai pitääkö Nvidian n. vuoden lauch-sykli huolen siitä, että pakko on investoida uusimpaan rautaan ja koittaa tiristää tavalla tai toisella ravintoketjun alemmilta toimijoilta väistämättä eteen tuleva depreciation loss?

12 tykkäystä
707

Joo pitää huolen. Jensenin puheet siitä, että “investoi uuteen niin säästät rahaa”, pitää sisällään ainakin sen jujun, että uusi mallisto kun tuodaan myyntiin, niin sen laskentakyky on vaikka 10x edelliseen, ja energian kulutus noin sama.

6 tykkäystä
708

Hetkinen. Nvidian päätuote on laskentateho. Ja markkinoilla on jo nyt ylikapasiteettia laskentatehosta? Niin paljon, että Nvidian tuotteita ostavat tekevät niillä tappiota?

Jos edes nykyisellään laskentateholle ei ole tarpeeksi kysyntää, niin mitä käy Blackwellin myötä, kun sen laskentateho on vielä moninkertainen vs. H100? Nvidian odotetaan myyvän ensi vuonna enemmän Blackwellia, kuin tänä vuonna myydään H100:sta?

11 tykkäystä
709

Avoin kysymys on kuinka iso osa markkinasta on nämä “osta meiltä kapasiteettia x taalaa per tunti”-tarjoajat. Epäilen että ne ovat oikeasti aika pieni osa markkinasta ja valtaosa raudasta menee isoille toimijoille heidän omaan käyttöön. Voin kuvitella että on demand laskentatehon kauppaajilla oli hyvät katteet kun raudasta oli oikeasti pulaa, ja sitten kun pula hellittää ja kaikki saavat ihan omat serverit, vuokraajien kysyntä dippaa ja hinta menee sen mukana. Mutta jos nämä oikeasti ovat vain muutama prosentti raudan menekistä, se on pyöristysvirhe kokonaisuudessa.

9 tykkäystä
710

Kyllä. Tosin pitkässä kuvassa tämä ei varsinaisesti ole uusi juttu. Jokainen voi katsoa, paljonko maksaa GPU-tunti vielä vanhemmalle Amperea tai Teslaa käyttävälle laskennalle - ei käytännössä enää mitään (alimillaan senttejä per tunti). Laskentateholle yleisesti ei varsinaisesti ole ollut missään vaiheessa alitarjontaa - alitarjontaa on ollut H100-raudan tarjoamalle laskentakyvylle, jotka ovat välttämättömyys GPT4-o -luokan mallien treenaamiselle.

Mutta kyllähän tämä itselleni tosiaan herättää nimenomaan sen kysymyksen, että kenellä on insentiivi enää ostaa H100:sia vielä Q3 ja Q4 yhteensä karkeasti ennustetulla 50 miljardilla, jos kerran tuloslaskelmiin pitää potentiaalisesti kirjata suurin piirtein yhtä iso arvonalenema lähes heti. Toki jos joku malli on pakko saada seuraavan 12kk aikana treenattua, niin vaihtoehdot ovat aika vähissä Blackwellin sold out -uutisten myötä.

Näkisin, yllä olevaan peilaten, että huoli ei liity laskentatehoon itsessään. Itsellä huoli liittyy siihen, että varmasti arvoketjussa osataan paremmin varautua siihen, ettei tulevaisuudessa ainakaan omalle kohdalle jää nyt nähdyllä tavalla musta pekka käteen, kun B-sarjalaisista alkaa olla ylitarjontaa Rubinin tulevan ramp-upin alla. Jos vaikutukset valuu arvoketjussa millään tavalla ylöspäin, se voi tietysti esim. vaikuttaa Nvidian marginaaleihin tai vähentää intoa investoida Nvidian rautaan yhtä isosti kun tässä supersyklissä on nyt nähty. Tosin just nyt ei ainakaan Blackwellin osalta seuraavan 12kk suhteen näytä juuri olevan pelkoa tästä.

Just näinhän se menee. Tossa artikkelissa oli myös hyvin kuvattu sitä, miten tämä tosiaan ei myöskään ole uusi tilanne ja monet toimijat ovat osanneet varautua siihen mm. kiinteillä soppareilla. Isot toimijat (AWS:t yms.) taas voivat edelleen veloittaa korkeampia hintoja järjettömien switching costien vuoksi.

Häviäjät ovat ne infra-tarjoajat, jotka ovat päässeet peliin kunnolla mukaan vasta myöhemmin: " And if the price falls below $1.65/hour, you are doomed to make losses on the H100 over the 5 years, as an infra provider . Especially, if you just bought the nodes and cluster this year."

Ja olihan tuossa myös palloteltu sitä, että halventunut H100-tason laskenta lisää mahdollisuuksia kehittää uusia malleja, mikä voi sataa pitkässä juoksussa taas Nvidian laariin. Joka tapauksessa kiinnostava katsaus ja ainakin itselle herätti taas paljon ajatuksia tulevaisuuden skenaarioavaruuden hahmottamiseksi.

12 tykkäystä
711

Taiwan Semiconductor Manufacturing Co Ltd (TSM) Q3 2024 sijoittajapuhelu antaa vahvoja signaaleja sille, että Jensenin puheet uudesta teollisesta vallankumouksesta eivät ole vain hänen omia fantasioitaan, vaan myös TSMC näkee oman kasvunsa olevan vahvaa vuosikymmenen loppuun. Poimintoja TSMC:n toimitusjohtajan Q3 sijoittajapuhelusta:

The demand is real. And I believe it’s just the beginning of this demand . All right. So one of my key customers said, the demand right now is insane. That’s it’s just the beginning, it’s a form of scientific to be engineering. Okay. And it will continue for many years.

We have a very good growth. As you said, it’s always a 20% to 30%. Next five years, it will be very healthy also to TSMC, but I don’t have a long-term CAGR number to update you, but they will be very healthy also. That’s so far I can assure you.

Eikä TSMC jätä asioita puheen asteelle, vuosikymmenen loppuun mennessä TSMC on rakentanut tehtaitaan Arizonaan, Dresdeniin ja Kumamotoon Japaniin.

11 tykkäystä
712

Vahvaa kasvua on luvassa, uskon sen itsekin.

Noista tehtaista:

Uusimpien AI-chippien Taiwan riippuvuutta (ja Kiina-riskiä) ajatellen lähinnä USA:n tehdas lienee relevantti. Asiaan syvällisemmin perehtyneet voivat tarvittaessa täsmentää näkemystä.
Jenkit ovat muistaakseni maksaneet tässä merkittäviä tukiaisia projektin edistämiseksi.

Selvittelin tätä joskus aiemmin, kun koitin hieman hahmottaa pieneneekö NVDIA:n Taiwan spesifinen riski vuosikymmenen loppua kohti.
Vastaus lienee: Ainakin vähän, kun kapasiteettia alkaa ilmestyä Arizonaan.
Alla vähän tarkemmin aikatauluista ja tuotannon teknisestä kyvykkyydestä.

"In the U.S. state of Arizona, where TSMC is building two advanced wafer fabs and plans a third, Wei said the first plant conducted a trial run in April, using the 4nm process with satisfactory yield rates, and commercial production is scheduled to begin in early 2025.

The second fab in Arizona will roll out chips made on the more sophisticated 3nm and 2nm processes and mass production is scheduled in 2028.

The third facility in Arizona will produce chips using 2nm or more advanced processes, with production beginning by the end of the decade."

Saksan tehdas lienee enemmän autoteollisuutta ajatellen rakennettu valmistettavien chippien spekseistä päätellen.
“The planned fab is expected to have a monthly production capacity of 40,000 300mm (12-inch) wafers on TSMC’s 28/22 nanometer planar CMOS and 16/12 nanometer FinFET process technology, further strengthening Europe’s semiconductor manufacturing ecosystem with advanced FinFET transistor technology and creating about 2,000 direct high-tech professional jobs. ESMC aims to begin construction of the fab in the second half of 2024 with production targeted to begin by the end of 2027.”

Japani on halunnut myös melko tuoreisiin valmistustekniikoihin kyvykkyyttä kotimaansa kamaralle:
"In Kumamoto [Japan], TSMC will produce more than 100,000 wafers a month, using its 40 nanometer, 22nm, 28nm, 12nm, 16nm, 7nm and 6nm processes.

JSMC is owned by TSMC, Sony Semiconductor Solutions Corp., Denso Corp. and Toyota Motor Corp.

https://focustaiwan.tw/business/202410170016#:~:text=In%20Kumamoto%2C%20TSMC%20will%20produce,Corp.%20and%20Toyota%20Motor%20Corp.
https://pr.tsmc.com/english/news/3049

7 tykkäystä
713

Näyttäisi vahvasti siltä, että Blackwell-liikevaihtoa tulee jo Q3:lla. Ohjeistus oli, että Blackwell revenue alkaa virtaamaan Q4:llä.

Nvidia on vahvistetusti toimittanut Blackwellejä (määristä ei tietoa) ainakin Googlelle, Microsoftille, OpenAI:lle, Amazonille ja Metalle.

image
image597×808 81 KB

https://x.com/Azure/status/1843637745186484406

9 tykkäystä
714

Pieni uutinen tähän väliin, Bank of America nostaa suositustaan 190 dollariin aiemmasta 165 dollarista, syynä suurempi vapaan kassavirran mahdollistaminen: https://www.marketwatch.com/story/nvidias-stock-can-hit-190-as-generational-opportunity-unfolds-says-bofa-69c549dc

Ei muutako hatusta kiinni ja roikutaan kyydissä :partying_face:

16 tykkäystä
715

Täällä on jonkin verran puhuttu siitä, että algoritmiset mullistukset voisivat olla yksi mahdollinen keino Nvidian ylivallan rikkomiselle.

Tässä on taas yksi ihan lupaava, toistaiseksi tosin vain teoreettinen innovaatio: Addition is All You Need for Energy-Efficient Language Models

Tutkimus esittää, että floating-point matriisikertolaskuista voitaisiin päästä eroon Linear-complexity Multiplication (L-Mul) -aproksimaatioalgoritmilla. Tulokset ovat ihan lupaavia:

  • Approksimaatio on tarkempi kuin 8-bit flotarilla lasketut kertolaskut (huom. tosin, että standardi on 32/16-bit flotarit). 3-bit mantissaa hyödyntävän approksimaation käytöllä saatiin yhtä hyviä tuloksia antavia kielimalleja kuin 8-bit flotarin kertolaskuilla.
  • Teoreettinen energiasäästö 95% vs. element-wise tensor-kertolaskut, joita tyypilisesti LLM:ssä hyödynnetään.
  • Voidaan ottaa suoraan käyttöön transformer-arkkitehtuuriin ilman mallin uudelleenkoulutusta (vrt. esim. se ternary-bit -ajatus, jossa tämä muodostui pullonkaulaksi).

No mitä tämä tarkoittaa Nvidialle? Ei vielä mitään - ihan puhtaasti teoreettinen harjoitus on kyseessä. Nykyiset GPU-generaatiot eivät rautatasolla tue tätä ajatusta mitenkään. Mutta tässä piilee myös se suurin riski: jos ajatus osoittautuu suuressa skaalassa käyttökelpoiseksi, peli, jossa Nvidia on ollut ylivoimainen, voisi alkaa ikään kuin alusta.

7 tykkäystä
716

Hyvä artikkeli. Kiitos.

Itsekin jossain vaiheessa postasin näihin asiaa liippaaviin ketjuihin vaihtoehtoisia laskenta-arkkitehtuureita AI:lle, koska oma intuitio vahvasti sanoo, että GPU ei ole optimaalinen, koska se on aivan liian joustava siihen nähden, mitkä ovat lopulta niitä AI-homman core-operaatioita.

Yksi esimerkki aivan erilaisesta arkkitehtuurista on analoginen, muistin ja prosessoinnin yhdistävä lähestymistapa. Tämä välttää kaikki muistin ja CPU:n/GPU:n väliset pullonkaulat ja tarjoaa huikeaa rinnakkaistumista. Esimerkkinä tästä mm. https://mythic.ai/ ja heidän ratkaisunsa:

image
image1399×744 212 KB

Tämä on lähinnä edge AI-käyttöön ja inferenssiin (INT4 ja INT8 operaatioita tukeva ymmärtääkseni tällä hetkellä), mutta ei ole poissuljettua, etteikö joku vähän samankaltainen ratkaisu jollain aikavälillä skaalautuisi myös muihin käyttökohteisiin.

Tuo linkkaamasi artikkeli on sikäli mielenkiintoinen, että pelkkä yhteenlasku saattaa olla sen verran yksinkertainen operaatio toteuttaa, että se voi tarjota merkittäviä hw-optimointeja laajemminkin, jos tekee juuri AI-käyttöön spesifiä hw:ta. Voisiko digitaalisella puolellakin olla hyötyä siitä, että esimerkiksi laskentaa (varsinkin jos se redusoituu varsin yksinkertaisiin yhteenlaskuihin lopulta) vietäisiin osin suoraan osaksi muistipiirejä / muistikontrolleria ja näin saataisiin huomattavaa etua rinnakkaistamisen osalta? Tuo tietysti olisi huomattava arkkitehtuurillinen remontti, mutta siinä vaiheessa kun pitää pohtia ydinvoimalan rakentamista datakeskuksen viereen, niin arkkitehtuuriremontti saattaa sittenkin vaikuttaa hyvältä idealta.

4 tykkäystä
717

Keskustelua suomeksi AI:sta (lue Nvidiasta) ja tällä kertaa astetta fiksumpaa rinnastusta 2000-luvun teknologiakuplaan (vrt. NVDA kurssikäyrän rinnastus Ciscon piirtimeen):

Snadisti pinnalliseksi toki jää esim. Nvidian vallihautojen vahvuuden pohtiminen, mikä on yksi karhuanalyysin keskeisistä argumenteista. Osaan näkemyksistä, kuten tekoälyinvestointien ROI-riskeihin, on toki helppo yhtyä. Kuten tälläkin foorumilla on usein pohdittu, niin onhan nuo AI-ravintoketjun alempien oksien toimijoiden capex-investointien mittakaava suhteellisen suuri mahdollinen vastatuulen aiheuttaja.

Hyvä esimerkki tästä investointien hulluudesta on koko tekoälysovelluskentän lipunkantaja, OpenAI, jonka ennustetaan tekevän kumulatiivisesti kymmenien miljardien tappiot ennen vuoden 2029 break-evenia. Vuotuisten tappioiden ennustetaan peakkaavan 2026 ollen järisyttävät 14 miljardia.

image
image743×545 41.6 KB

https://x.com/Beth_Kindig/status/1847679482942857656

11 tykkäystä
718

Nvidia kasvaa ja kukoistaa, tuossa on vähän visualistointia yhtiön luvuista. :slight_smile:

https://x.com/carbonfinancex/status/1848446819426078785

image

image
image1080×1350 117 KB

10 tykkäystä
719

BoA nosti tavoitehintaa noin viikko takaperin $165 → $190. Tässä yhteydessä annettu näkemys summaa mielestäni erinomaisesti Nvidian tilanteen (korostukset omiani):

“We reiterate our Buy rating, raise our CY25/26 pf-EPS est. by 13%-20%, and lift our PO to $190 from $165 (unch. CY25E 42x PE) on top AI pick NVDA. Our confidence in NVDA’s competitive lead (80-85% mkt. share) and generational opportunity ($400bn+ TAM, 4x+ vs. CY24) is boosted by: (1) recent industry events (TSMC results, AMD AI event, our meetings with AVGO, MU, optical experts, launch pace of large language models, capex commentary from top hyperscalers and NVDA mgt. re “insane Blackwell demand”); (2) NVDA’s underappreciated enterprise partnerships (Accenture, ServiceNow, Oracle, etc.) and software offerings (NIMs); and (3) ability to generate $200bn in FCF over the next two years. Meanwhile, in our view, NVDA’s valuation remains compelling at just 0.6x CY25E PE to YoY EPS growth-rate or PEG, well below “Mag-7” avg. of 1.9x. Data from the BofA strategy team suggests NVDA is broadly owned but only ~1x mkt. weighted in active portfolios.”

Lisäksi Goldmanilta tuli hyvä nosto inferenceen liittyen. Aiemmin totuutena on pidetty, että inference on “helppoa” ja se voidaan toteuttaa huonommalla/halvemmalla raudalla. OpenAI:n o1-kaltaiset mallit ovat kuitenkin muuttaneet tämänkin dynamiikan, ja inference tullee jatkossa vaatimaan laskennalta yhä enemmän (korostukset jälleen omiani):

“Per our conversations, investors had historically perceived Inference as a relatively ‘easy’, less compute-intensive workload and a market in which Nvidia would face intense competition. However, as OpenAI’s recent release of its o1 models that are designed to spend more time ‘thinking’ or ‘reasoning’ before responding indicates, the complexity of Inference (and thus, the amount of compute that is required) is clearly on the rise. In fact, demand for Inference compute could grow exponentially as model builders solve for high throughput and low latency. Importantly, supported by its full-stack approach, we believe Nvidia is well-positioned to capture this growth opportunity in Inference (which is already nearing ~50% of the company’s Data Center revenue).”

13 tykkäystä