Mikä on AMD:n kyvykkyys bundlata näitä GPU:ita verrattuna vaikka Nvidiaan? Kysyn lähinnä siksi, että ne tahot, joiden ML-käyttötapauksissa tuollainen määrä muistia aiheuttaa pullonkauloja taitavat joutua anyways ostamaan esim. Nvidian tapauksessa DGX-skaalassa tavaraa (toki kaikki eivät tietenkään osta valmistajan bundlaamana).
1 tykkäys
AMD tarjoaa myös datacenter-skaalausta, tosin tältä osin homma on vielä työn alla.
Tekninen ratkaisu on “UALink” ja tämä on avoin standardi jossa on mukana isoimmat hyperscale-asiakkaat ja Intel(!)
Se, että Metat ja Googlet sun muut ovat mukana kertovat että he ovat hyvin kiinnostuneet ratkaisuista joilla saadaan vähintään Nahkatakkimiehen katteita vähän hilattua alaspäin 
2 tykkäystä
Kiitos!
It’s exciting to see basically everyone take on NVIDIA’s NVLink and to see an aggressive Ultra Accelerator Link v1.0 milestone already for next quarter. But in reality the hardware implementing UALink 1.0 likely won’t be in customer hands until about the ~2026 timeframe meanwhile NVLink has been pervasive already throughout NVIDIA’s data center products.
Onhan tuossa näköjään vähän kirimistä siis vielä.
Tässä nyt varmaan menee vähän rusinat ja pullat sekaisin, NVLink on karkeasti PCIe vastaava standardi eli puhutaan näytönohjaimen kytkemisestä prosessoriin tai näytönohjaimen kytkemisestä toiseen näytönohjaimeen, korkeintaan muutamaan. Datacenter tasolla kun kytketään satoja tai tuhansia näytönohjaimia yhteen muunkin kun yksittäisen räkin sisällä on teknologiana RDMA.
1 tykkäys
Älä sekota kuluttajakorttien ja workstation-korttien NVLinkkiin.
Nyt puhutaan tästä:
UALinkin tarkoitus on tehdä täsmälleen sama asia
Räkkien välillä AMDn ratkaisu on käyttää Ultra Ethernet-standardia.
2 tykkäystä
Sama NVLink siinä on kyseessä kuluttajakorteissa sekä datakeskus korteissa. Taino kuluttajakorteissa tuki on taidettu tiputtaa jo pois. Meinaatko, että NVIDIA lanseeraa samalla nimellä täysin toisenlaisen teknologian? Tuo NVLink -standardi on nimenomaan PCIe:n korvaaja tai siitä nopeampi ja paranneltu versio datakeskus käyttöön. Se, että NVIDIA myy omia kytkimiä joihin kortit kytkeytyy NVLinkillä eikä PCIe:llä kuin muiden valmistajien kytkimet ei liity mitenkään tuohon väylästandardiin. Tämä ei tietenkään tarkoita sitä, etteikö muilla kytkinvalmistajilla ja AMD:llä olisi ongelmia ellei heidän kytkimet pysty samaan suorituskykyyn.
Mutta data pitää tosiaan saada sieltä räkistä toiseen ja siihen NVIDIA käyttää ethernettiä ja sen päällä RDMA:ta niinkuin muutkin.
Datacenter-korteissa tuo lähti siitä mitä oli ensin peli- ja workstation-korteissa, mutta on kehittynyt useamman sukupolven ja ei mielestäni ole enää ihan sama asia. Historiallisesti tällä on kytketty 1-4 korttia yhteen, datacenter-käytössä myöhemmin 8 korttia. Mutta sitten hypättiin koko räkin korttien yhdistämiseen ja nopeudet ovat myös kasvaneet hurjasti.
Kymmenessä vuodessa on yhden kortin kaista yli kymmenkertaistunut NVLinkin yli ja kortit kytketään 144 portin switchiin jolla koko räkki on linkattu yhteen.
UAlink pyrkii olemaan avoin vastaava systeemi. Sitten vuoden-parin päästä kun on valmista. Siihen asti AMDn ratkaisu on max 8 MI300X-korttia per serveri ja serverit sitten on linkattu nopealla ethernetillä. Esim. Supermicron ratkaisussa on 8x 400GBit ethernet-korttia, yksi per GPU. Ei pärjää NVIDIAn vastaavalle mutta riittää kyllä moneen tarkoitukseen.
(nykyisiin MI300X servereihin voi vaihtaa MI325X-kortit kun tulee saataville jos asiakas haluaa ja pätäkkää löytyy)
2 tykkäystä
GPU ei kytkeydy sillä NVLinkillä toisiin GPU:ihin vaan siihen kytkimeen, aivan kuten muissakin arkkitehtuureissa.
https://www.fibermall.com/blog/gpu-networking-nvlink-infiniband-roce-ddc.htm
Kyllä, nykyään, mutta historiallinen NVLink yhdisti GPUt toisiinsa (1-4 korttia alun perin)
Juttu kiertää nyt kehää, kysyttiin Datacenter -tason skaalauksesta niin GPU:n kytkimeen yhdistävä NVLink ei ole se teknologia vaan nimenomaan RDMA esim. ethernetin yli. Räkkitason väylät on ihan eri asia kuin datakeskukset joissa on tuhansia kortteja.
Kyllä, datacenter-tasolla ymmärtääkseni ei ole eroa. RDMA nopean ethernetin yli. Molemmilla tuoreimmissa vehkeissä 400GBit ethernet-kortteja yksi per GPU.
Mutta NVIDIAlla on tuo räkkikohtainen NVLink-kytkin joka yhdistää koko räkin GPUiden välisen liikenteen kun taas AMD:llä tällaista ei ole (vielä).
https://www.reuters.com/technology/asml-shares-rise-cfo-dassens-comments-orders-2024-06-05/
Laitetaan vaika tänne Dassenin kommentit
2 tykkäystä
Tällaista miettii Citi.
“Intel could be even with TSMC in manufacturing by 2025: Citi”
Citi maintains a neutral rating on Intel with a price target of $35, which they acknowledge is above Intel’s historical average but still below the broader semiconductor industry valuation.
6 tykkäystä
Mitä täällä ajatellaa TSMC:stä? Mun on pakko tässä kohtaa myöntää, että olen jäänyt AI:n kohdalla matkustajan rooliin, enkä ole vielä päässyt kuskin paikalle, mikäli välillisiä omistuksia ei ETF:ien muodossa lasketa.
Tarkoituksena olisi huomenna avata Nvidia splitistä, koska psykologisesti on miellyttävämpää omistaa 30-40 osaketta 3-4:n sijasta.
En kuitenkaan viitsi tässäkään pelata yksillä korteilla ja pitäisi hajautusta saada myös tähän mukaan, vaikkakin Nvidian etumatka on muihin valovuoden edellä. Ehkäpä Intel mukaan?
Kuulisin mielelläni lisää ajatuksista teiltä, jotka on vahvasti seurannut tätä AI-skeneä.
Edit: toki ennen ostoja teen huolellisen työn, enkä hae sijoitussuosituksia. Pikemminkin haen ennakkotietoja niistä, joita kannattaisi työstää.
1 tykkäys
TSMCn ongelma on että se on varsin syklinen kioski ja lisäksi jos Kiina kiinnostuu Taiwanista liikaa, firman kurssi on välitön kraateri. Toisin myönnettäköön että siinä vaiheessa koko maailman pörssit ovat sen verran kraaterina että se, että TSMCn kraateri on metrin syvempi on aika merkityksetön pikkuseikka.
Eli käytännössä se isoin ongelma on että jos puolijohdesykli on vauhdissa (niinkuin nyt on, kiitos AIn), rahaa tulee ja ainoa rajoittava tekijä on kapasiteetti. Ja sitten kun sykli ei ole vauhdissa, rahaa tulee paljon vähemmän, mutta silti pitää investoida kymmenillä miljardeilla uusiin tehtaisiin vähän väliä että pysyy vauhdissa. Eli jos hesulin konepajat tuntuvat välillä syklisiltä vuoristoradoilta, niin TSMC on XXL-versio samasta. Juuri nyt en itse näe ihan hirveää upsideä, mutta olen varmasti kiinnostunut heti kun puolijohdeteollisuuden syklit taas kyykkäävät ja TSMCtä saa alesta…
11 tykkäystä
Saanko udella, että millaisilla laseilla tätä hajautusta kannattaisi tässä sektorissa lähteä ratkomaan?
Kyllähän tuossa noita kilpailijoita riittää ja tuskimpa se ihan täysin sula mahdottomuus on, että joku noista voisi lähteä tosissaan haastamaan Nvidiaa. Tällä hetkellä toki on tilanne, että se ei ole kovinkaan nopeasti näköpiirissä, mutta ei siltä silti täysin voi silmiään ummistaa, että jonain päivänä saattaa olla.
1 tykkäys
Oma “AI-hajautus” on Softa (Microsoft) + Rauta (AMD + NVIDIA) ja tämä on toistaiseksi riittänyt. Olin tosin kyydissä jo ennen kuin AI räjäytti pankin, joten lähinnä haasteena on ollut laidoista kiinni pitäminen ja myyntinapin piilottaminen.
Siitä voi sitten lähteä miettimään että kuka kerää massit softapuolella - ehdokkaita on ainakin Microsoft, Google ja Meta, sekä villinä korttina lähteä etsimään jotain startup-häröpalloja. Rautapuolella käytännössä NVIDIA - AMD ja ehkä vähän villinä korttina Intel (toistaiseksi mörninyt pohjamudissa ja pahasti jälkijunassa). ARM ei mielestäni kaikesta käsienheiluttelusta huolimatta ole oikeasti merkittävä ainakaan toistaiseksi, mutta onhan se mahdollista että hype jatkuu niin pitkään että ehtivät mukaan kisaan omilla piireillään. Lisäksi ongelmana on se että ei oikeasti ole ollut piirivalmistuttaja, vaan lisenssoi arkkitehtuuria ja piirien suunnitelmia muille jotka sitten valmistuttavat - ja yllättäen kun on pienempi osa arvoketjusta hanskassa, saalis jää pienemmäksi. Voi tietenkin teoriassa kääntää kelkkaa ja lähteä kisaamaan myös omien piirien valmistuttajana.
20 tykkäystä
Hmm. Itse arvoin salkkuuni ASML, Amazon, Microsoft ja Nvidia.
2 tykkäystä
Intelille hieman lisää päänsärkyä
(1) the growth of Intel Foundry Services was not indicative of revenue growth reportable under the Internal segment; (2) the Foundry experienced significant operating losses in 2023; (3) the Foundry experienced a decline in product profit driven by lower internal revenue; (4) as a result the Foundry model would not be a strong tailwind to the Company’s IFS strategy; and (5) as a result of the foregoing, defendants’ positive statements about the Company’s business, operations, and prospects were materially misleading and/or lacked a reasonable basis.
4 tykkäystä
