Sustainable Computing in the Age of AI
Building more sustainable data centers is a challenge, ###Ampere’s Chief Product Officer Jeff Wittich will show you the benefits of using Cloud Native Processors to deliver more sustainable computing for demanding workloads and services, including those that are rapidly adding AI inference.**
Kovin kehuivat että heidän teknologia päihittää GPU pohjaiset ratkaisut.
En juurikaan löytänyt Ampere mainintoja foorumilta
Tässä viime kesältä hyvä artikkeli AMD:n uusimmista prosessoreista. Lyhyesti AMD EPYC Bergamon ja Ampere Altra Max vertailusta:
The impact of this is that AMD is now offering 3x the SPEC CPU2017 performance at similar idle but only around 50% higher power consumption.
Mutta tottahan se on että GPU:t käyttää paljon enemmän energiaa kuin CPU. Inference puolella tullaan varmasti näkemään monenlaisia ratkaisuja joilla saadaan kustannuksia pienennettyä.
Ja joitain hyvin pieniä neuroverkkoja voi olla joissain tilanteissa järkevää ajaa jopa FPGA-pohjaisilla ratkaisuilla:
The full-featured Lattice sensAI stack includes everything you need to evaluate, develop and deploy FPGA-based Machine Learning / Artificial Intelligence solutions - modular hardware platforms, example demonstrations, reference designs, neural network IP cores, software tools for development, and custom design services.
The Lattice’s FPGA-based machine learning solutions are highly flexible, easy to implement, low power (from under 1 mW - 5 W), small (package sizes starting at 5.5 mm2) and priced for high volume production.
Lattice can help you accelerate deployment of always-on, on-device AI into a wide range of Edge applications including mobile, smart home, smart city, smart factory, and smart car products.
Ei näillä tietenkään mitään ChatGPT:tä ajeta, mutta jotain paljon kevyempää hyvinkin minimaalisella virrankulutuksella.
GPU:than käyttävät itseasiassa selvästi vähemmän energiaa per workload CPU:hun verrattuna. Tämähän on Nahkatakkiäijän keskeisimpiä myyntiargumentteja.
Tosin tässä(kin) pätee Jevonsin paradoksi lähes täydellisenä esimerkkinä: kun laskennan yksikköhinta laskee, resurssien kulutus kasvaa siten, että kokonaisuutena kulutamme yhä enemmän.
Infrencen puolella onkin jo nähty algoritmisia tehokkuusuudistuksia. Taisi olla tässäkin ketjussa keskustelua MS:n pari viikkoa sitten julkaisemasta 1.58B tritti-mallista, jolla infrenceä voidaan saada paljon vähemmän laskentaa vaativaksi ja siten energiatehokkaammaksi.
Taiwanissa 7.4 Richterin maanjäristys. TSMC:llä tuotanto seis ja työntekijät evakuoitu. Pörssireaktio toistaiseksi melko maltillinen -1.3% eikä ainakaan toistaiseksi ole raportoitu mitään tuotantorakenteisiin kohdistunutta vahinkoa. Aiempien vastaavien tapausten perusteella voi kuitenkin olla isojakin vaikutuksia sirutuotantoon ja hintoihin. Hyvä kommentti aiheesta: https://twitter.com/nearcyan/status/1775382258767016116
Intel said the manufacturing unit had $7 billion in operating losses for 2023, a steeper loss than the $5.2 billion in operating losses the year before. The unit had revenue of $18.9 billion for 2023, down 31% from $27.49 billion the year before.
TSMC launched its 3nm process at the end of 2022 and then spent all of 2023 making 3nm chips only for Apple. That will change in 2024, as the company begins cranking out 3nm products for its other customers, including Intel and AMD. Considering the size of these orders and the companies involved, it means 2024 will be a year where we’ll likely see TSMC 3nm products flooding the high-end tech world, with one company notably missing from the roster—Nvidia.
…
The biggest missing name here is Nvidia, which was long thought to be adopting 3nm for its upcoming Blackwell architecture. However, it’s already revealed it’ll be using TSMC N4P instead, which is reportedly a custom node for Nvidia that is essentially a refined 5nm process. This will still be a huge payday for TSMC as it’s cranking out almost the entirety of Nvidia’s portfolio, and it will need to fire on all cylinders to meet demand for Blackwell. Still, it’s an unexpected move by Nvidia, especially now because it’s at the height of its powers.
TSMC:n 3 nm prosessi alkaa tänä vuonna päätyä laajempaan käyttöön. Yo. jutussa esitettiin arvio, jonka mukaan 3 nm prosessi toisi jopa 20% TSMC:n liikevaihdosta tänä vuonna.
Mielenkiintoinen on myös tuo jutussa korostettu, eli poiketen muista TSMC:n asiakkaista NVidia ei ole siirtynyt tuoreimpaan 3 nm prosessiin vaan jatkaa heitä varten parannellulla 5 nm prosessilla. Olisikohan tässä taustalla se, että NVidia haluaa mahdollisimman suurta kapasiteettia käyttöön sen sijaan, että se joutuisi kilpailemaan 3 nm noden kapasiteetista muiden kanssa? Vai onko tuo Blackwell vaan haluttu ulos sen verran nopeassa aikataulussa, että ei ole ollut aikaa ottaa käyttöön TSMC:n 3 nm prosessia?
Jos AMD siirtyy 3 nm prosessiin GPU:den osalta ennen NVidiaa, niin kilpailu AI-raudan saattaa saada tästä joitain uusia käänteitä.
Nahkatakkimies on optimoija ja tilasi ihan oman noden TSMC:ltä. Epäilen että katsoivat että N3 yieldit GPUiden kanssa (julmetun isoja piirejä) ei ole vielä tarpeeksi hyvät ja sen sijaan käytetään viilattua N4 versiota. AMD kiertää tätä käyttämällä chiplettejä (käytti jo viime generaatiossa) kun taas NVIDIA painaa jättikokoisilla piireillä. Tosin Blackwell jo liimaa näitä kaksi yhteen, mutta silti itse piirit ovat aika lailla niin isoja kuin mitä TSMC vain voi tehdä.
En jaksa uskoa että 3N vs 4NP suorituskyvyssä on niin valtavaa eroa että tämä ei olisi fiksu liike. Ja jos yieldit paranevat, NVIDIA voi pistää 2025 ulos refreshin pienemmällä nodella jos sikseen tulee.
Voi myös ihan olla hintajuttu. Jos TSMC haluaa merkittävän preemion N3-nodesta (koska rajattu kapasiteetti) ja NVIDIA katsoo että hinta vs. suorituskykyero ei kohtaa… Ei niitä hurjia kateprosentteja ihan vasurilla saa aikaan
Groq:n strategia on ollut varustaa piirit valtavan nopealla SRAM muistilla kun kilpailijat käyttää HBM muistia, jossa nopeus pienempi mutta kapasiteetti suurempi. Nähtäväksi jää kumpi muisti “voittaa” vai onko molemmille paikkansa.
Ei kukaan osta tällaista rautaa heti rekkalasteittain vaan ensin testataan ja pilotoidaan.
Saapa nähdä miten homma pyörii, koska tämä malli taas tuo uuden ongelman: Kuka lähtee kehittämään isoa softaa/tuotetta alustan päälle jolla on yksi tarjoaja joka voi milloin tahansa sanoa "we’re altering the deal, pray… " jne.
Geneeristen pilvitarjoajien välillä voi kilpailuttaa, kuinka kivuttomasti softa siirtyy tämän alustan tai jonkin muun raudan välillä?
Saattaa hieman kolauttaa kursseja tänään. Tosin realistisesti siellä voidaan vaatia phase-outtia, mutta käytännössä tuo ei onnistu ihan sormia napsauttamalla. Kiinan kotikutoiset lastut ovat sen verran perässä suorituskyvyssä että käytännössä ennemminkin venytetään nykyisten länsipiirien käyttöikää samalla kun yritetään saada oma tuotanto edes oikealle pallokentälle.
“Our outlook for the full year 2024 is unchanged, with the second half of the year expected to be stronger than the first half, in line with the industry’s continued recovery from the downturn,” CEO Peter Wennink said in a statement, describing 2024 as a “transition year.”
Analysts had forecast net income at 1.08 billion euros on sales of 5.38 billion, according to LSEG data, while analysts polled by Reuters had seen new orders at about 5.4 billion euros.
Muutamia nostoja Taiwan Semiconductor Manufacturing Company:n (TSMC) Q1 osavuosikatsauksesta/sijoittajapuhelusta. Q4/2023 TSMC ennusti puolijohdemarkkinan (semiconductor market, excluding memory) kasvavan yli 10% v. 2024 ja nyt he ennustavat tuon markkinan kasvavan n. 10% (vetivät hieman alas). Vastaavasti Q4/2023 TSMC ennusti puolijohteiden valmistuksen (foundry industry) kasvavan 20% vuonna 2024. Nyt ennuste oli 15%-19% (samoin alensivat ennustetta).
Mutta TSMC:n oma liikevaihtoennuste vuodelle 2024 ei muuttunut, eli 21%-25%. Itse vedän sellaisen yksinkertaisen johtopäätöksen, että ns. vanhan tekniikan (non-accelerated) puolijohdemarkkinan kasvu on loppu, ja se näkyy tuossa TSMC:n koko maailman puolijohdemarkkinaa kommentoivassa ennusteessa. Mutta TSMC:llä AI tuotteet kompensoi vanhan tekniikan kysynnän hiipumista.
Kaikista olennaisin TSMC:n viesti AI toimialasta on se, että TSMC:n mukaan server AI prosessorien kysyntä kasvaa 2024 ja seuraavat 5 vuotta 50% joka vuosi (For the next 5 years, we forecast it to grow at 50% CAGR). Tänä vuonna tuon liiketoiminnan osuus TSMC:n liikevaihdosta on reilut 10% ja vuoteen 2028 mennessä se kasvaa yli 20%:n. Itseni kyllä yllättää se, että noiden AI tuotteiden osuus TSMC:n liikevaihdosta on noinkin pieni. Eli suurin osa, 90%, puolijohteista menee ihan perustavaraan, esim. perus palvelin, perus puhelin, perus auto, perus kulutuselektroniikka.
Eli kun NVIDIA:n Jensen tuo aika-ajoin pöytään isoja uudistamistarpeita viitaten koko maailman HW infraan, niin Jensen on asian ytimessä. 90% on vielä non-accelerated ja jossain vaiheessa 90% pitää olla accelerated, jos infra toimija aikoo pysyä markkinassa.
Alla minusta paras pikakiteytys TSMC:n Q1 tuloksesta niille, jotka nyt sijoittaa tai aikoo sijoittaa AI:hin.
Totta turiset. Tämä TSMn osari oli kyllä taas esimerkki siitä että markkina ja/tai algobotit eivät aina osaa tulkita osaria. Firman kurssia potkittiin kunnolla koska kehtasivat leikata kasvuennusteita mutta pellin alla todellakin se hyvin rahaa tuova “high end”-tavara menee edelleen kaupaksi ennusteiden mukaan ja hakkaa lähinnä kapasiteetin rajoituksiin.
Ainoastaan kysyntä vanhan liiton bulkkitavaraan vanhoilla nodeilla notkahtaa ja se nyt sattuu tänä vuonna notkahtamaan enemmän kuin mitä uutta kapasiteettia saadaan linjoille, jolloin kokonaiskasvu ei enää osu aiempiin ennusteisiin. Vanhemman tavaran kysyntä on erittäin syklistä ja kysyntädipit (esim. autoteollisuus juuri nyt) usein myös ajavat uudistussyklejä - tavara ei käy kaupaksi entiseen tapaan? Sysäys uusia mallistoa ja samalla kenties päivittää komponentteja uusiin että ollaan taas iskukyvyssä kun sykli kääntyy.
Jos tämä teesi pitää paikkansa, varsinaiset AI-rautafirmat (NV, AMD jne) paukuttavat edelleen odotuksien mukaisia lukuja AI-tavaran osalta. Yleisen talouden syklisyyden vuoksi voi muussa tavarassa (esim. AMD:n PC-prossut tai NVIDIAn pelinäyttikset) tulla taas heiluntaa alaspäin koska nämä heiluvat aina kvartaalitasolla sekä makrotalouden syklisyyden että tuotesyklien vuoksi. Jos juuri nyt pistetään lähinnä jamppoja kortistoon, työ-PCitä ei mene ihan aikaisempaan tahtiin ja jos pelinäyttiksissä ollaan kahden vuoden tuotesyklin ehtoopuolella, kysyntä laskee (ja hinnat sen mukana) kun ostohousut prässätään kaappiin odottamaan seuraavaa sukupolvea.
Enemmän jos haluaa karhukulmaa hakea on kenties syytä olla huolissaan NVIDIAn katteista. Heillä oli tähän hullunmyllyyn reilu etumatka tuoteportfolion osalta mutta joka ainoa piiriä suunnitteleva kioski on hyökännyt apajille ja tarjontaa on joka lähtöön vähintäänkin “tulossa ihan pian”. Tämä väistämättä tarkoittaa hintojen laskua jollain aikavälillä. Ei välttämättä näy vielä 3-6kk sisään, mutta jos ennustetaan pidemmälle, NV joutuu väkisinkin hieman tinkimään kateprosentista siinä vaiheessa kun isoin kysyntäpiikki alkaa olla ohi ja ostajat voivat nokka pystyssä valikoida minkälaista kiihdytintä tällä kertaa halutaan pinota datakeskukseen ja mihin hintaan.
Oli ihan pakko etsiä tilastoa siitä, että millainen puolijohdemarkkina noin ylipäätään on. Karkeasti näyttäisi olevan niin, että noin puolet on sitä, mitä nörttikansa ajattelee puolijohteilla (tietokoneisiin, tietoliikenteeseen ja kuluttajaelektroniikkaan menevät), ja noin puolet on raskaampaa tavaraa (tehoelektroniikkaa autoihin ja teollisuuteen sekä sotaväen juttuihin).
Nyt kun meillä on käsissä tehoälybuumi, jonka kaikki tietävät, niin kun löytäisi oikean trendin siellä raskaammalla puolella. Onko se autoeletroniikka kenties?
