Itse odotan että jos tämä keksintö mahdollistaa nykymallit heikommalla raudalla, mallit toimivat kuin data yleisesti - laajentuvat ja täyttävät kaiken käytettävissä olevan tilan ja kapasiteetin. Eli paras rauta on edelleen haluttua ja mallit vain paisuvat kuin pullataikina.
Ja jos inference-puolella pärjätään pienemmällä kustannuksella per asiakastapahtuma, tämä voi mahdollistaa paremmin AIn käytön tilanteissa joissa ansaintalogiikan ongelmat aiemmin eivät sitä mahdollistaneet. Eli käytännössä kuukausimaksullisten palveluiden hinnat voivat laskea ja ilmaiseksi voidaan tarjota parempia maistiaisia. Ja käyttäjien omilla koneilla pyörivät AI-toteutukset voivat parantua vaikka käytössä olisi alitehoista GPUta tai pientä NPUta kiihdytyksenä.
En näe että tämä uhkaa mitenkään AI-raudan myyjien bisneksiä.
Tämä on juuri näin. Kvantisoitujen mallien treenaus on paljon vaikeampaa kuin flotarimallien, rajallinen tarkkuus aiheuttaa kaikenlaisia haasteita backpropagaatiossa. Mahdollisesti joudutaan joka tapauksessa kouluttamaan flotarimalli josta distillaation avulla sitten tuo pienempi.
Toinen juttu on, että ovatko mallien kehittäjät isossa skaalassa halukkaita tekemään tutkimusta ternary-malleja käyttäen johtuen em. haitoista. Heitä kiinnostaa keskimäärin useammin SOTA-performanssin parantaminen eikä muistin/laskennan optimointi.
Toimii samalla tavalla kuin moottoritiet jenkeissä. Kaistojen lisääminen ei vähennä ruuhkaa…
Ja kun B100 julkistetaan loppuvuodesta, taas kaikki haluavat sitä koska se on paras. Lähinnä todistaa että AMDkin voi tehdä näitä ja myy varmasti kaiken minkä saa ulos. Tällä hetkellä poikkeuksellisesti MI300 on nopeampi ja halvempi kuin NVIDIAn vehje. Ei merkitystä niin kauan kuin jonoa on, mutta sitten kun jonot on palveltu, NVIDIA joutuu tinkimään katteistaan tai markkinaosuudestaan.
Tuolla NVidian ketjun puolella pohdiskelin samaa pari päivää sitten:
Tuolla ketjussa käyty asiaa tarkemmin läpi, mutta olen itse vähitellen päätynyt siihen näkemykseen, että NVidian vallihaudat softapuolella ovat keskeisten AI/ML-sovellusten osalta pitkälti hävinneet viime vuoden aikana. Vallihaudat ylipäätään noita sovelluskohteita ajatellen rakentuivat pitkälti muutamien keskeisten sovelluskirjastojen toimintaan, joten kun AMD on rakentanut (a) toimivan API-rajapinnan omalle GPU:lleen ja (b) saanut sen toimimaan tehokkaasti keskeisten kirjastojen kanssa, niin vallihaudat ovat tämän suhteen madaltuneet merkittävästi. Keskeisten sovellusten osalta tilanne lienee siis se, että NVidian kortille spesifien sovellusrajapintojen käyttö todennäköisesti on hyvin abstrahoitu hyvin rajalliseen osaan koodikantaa, jolloin vaihtaminen on suhteellisen suoraviivaista - erityisesti kun AMD panostaa luonnollisesti näiden keskeisten osuuksien porttaamiseen myös omalla osaamisellaan.
Kilpailu voi olla kohta veristä GPU-rintamalla, kunhan vaan tehtaat puskevat kummankin toimijan chippejä tarpeeksi ulos. TSMC:n tehtailla on siis tuotantolinjat kuumana, joten ainakin yksi voittaja on selvillä joka tapauksessa.
Niin kuin Nvidia-ketjussa ollaan puhuttu, olen kallistumassa samaan lopputulokseen. Keskimääräisen data scientistin tai edes engineerin ei tarvitse tietää CUDAsta nykyisin sen enempää kuin vaikkapa kääntäjästä saati alla olevasta raudasta.
Silti ihmettelen tuota tulosta. Nykykirjastot kun eivät ihan nyt hirveän hyvin tue AMD:n rautaa ja välillä ainakin itsellä (vaikken ammattilainen olekaan) palaa kyllä käämit Nvidian GPU-resurssien toiminnan kanssa. En ainakaan itse keksi hirvittävän montaa hyvää syytä, miksi haluaisin lisätä tuskaani.
ASML on alkanut toimittamaan ensimmäisiä high- NA laitteitaan asiakkailleen. Tämä on erittäin merkittävä uudistus ASML:n laitteisiin ja nykypäivän litografiaan. Kun optiikassa käytetään isompaa NA:ta(Numerical aperture) kärsii lopputuloksessa DOF(Dept of focus) joten uudistus tarkoittaa, että ASML on selvästi löytänyt kompromissin jolla saavutetaan erittäin hyvä resoluutio, mutta DOF ei kärsi liikaa.
Ei nyt oikein Intelin tehdassuunntelmat mene putkeen…
Rahaa on mennyt 4.5 miljardia tähän mennessä mutta sitä piti mennä 20 miljardia taalaa ja vähän epäilyjä ilmassa että Intelillä on pientä akuuttia rahapulaa jota paikataan venyttämällä rakennusaikataulua muutamalla vuodella.
Ok, mutta käytännössä ellei Intel ala purkamaan sopimuksia ja oikeasti keskeytä projektia, kolme miljardia lisää on jo lukittu. Pääpointti kuitenkin se että projekti on iso ja sitä venytellään kenties siksi että tuo rahanmeno tapahtuisi myöhemmin…
Sustainable Computing in the Age of AI
Building more sustainable data centers is a challenge, ###Ampere’s Chief Product Officer Jeff Wittich will show you the benefits of using Cloud Native Processors to deliver more sustainable computing for demanding workloads and services, including those that are rapidly adding AI inference.**
Kovin kehuivat että heidän teknologia päihittää GPU pohjaiset ratkaisut.
En juurikaan löytänyt Ampere mainintoja foorumilta
Tässä viime kesältä hyvä artikkeli AMD:n uusimmista prosessoreista. Lyhyesti AMD EPYC Bergamon ja Ampere Altra Max vertailusta:
The impact of this is that AMD is now offering 3x the SPEC CPU2017 performance at similar idle but only around 50% higher power consumption.
Mutta tottahan se on että GPU:t käyttää paljon enemmän energiaa kuin CPU. Inference puolella tullaan varmasti näkemään monenlaisia ratkaisuja joilla saadaan kustannuksia pienennettyä.
Ja joitain hyvin pieniä neuroverkkoja voi olla joissain tilanteissa järkevää ajaa jopa FPGA-pohjaisilla ratkaisuilla:
The full-featured Lattice sensAI stack includes everything you need to evaluate, develop and deploy FPGA-based Machine Learning / Artificial Intelligence solutions - modular hardware platforms, example demonstrations, reference designs, neural network IP cores, software tools for development, and custom design services.
The Lattice’s FPGA-based machine learning solutions are highly flexible, easy to implement, low power (from under 1 mW - 5 W), small (package sizes starting at 5.5 mm2) and priced for high volume production.
Lattice can help you accelerate deployment of always-on, on-device AI into a wide range of Edge applications including mobile, smart home, smart city, smart factory, and smart car products.
Ei näillä tietenkään mitään ChatGPT:tä ajeta, mutta jotain paljon kevyempää hyvinkin minimaalisella virrankulutuksella.
GPU:than käyttävät itseasiassa selvästi vähemmän energiaa per workload CPU:hun verrattuna. Tämähän on Nahkatakkiäijän keskeisimpiä myyntiargumentteja.
Tosin tässä(kin) pätee Jevonsin paradoksi lähes täydellisenä esimerkkinä: kun laskennan yksikköhinta laskee, resurssien kulutus kasvaa siten, että kokonaisuutena kulutamme yhä enemmän.
Infrencen puolella onkin jo nähty algoritmisia tehokkuusuudistuksia. Taisi olla tässäkin ketjussa keskustelua MS:n pari viikkoa sitten julkaisemasta 1.58B tritti-mallista, jolla infrenceä voidaan saada paljon vähemmän laskentaa vaativaksi ja siten energiatehokkaammaksi.
Taiwanissa 7.4 Richterin maanjäristys. TSMC:llä tuotanto seis ja työntekijät evakuoitu. Pörssireaktio toistaiseksi melko maltillinen -1.3% eikä ainakaan toistaiseksi ole raportoitu mitään tuotantorakenteisiin kohdistunutta vahinkoa. Aiempien vastaavien tapausten perusteella voi kuitenkin olla isojakin vaikutuksia sirutuotantoon ja hintoihin. Hyvä kommentti aiheesta: https://twitter.com/nearcyan/status/1775382258767016116
Intel said the manufacturing unit had $7 billion in operating losses for 2023, a steeper loss than the $5.2 billion in operating losses the year before. The unit had revenue of $18.9 billion for 2023, down 31% from $27.49 billion the year before.
TSMC launched its 3nm process at the end of 2022 and then spent all of 2023 making 3nm chips only for Apple. That will change in 2024, as the company begins cranking out 3nm products for its other customers, including Intel and AMD. Considering the size of these orders and the companies involved, it means 2024 will be a year where we’ll likely see TSMC 3nm products flooding the high-end tech world, with one company notably missing from the roster—Nvidia.
…
The biggest missing name here is Nvidia, which was long thought to be adopting 3nm for its upcoming Blackwell architecture. However, it’s already revealed it’ll be using TSMC N4P instead, which is reportedly a custom node for Nvidia that is essentially a refined 5nm process. This will still be a huge payday for TSMC as it’s cranking out almost the entirety of Nvidia’s portfolio, and it will need to fire on all cylinders to meet demand for Blackwell. Still, it’s an unexpected move by Nvidia, especially now because it’s at the height of its powers.
TSMC:n 3 nm prosessi alkaa tänä vuonna päätyä laajempaan käyttöön. Yo. jutussa esitettiin arvio, jonka mukaan 3 nm prosessi toisi jopa 20% TSMC:n liikevaihdosta tänä vuonna.
Mielenkiintoinen on myös tuo jutussa korostettu, eli poiketen muista TSMC:n asiakkaista NVidia ei ole siirtynyt tuoreimpaan 3 nm prosessiin vaan jatkaa heitä varten parannellulla 5 nm prosessilla. Olisikohan tässä taustalla se, että NVidia haluaa mahdollisimman suurta kapasiteettia käyttöön sen sijaan, että se joutuisi kilpailemaan 3 nm noden kapasiteetista muiden kanssa? Vai onko tuo Blackwell vaan haluttu ulos sen verran nopeassa aikataulussa, että ei ole ollut aikaa ottaa käyttöön TSMC:n 3 nm prosessia?
Jos AMD siirtyy 3 nm prosessiin GPU:den osalta ennen NVidiaa, niin kilpailu AI-raudan saattaa saada tästä joitain uusia käänteitä.
