AMD yhteistyöhön Raytheonin kanssa
8 tykkäystä
Raspberry Pin toimitusjohtaja Eben Upton kertoi Bloombergille tammikuun lopulla, että Raspberry Pi suunnittelee IPOa, kun IPO markkina jälleen avautuu. Aiheesta lisää Jeff Geerlingin artikkelissa:
Raspberry Pi IPO: Selling out? | Jeff Geerling
Innostava askel Raspberry Pi harrastajan näkökulmasta. Toivottavasti tämä johtaa pitkällä aikavälillä Raspberry Pi voluumien kasvuun ja sitä kautta laitteiden hintojen laskuun. 
6 tykkäystä
Tämä on ihan mielenkiintoinen ajatus tai huoli.
Jos oikein ymmärsin, niin algoritmeista voi tulla ”kevyempiä” mikä taas pistää uusiksi nykyiset Capex-ennusteet mihin erityisesti NVIDIAn rakettimainen kasvu nojaa.
Vrt. internetyhteyksien nopeutuminen teknokuplassa mikä teki suurista lisäinvestoinneista tarpeettomia (kun taas sijoittajat ja analyytikot ennustivat niitä pitkälle tulevaisuuteen).
Tämän olisi voinut linkata myös NVIDIA ketjuun, ehkä lainaan viestini huomenna sinne kun olen töissä. 
Ellei joku muu nosta sitä sinne tai tyrmää tätä huolta.
Lisäys: ottaen huomioon kuinka paljon rahaa laskentatehoon joudutaan (NVIDIAn tapauksessa ”päästään”) investoimaan, ainakin motivaatiota tehostamiseen luulisi löytyvän.
8 tykkäystä
Jotta laskentavaatimuksia saadaan algoritmisesti madallettua, tarvitaan kyllä aivan täydellinen algoritmiikkaparadigman muutos. Esim. yllä mainitun twitteristin mainitsema SSM nojaa edelleen syväoppimiseen, jolla tulosten tuottaminen (training-vaiheesta puhumattakaan) vaatii aivan järkyttävän määrän laskentatehoa.
Jokainen, joka on joskus puuhaillut mitään neuroverkkojen kanssa tietää, miten nopeasti CPU muuttuu käyttökelvottomaksi. Käytännössä jo ihan perustavaa laatua oleva vaikkapa jo 200x200 greyscale bitmap kuvien luokittelu CNN-verkolla, jota esim. komponenttina käytetään noissa SSM:issä, vaatii jo vähänkään suuremmalla verkolla ja / tai datamassalla GPU:llisen koneen. Niitä laskutoimituksia tehdään vain yksinkertaisesti niin paljon. Sama juttu feed-forward-verkoilla, jos hidden layereita on vähnkään enempää.
Esimerkiksi yliopistoilla tunneloidaan deep learning -kursseilla ensimmäisten perusharjoitusten jälkeen lähes aina käyttämään CSC:n supertietokoneita, jotta yksinkertaisia harjoituksia pystyy ajamaan ylipäätään säädyllisessä ajassa läpi. Laskentakapasiteettia on pakko olla - muuten melko simppeleistäkään jutuista ei tule yhtään mitään.
Algoritmiparadigman muutos tarvitaan siis koko alalle - ei vain tranformereihin, joissa operoidaan Chinchilla Scaling Lawsien rajoissa. Toki homma menee niin, että jos algoritminen breakthrough tehdään missä vain syväoppimisen domainissa, se saataneen monistettua myös muualle, kuten LLM:iin, melko suurella todennäköisyydellä hyvin nopeasti.
Mä en sano, että algoritmiikka ei voisi mullistua, mutta ainakaan vielä ei oman tietämykseni mukaan pinnan alla ole mitään sellaista malliarkkitehtuuria, joka haastaisi deep learning -paradigman. Kokonaan toinen juttu on lisäksi se, että pitäisi vielä opettaa kymmenet tai sadat tuhannet datatieteilijät pois nykyparadigmasta. Jos miettii paradigman muutoksia muualla teknologiassa, niin pikemminkin ne ovat olleet melko hitaita siirtymiä kohti uutta tehokkaampaa tekemistä kuin “overnight elimination” -tyyppisiä muutoksia (etenkin jos kyse ihmisosaamisesta).
Nvidian kannalta nähdäkseni paljon keskeisempi paradigmahaaste on GPU-paradigman mahdollinen muutos johonkin lineaarialgebran ja muun rinnakkaisuudesta hyötyvän laskentaoptimoinnin kannalta järkevämpään prosessointiparadigmaan (DPU / TPU tai jotain ihan uutta). GPU:t kun eivät nekään ole missään määrin optimaalisia siihen tarkoitukseen, johon niitä tekoälylaskennassa käytetään.
19 tykkäystä
Tässä on erinomainen MIT:n tuore (2023) luentosarja, jossa keskitytään ML:n tehokkuuden parantamiseen. Vahva suositus jos aihe kiinnostaa.
Edit: tehokkuus = watts/inference. Sisältää siis mm. teemoja sparsity/pruning, kvantisointi, neural architecture search, distillaatio, LoRa, …
6 tykkäystä
Kiitos! Aihe todella kiinnosta - pitääpä opiskella koko luentosarja. Nopealla intro-luennon läpikäynnillä näyttäisi, ettei tarkalleen ottaen fokus ole “tehokkuuden parantamisessa” vaan kustannus-hyöty-optimoinnissa.
ML-malleissa, kuten muuallakin elämässä, on marginaalihyödyn ja -kustannuksen käsite vahvasti läsnä ja monessa käyttötapauksessa (etenkin Nvidian hinnoittelulla ) voi tulla nopeastikin vastaan piste, jossa marginaalikustannus ylittää output-tarkkuudesta saatavat marginaalihyödyt.
Puolijohdesijoittajan näkökulmasta huojentava viesti ensimmäiseltä luennolta on, että suuremmat mallit, jotka vaativat paljon laskentaa, johtavat parempiin lopputuloksiin. Saman asian voi todeta esim. LLM:ien osalta näistä erilaisista Leaderboardeista, joissa ELO-rankingin ja parametrien määrän korrelaatio on luokkaa 0.7-0.8, riippuen siitä, millaiseen parametrimäärähuhuun luottaa ei-avointen mallien osalta (LMSys Chatbot Arena Leaderboard - a Hugging Face Space by lmsys). Toinen huojentava viesti on se, että pienemmät ja prunatutkin mallit vaativat GPU:n säädyllisiin inference-aikoihin.
Edit: Tästä samasta aiheesta on muuten väännetty peistä tässä ketjussa: ChatGPT, muut kielimallit ja tekoäly.
4 tykkäystä
KLA:lla on ainakin prosessi kontrolli markkinalla varsin hallitseva asema ja ollut sitä jo varsin pitkään:
Vallihaudat näkyy ihan törkeän hyvänä kannattavuutena. Harmi vain, että nykyään paljon hyvää on jo hinnoiteltu osakkeeseen vaikkakin ei DCF:ää tarvitse juurikaan venytellä nähdäkseen osakkeen houkuttelevan hintaisena. Toisaalta eipä nykyinen arvostus ei oikein kestä turvamarginaalien leipomista ennusteisiin. Isoin markkina yritykselle on Kiina, mikä ei myöskään varsinaisesti ole houkutteleva asia.
Availin joskus kauan sitten ketjun KLA:lle, mutta ei se oikein keskustelua herättänyt vaikka silloin tuntui, että ilman kasvuakin yritys oli sen hetkisen hintansa arvoinen, joten kasvun sai käytännössä kaupan päälle.
10 tykkäystä
Onko täällä ARMia tarkemmin seuranneita… kurssikehitys on ollut ainakin tämän vuoden puolella huimaa, mutta toisaalta miten firman tuotteet vertautuu muihin puolijohdejättien tuoteportfolioihin ja toisaalta mitkä tekijät selittävät kurssikehitystä…?
Löytyy ihan oma ketjukin kun käyttää hakua
5 tykkäystä
Tuolla Arm ketjussa on asiaa jonkin verran puitu. Minä näen asian niin, että lähes kaikki siru/prosessorivalmistajat käyttävät Armin arkkitehtuuria ratkaisujensa pohjana. Eli Arm saa kasvavia lisenssi- ja rojaltituloja. Ymmärrykseni mukaan Arm dominoi tätä siru/prosessorimarkkinaa parhaana suunnitteluratkaisuna (arkkitehtuurina). Ja näin kuumassa sirumarkkinassa olisi siruvalmistajalta uhkarohkea veto aloittaa oma arkkitehtuuripolku. Eli Arm on Qualcommissa, Nvidiassa, AMDssä jne. - ei tietysti joka sirussa, mutta nyt minulle tilanne näyttäytyy niin, että ns.yrityskohtaiset sirut ja mobiilissa/edgessä olevissa laitteissa on Armin arkkitehtuurit lähes 100% kattavasti. mm. sen takia että Armilla on kyvykkyys tuottaa nopeasti yrityskohtainen/toimialakohtainen siruarkkitehtuuri. Ja Arm on energiataloudellinen suunnitteluratkaisu. Eli vallihautaa on.
Erityisen mielenkiintoista on se, että Nvidia on ostanut syksyn aikana 2 miljoonaa Armin osaketta markkinoilta (Seeking Alphassa oli tästä nosto). Ja hedge fundit on myynyt, eli ovat ottaneet pikavoittoja. On mahdollista, että tullaan näkemään jonkunlaista strategista kamppailuakin Armin ympärillä juurikin teollisten toimijoiden (siru, edge ja pilvitoimijat). Eli tämä strateginen kulma voi tulla jatkossa vielä selvemmin esiin. Arm on mulle vähän kuin Bitcoin. Armin arkkitehtuuri on niukkuusratkaisu, kaikki sitä joutuu ostamaan. Arvostus voi mahdollisessa yritysvaltaustilanteessa pomppia. Jos mietitään, mistä nyt puhutaan otsikoissa ja mistä ei puhuta. Siruvalmistajista ja pilvitaloista puhutaan. Mutta siitä ei juurikaan puhuta, että kaikki ovat Armin armoilla. Jos vain yhteen osakkeeseen saisi sijoittaa, niin se olisi Arm. Koska sen markkina-asema on minusta jopa vahvempi kuin Nvidian, ja Arm saa jo nyt hyvää kyytiä osana Nvidian strategista tuoteportfoliota. Hajautus on keino pysyä kyydissä näissä ison volan yhtiöissä, kuten Arm, SMCI ja Nvidia. Siksi missään nimessä en ole all in yhdessä.
11 tykkäystä
Kiitos kattavasta tiivistelmästä, vaikuttaa tosiaan mielenkiintoiselta ja kriittiseltä yritykseltä puolijohdemarkkinassa, täytyy ottaa seurantaan ja tutustua vielä paremmin 
1 tykkäys
AMAT:n Q1 2024 tuli eilen
6 tykkäystä
Mielenkiintoinen podcast jakso Intelistä kuunneltu hiihtolenkillä. Mieleen lähinnä jäi spekukointi Intelin foundry service bisneksestä, joka voi tuoda 10 miljardia voittoa 2030 vuonna… jos onnistuu.
2 tykkäystä
Onko kenellekään tullut vastaan viimeaikaisia konesaliratkaisuja, jossa olisi valittu AMD Nvidian+CUDA sijaan? Huomasin itse Poro LLM:n speksejä lukiessa, että malli oli opetettu LUMI-supertietokoneen AMD:n prosessoreilla, jotka hankittu 2021.
Esim. EuroHPC-hankkeen kaikki muut supertietokoneet yhtä lukuunottamatta näyttäisivät pyörivän Nvidian prossuilla: Our supercomputers - European Commission
Markkinaosuuksista on niin vaihtelevia lukuja, että kiinnostaisi nähdä empiriaa siitä, ottaako joku oikeasti nykyisin muuta tavaraa kuin Nvidiaa sisään.
2 tykkäystä
Supertietokoneet ovat vähän sivujuonne tässä, niitä yleensä käytetään tieteellisessä laskennassa, mutta voi niillä LLM:ääkin treenata.
AMD itse ennustaa että 2024 menisi kortteja reilusti yli kahdella miljardilla. Verrattuna NVIDIAn lukuihin tietenkin vähän nappikauppaa, mutta silti.
https://www.reuters.com/technology/amd-forecasts-45-billion-ai-chip-market-this-year-2023-12-06/
Kyllä näitä ostetaan, mutta markkinaosuus reilusti alle 10%.
5 tykkäystä
Jos oma näppituntuma akatemiasta pitää paikkaansa, niin taitaa olla ML-laskentavolyymit syrjäyttänyt tiedemaailmassa kaiken muun tieteelliseen laskentaan varatut resurssit. Sen verran rohkeasti jo ihan deep learning alkeiskursseista alkaen siirretään laskenta ainakin Suomessa CSC:n supertietokoneille ja kurssilaisia on joka kurssilla satoja. Hype on kovaa.
En tiedä, onko tämä TAM Nvidian kannalta hyvä vai huono. $45B TAM ei riitä likimainkaan Nvidian konsensus ennusteisiin, jotka kai olettavat sen $80-100B data centereistä.
Mihin tämä luku perustuu? Olen itse löytänyt 75-98% vaihteluvälillä olevia arvauksia
Ihan samanlaista laajaa haarukkaa olen nähnyt. Viime vuoden puolella NVIDIAn markkinaosuus nimenomaan AI-laskentaan käytetyistä korteista oli varmasti lähellä tuota 98%, mutta tämän AMDn uuden kortin myötä AMD varmasti on saanut sitä markkinaosuutta muutaman prosentin lisää. Raudan puolesta kortti on erittäin kilpailukykyinen ja isot toimijat pystyvät kyllä softapuolen hoitamaan jos suurin ongelma on raudan puute. Joten tätä kautta arvelin että nyt kun MI300 shippaa niin AMD osuus on enemmän kuin 2% mutta todennäköisesti vähemmän kun 10%.
Seuraavat osari antanee tarkempaa dataa jos avaavat lisää tuota MI300n menekkiä.
1 tykkäys
Näihin copypaste? teksteihin voisi laittaa linkin.
1 tykkäys
Besi Q4
1 tykkäys
SK Hynix ilmoittaa myyneensä HBM-kapasiteettinsa tälle vuodelle jo loppuun. Kysyntää nopeille muisteille laskentakortteihin selvästi on…
7 tykkäystä