NVIDIA - Mahdottoman mahdollistaja

On useita syitä, miksi hyperscaler on monelle käyttäjälle optimaalisin ratkaisu. Esim. globaali palvelutarjoama ja -peitto poistavat käytännössä kaikki latenssi-, hajautus- ja interoperability -haasteet. Dedikoidumpiin tarpeisiin voi sitten käyttää dedikoidumpia konesaliratkaisuja. En nyt näe Nvidian pyörittävävän kuitenkaan DGX Cloud -ratkaisun lisäksi general purpose -infraa, joka ei missään mielessä ole yhtiön core competencya.

AI:n osalta, @Neon_Hauerin mainitseman laskentatehon lisäksi, keskeinen syy suorittaa AI-workloadit pilvessä on datan sijainti. Maailmassa on kohta 200 triljoonaa gigatavua dataa säilöttynä pääasiassa pilveen ja on luonnollista, että data ja laskenta ovat lähellä toisiaan. On päivän selvää, ettei ole millään mittarilla järkevää lähteä liikuttelemaan AI:n vaatimia datamassoja kovinkaan kauas laskennasta.

Tämä Acquiredin edellisten kausien sponsori on Crusoe: https://crusoe.ai/. Todella mielenkiintoinen yhtiö omassa AI-laskenta nichessään.

4 tykkäystä

Kuten @Roope_K sanoikin datan sijainnista, niin latenssi ongelmien välttämisen lisäksi isoissa saleissa on ylivertainen volyymietu levypinnan hinnan suhteen. Kun perinteisen konesalin tila oli usein kalliilla levyjärjestelmällä jossa puhuttiin noin 150-250 euron hinnasta kuukaudessa per teratavu, niin pilvessä ollaan hinnoissa 7-20 euroa per tera / kk. No, kaikkiin skenaarioihin tuo ei sovellu.

Säilytystilan täytyy kuitenkin olla halpaa, koska AI:n datantarve on paljon runsaampaa kuin perinteisten tietokantojen sisällön vaatima tila. Kun tietokannoissa data on jo etukäteen suunnittelijan järjestämää ja minimoimaa (kantarakenne, normalisoinnit, avaimet), niin siellä datan niukkuus ja rakenne estää löytämästä datasta mitään uutta.

AI ei siis oikein kunnolla kykene löytämään mitään uutta perinteisistä hierarkisista tietorakenteista vaan vaatii suuria määriä järjestämätöntä ja laajaa ns. vuorovaikutteista dataa. Ison tietomassan anomalioita kaivelemalla voidaan löytää uutta tietopotentiaalia joihin ei päästä traditionaalisilla dataratkaisuilla.

Toinen hieman vaikeammin hahmotettava asia on se, että perinteiset konesalit perustuvat lähes yksinomaan perinteiseen virtuaalikonekapasiteettiin. Jo vanhentuneella tavalla on vaikea kustannustehokkaasti muotoilla massiivisia järjestelmiä. Vaikka tietenkin myös hyperscalereilla on ytimessä virtuaalipalvelimia on niistä rakennettu eräänlaisia alustoja (ai/data jne) alustojen (pilvi-alusta) päälle. Tälläisten alustojen rakentaminen onnistuu vain isoimmista toimijoilta ja niiden olemassaolo tarjoaa huimaa nopeus, skaalaus ja kehitysetua verrattuna siihen, että pitäisi hanskata os-tason hallintaa massiivisen palvelinfarmin sovelluskerroksen lisäksi. Pilven Paas-tyyppiset alustaratkaisut ovat nimenomaan se teknologinen hyppy, joka erottaa pilven perinteisistä virtuaalikonepohjaisista ratkaisuista.

Aina välillä esitetään ratkaisuksi ns. reunalaskentaa, mutta sekään ei ole varsinainen ratkaisu, mutta kuitenkin ihan toimiva kompromissi joissain skenaarioissa. Reunalaskentaskenaarioissa esimerkiksi päivän analytiikat lasketaan paikallisesti tehtaalla (operatiiviset raportit) ja siitä eteenpäin ne viedään pilveen laajempaan analyysiin (historiallinen / tilastollinen / jne). Tuossakin vasta pilvessä on mahdollista murskata dataa kunnolla.

5 tykkäystä

BARRONS July 9 2024




3 tykkäystä

Knoppina tällainen, ellei jo aiemmin ole esillä ollut

https://x.com/Rainmaker1973/status/1811800040089813158?t=qTrHw_7w4CQzFdz_EgUu-Q&s=19

2 tykkäystä