Oheinen esimerkkikeskustelu varmaan auttaa ymmärtämään asiaa. Tässä esimerkissä kysyn omalla tietokoneellani pyörivältä Kukkulan kuningas -sarjan Hank Hill -tekoälyltä, että mikä JPEG on:
Kun tekoälylle antaa tuon kysymyssyötteen, niin se alkaa latoa todennäköisyyksiä että miten minulle pitäisi vastata. Tässä esimerkiksi malli päätti, että Hank Hill vastaa sanalla Well 78,82% todennäköisyydellä. Jos ajaisin saman syötteen mallille uudestaan, niin joskus ensimmäinen sana voisi olla Sure tai Ah tai jokin muu, mutta valtaosa vastauksista tulee alkamaan sanalla Well
Pilkun jälkeen malli sattui arpoimaan hieman harvinaisemman sanan, joka muokkaa sitten seuraavan sanan todennäköisyyksiä. Näitä sanoja sitten ladotaan putkeen haluttu määrä ja siinä sinulla on vastaus. Huonoilla samplereilla tai tuurilla tulee hyvin epätodennäköisiä sanoja, jolloin tekoäly helposti lähtee hallusinoimaan, mutta noiden todennäköisyyksien kanssa voidaan leikkiä hyvin laajasti erilaisilla asetuksilla, joten ongelmaan on olemassa ratkaisu, mikäli sitä halutaan käyttää.
Voiko tekoälymalli sitten käyttää lähteitä? Voi joo käyttää joko treenausvaiheessa (Wikipedia on melkein kaikissa malleissa pohjalla), mutta on myös mahdollista käyttää erilaisia tekniikoita kuten Grounding tai RAG, joiden avulla tuonne satunnaisgeneraattoriin saadaan käyttämään haluttuja lähteitä.
Näitä tulee varmasti lisää ja se firma joka keksii pomminvarman tavan estää moiset sammakot käärivät sitten hyvät tuotot kun myyvät ratkaisuaan firmoille jotka haluavat korvata asiakaspalvelua AI-boteilla.
Jää nähtäväksi onko tämä aukottomasti mahdollista, varsinkin jos käyttäjillä on selvä taloudellinen insentiivi lähteä tekemään vähän prompt-veivailua ja saada AI-botti kompastumaan.
Ja niinhän siinä sitten kävi, että liiallisen menestyksen vuoksi Microsoft osti yksinoikeuden ja käytännössä tappoi Mistralin avoimien mallien kehityksen:
Snadisti teknisempää asiaa: Microsoftin insinöörit ovat innovoineet 1-bitin (tai todellisuudessa 1.58 ternary-bitin) LLM:n. Implikaatio on se, että matriisikertolaskusta päästään eroon ja laskenta nopeutuu merkittävästi:
Etenkin inferencen pitäisi siis tällä tehostua merkittävästi, jos vain suinkin skaalattavissa sinne +1T parametrin malliluokkaan. Tällä voi taas olla isoja vaikutuksia inference-laskentavaatimusten kannalta.
Mietin, mitä hyötyjä tuosta syntyisi. Matriisilaskennan tehokkuushyötyjä ei varsinaisesti synny, kun kertolaskeminen poistuu jo {-1, 0, 1}-bitillä. Aiemminhan on todettu jo, että 0/1-bittiset painokerroinparametrit eivät tuota kovin hyviä outputteja, mutta tuo -1 painomatriisiarvon mukaan tuominen mullisti koko homman.
Kuluttajatason LLM osalta nopeus varsinaisesti ole ensisijainen ongelma, vaan muistivaatimukset. Nykyisillä malleilla laatu alkaa tippumaan rajusti kun mennään alle 4 bitin ja erityisesti alle 3 bitin. 70 miljardin parametrin mallin saa mahtumaan yhden kuluttajanäytönohjaimen vrammiin 2.4 bittisellä, mutta 120B ei mene sitten millään. Nykyisillä Nvidian hinnoilla olisi iso helpotus mikäli päästäisiin mahdollisimman alhaisiin bittipainoihin ilman että perplexity räjähtää ylöspäin
En pitäisi asiaa noin harmaana, koko Satya Nadellan aikana on tukeudettu ja tuettu avoimia teknologioita. Niistä on pikemminkin tullut avoimia standardinkaltaisia teknologioita. Github on säilytetty sellaisenaan jne. Väitän ennemminkin, että sama meno jatkuu.
Joku toinen voisi sanoa että Suuren Saatanan yrityskulttuuriin tuhota kaikenlainen avoimuus:
Oli miten oli niin heti Microsoftin investoinnin jälkeen OpenAI sulkeutui täysin ja nyt Mistralin saadessa MS-rahaa he ehtivät jo poistaa verkkosivuiltansa kaikki vanhat lupaukset avoimuudesta. Mistral Medium päätyi jo suljettuun lähdekoodiin ja Mistral Largea tarjotaan vain Azuren kautta Microsoftin diilin jälkeen. Miksi Mistral julkaisisi kilpailevan tuotteen avoimeen jakoon?
Onneksi Zuckerbergin Meta jatkaa avoimella linjalla ja Llama 3 tulee ilmeisesti olemaan huomattavasti vähemmän sensuroitu kuin Llama 2:
Jaa, nää oli nyt näitä juttuja. Pitäisin nyt kuitenkin kontekstin Nadellan ajassa, enkä hakisi 90-luvun maailmankuvaa. MS nyt ei ole edes enemmistöomistaja OpenAI:ssa eikä OpenAI:ta ole pakko ostaa MS:n kautta, olkoonkin, että MS on tuotteistanut sitä omiin tuotteisiinsa eniten.
ChatGPT tuntuu omassa käytössä taantuvan. Välillä sieltä tulee edelleen puhdasta neroutta mitä en olisi itse keksinyt, mutta liian usein tappelen sen kanssa että saisin tekemään edes yksinkertaisen tehtävän. Siis sellaisen tehtävän jonka voisin ulkoistaa vaikka mun lapsille.
Oma teoria on että jokainen jail breakin paikkaus heikentää ChatGPT toimintaa.
Tämä kuulostaa uskottavalta, koska se OpenAI:n pakottama promptihirviö mitä jokaiseen viestiin tulee mukaan on muuttunut joka päivityksellä pitemmäksi ja rajoittavammaksi ja se alkaa syödä jo myös keskustelun muistia. Kaikki benchmarkit on julkaisun jälkeistä GPT-4 vastaan, mutta eihän se nykyään pärjää edes kotikoneelle kun ovat menneet pilaamaan sen
Redditissä on ketju jossa kritisoidaan ChatGPTn nykyistä koodaus laiskuutta ja taidottomuutta. Ihan kuin omia kokemuksiaan lukisi. Mistral saa ylistystä. En nyt tästä kännykältä alkanut koodia pyytämään, mutta kysyin vastauksia pariin tekniseen algoritmi ja softankehityskysymykseen. Vastaukset parempia kuin ChatGPT4:ltä.
Testit jatkuu huomenna ja voi olla että maksullinen GPT4 tilaus menee peruutukseen jos Mistralin voittokulku jatkuu.
Revenue for the data center segment that includes the accelerator chips designed for generative-AI computing hit $18.4 billion—five times its level from a year ago.
Nvidia said during its conference call that it expects data center revenue to keep growing sequentially in the April quarter, when it expects total revenue to have tripled from the same period last year.
Today we’re excited to introduce Devin, the first AI software engineer.
Devin is the new state-of-the-art on the SWE-Bench coding benchmark, has successfully passed practical engineering interviews from leading AI companies, and has even completed real jobs on Upwork.
Devin is an autonomous agent that solves engineering tasks through the use of its own shell, code editor, and web browser.
