Toi mun laittama esimerkkimalli on ajossa parempi kuin mitä GPT-4 oli julkaisussa, sisältää monikielisyyden ja voidaan ajaa riittävän suuressa kontekstissa käytännön sovelluksiin. Sun tiedot on jostain GPT-2 ajoilta ennen kvantisaation yleistymistä, jolloin malleilla oli tuhottomat vaatimukset. 3 kuukautta sitten tämäkin laittamani malli ei muuten olisi näin hyvin pyörinyt, koska tarvittavat kyvykkyydet sen ajamiseen valmistuivat vasta noin kuukausi sitten. Jos ei näiden kanssa jatkuvasti ronki, niin ei välttämättä voikaan ymmärtää miten kevyellä raudalla nykyään näitä voidaan ajaa. Laita vaikka Phi 4 läppärille viikonloppuna testiin, niin näet:
Nykyään ihan vakioratkaisuna, että sulla on varta vasten erikseen koulutettu sensori(sic!)-LLM ja hallusinaationesto-LLM, jotka vilkaisevat ulostulon ja tarvitaessa hylkäävät sen ennen käyttäjälle näyttämistä.
Tällä hetkellä iso haaste tietty, että parhaat ratkasut toimii vaan Nvidian raudalla ja vaikka noi saisi 4 GB ahdettua, niin pelit tungetaan nykyään niin äärirajoille ettei löysää yleensä löydy. Mut aletaan hyvä vauhtia lähestymään tilannetta, että hyvin toimivia yleismalleja saadaan ahdettua 0,5 GB - 1 GB tilaan, joten vuoden päästä tätä ongelmaa tuskin on. Erikoistunut malli menisi pienempäänkin. Kyllä nää peleihin vielä tulevat, mutta ensin tarvitaan läpimurtohitti ennen kuin muut seuraavat perässä. Remedyllä ei tosiaan lliene varaa näitä yrittää, koska epäonnistumisella olisi valtavat seuraukset.