“Meillä ei ole vallihautoja, mutta ei ole OpenAI:lläkään.” → Open source mallit tulee ja jyrää. Tämä on TLDR vuodetusta Googlen memosta AI:n kehityksestä. Koko dokkari ja lyhyt video aiheesta viesti lopussa alla jotain käännettyjä parhaita paloja. Kannattaa lukea koko dokkari paljon hyviä linkkejä kuten LLM:n leivänpaahtimessa 
-
“Olemme tarkkailleet jatkuvasti OpenAI:ta. Kuka saavuttaa seuraavan merkkipaalun? Mikä on seuraava askel? Mutta epämukava totuus on, ettemme ole hyvässä asemassa voittaaksemme tämän kilpavarustelun, eikä OpenAI ole myöskään. Samaan aikaan kun me olemme taistelleet on kolmas taho tullut kuin varas hiljaa yöllä. Puhun tietenkin avoimesta lähdekoodista. Selkeästi sanottuna, he menevät meistä ohi. Vaikka malleillamme on vielä pieni etumatka laadussa, ero kuroontuu hämmästyttävän nopeasti umpeen. Avoimen lähdekoodin mallit ovat nopeampia, joustavampia, yksityisempiä ja suhteessa tehokkaampia. He saavat aikaan asioita, joihin me käytämme 10 miljoonaa dollaria ja 540 miljardia parametria, vain 100 dollarilla ja 13 miljardilla parametrilla.”
-
"Meillä ei ole mitään salaisia keinoja. Paras toivomme on oppia ja tehdä yhteistyötä Googlen ulkopuolella. Meidän tulisi priorisoida kolmansien osapuolten integraatioiden mahdollistaminen. Jättimäiset mallit hidastavat meitä. Pitkällä aikavälillä parhaat mallit ovat niitä, jotka voidaan iteroida nopeasti. Meidän pitäisi panostaa enemmän pieniin variantteihin, nyt kun tiedämme, mitä on mahdollista alle 20 miljardin parametrin alueella.
-
“Maaliskuun alussa avoimen lähdekoodin yhteisö sai käsiinsä ensimmäisen todella kykenevän perusmallin, kun Metan LLaMA vuoti julkisuuteen. Siinä ei ollut ohjeistuksia tai keskustelun säätöä, eikä RLHF:ää (Reinforcement learning from human feedback). Siitä huolimatta yhteisö ymmärsi välittömästi, kuinka merkittävä lahja heille oli annettu.”
-
" Monessa mielessä tämä ei pitäisi yllättää ketään. Avoimen lähdekoodin suurten kielimallien nykyinen nousu seuraa tiiviisti kuvageneraation muutosta. Ilmiö oli selvä: midjourney jyrää OpenAI:n mallit. On vielä nähtävissä, tapahtuuko sama suurten kielimallien kohdalla, mutta samankaltaiset rakenteelliset tekijät ovat läsnä."
