OpenAI oli tosin tältä osin vähän outo viritys - hallitus oli kasattu hyvin toisenlaisessa tilanteessa ja virallisestihan OpenAI on “nonprofit” eli hallitus nimenomaan ei vastaa sijoittajille.
Bloombergin jutusta:
Just think about OpenAI Inc., the 501(c)(3) public charity, with a mission of “building safe and beneficial artificial general intelligence for the benefit of humanity.” Like any nonprofit, it has a mission that is described in its governing documents, and a board of directors who supervise the nonprofit to make sure it is pursuing that mission, and a staff that it hires to achieve the mission. The staff answers to the board, and the board answers to … no one? Their own consciences? There are no shareholders; the board’s main duties are to the mission.
Hienoa aikaa elämme kun voi livenä seurata kahden ehkä maailman kovimman (?) AI-gurun väittelyä tekoälyn vaarallisuudesta. Vaara-puolella entinen Googlen AI-labran Geoffrey Hinton, Ei vaaraa-puolella Metan AI-pomo ja Hintonin entinen oppilas Yann LeCun.
Myös avointen ja lokaalien mallien osalta kehitys jatkaa aivan mielipuolisen hurjaa vauhtia kiitos Llama 2, exllamav2 ja FlashAttention-2. Lisäksi omien kokeilujeni mukaan min-p sampleri vaikuttaisi toimivan paremmin kuin ChatGPT:n käyttämä top-p:
Minulla pyörii 24 GB kuluttajanäytönohjaimella 70 miljardin parametrin malli 4k kontekstilla ja 2,4 bittiä per paino, 17 tokenia sekunnissa! Ihan uskomaton ChatGPT 4 -kaltainen kokemus ja aivan eri planeetalta kuin mitä kesällä oli mahdollista saada. Vielä kun saisivat pikkiriikkisen puristettua lisää bittejä tuohon muistirajoitteiseen, että tekoälymallin hämmennys romahtaisi, niin homma olisi täydellistä.
Tai sitten Nvidia voisi vihdoinkin julkaista edullisen näytönohjaimen, missä olisi 32 GB muistia
Ohessa iloksenne kotikoneen tekoälyllä luotu runo:
Tää on supermielenkiintoinen kuunnella siitäkin näkökulmasta, että miten korkeasti koulutetut maallikot näkevät tekoälyn tällä hetkellä. Aika paljon lähestytään siitä näkökulmasta, että tekoäly = ChatGPT ja peilataan sitä kautta.
Kiva, että tekoälystä jutellaan, mutta nyt on kyllä pakko antaa lempeän kipakkaa kritiikkiä siitä, ettei nyt ihan hirveän asiantuntevaa keskustelua tällä kertaa onnistuttu saamaan aikaan.
Erityisen voimakkaasti särähti juuri tuo, että tekoäly typistyi jatkuvasti GPT-mallien tekstin generoinniksi. Tekoälyn yhteiskunnalliset vaikutukset tosiaan saattavat tuntua melko vähäisiltä, jos tekee oletuksen tekoäly = GPT3.5-mallin tuottama teksti. Esimerkiksi hoitotyön tulevaisuuden osalta pohdittiin, että tuskin tekoäly tuo alalle mitään parannusta kuin korkeintaan saneluiden tallennukseen. Mihin unohtui esim. diagnostiikka, jossa tekoäly on päihittänyt ihmisen tarkkuudessa - väsymättömyydestä puhumattakaan - jo vuosikymmenen ajan?
Toinen mikä särähti kyllä pahasti oli väite, ettei tekoäly paranna työn laatua. Tämähän on tutkimustiedon valossakin jo nyt silkkaa puppua, vaikka typistäisi tekoälyn GPT-malleihin. Copilotin kaltaiset koodiavustajat tuottavat tutkitusti eri tavoin mitaten kaksi numeroisia laatuparannuksia (esim. commiteiden läpimeno co-pilot avusteisesti vs. ilman pilottia). Harvard Business Schoolin tutkimuksessa, jonka olen tänne jo varmaan 4-5 kertaa linkannut, vaativan liikejohdon konsultoinnin strategiatyön laatu parani, jopa enemmän kuin nopeus GPT-4-mallia hyödyntämällä. Samoin erilaiset classifierit, klusterialgoritmit, suosittelualgoritmit tai filtterit ovat jo vuosia olleet paljon ihmistä parempia tuottamaan laatujälkeä erilaisissa käyttötapauksissa (tehosta taas puhumattakaan). Ja kyllä, voi olla, ettei kaikilla näillä ole merkittävää vaikutusta kansantalouden tuottavuuslukuihin, mutta on yksiselitteisesti väärin väittää, etteikö tekoäly parantaisi laatua jo nykyteknologioilla.
Joo, tässä puhutaan kuitenkin isommasta keksinnöstä kuin vaikkapa älypuhelin. Vaikkea keksiä sellaista työtä mihin tekoälyn laajamittainen käyttö ei tule vaikuttamaan ja varsinkin “softa syö softaa”- ilmiö tulee iskemään todella kovaa lähes kaikkiin tähän mennessä julkaistuihin tietokonesovelluksiin, elleivät yhtiöt osaa tai tajua panostaa tuotekehitykseen riittävän vakavasti.
Vaikka olen näissä tekoälyhommissa lähinnä aktiivinen harrastelija, niin pystyisin jo korvaamaan omaltakin työpaikalta kymmenien ihmisten työpanoksen ihan vaan nykyisiä avoimesti saatavilla olevia työkaluja käyttämällä. Sovellusten rakentamisessa ja profiloinnissa menee oma aikansa, mutta kymmenen vuoden päästä työelämä näyttää hyvin erilaiselta verrattuna tähän päivään, jopa niin paljon ettei sitä pysty tällä hetkellä välttämättä edes täysin sisäistämään.
Pystytkö kertomaan mitä ja miten korvaisit? Mielenkiintoinen aihe, kiinnostaa kovasti. Sinunhan kannattaisi ehdottaa tota johdolle, jos tehostamismahdollisuudet ovat noin kovat?
Meillä tehdään paljon sellaista tekstin- ja numeroidenkäsittelyä sekä dokumentaatioon liittyvää työtä, joka on liian monimutkaista ohjelmistorobotiikalle, mutta ei suurille kielimalleille. En tietenkään ole niin typerä että ehdottaisin asiaa johdolle. Saisin itse valtavasti lisää töitä asiaan liittyen ja joku muu käärisi hillot. Tällä veroasteella tavoitteena on pikemminkin vähentää omia töitä eikä lisätä niitä. Jos organisaatio ei osaa käyttää tekoälyä optimaalisella tavalla, niin se on jonkun toisen ongelma
Huhujen mukaan näitä automaation ja tekoälyn osaajia saattaa löytää esimerkiksi Inderesin foorumilta kirjoittelemassa vastauksia viesteihin arkipäivisin
Google Geminin multimodal ominaisuus osaa käsitellä ja tuottaa erityyppistä dataa samanaikaisesti (sanoja, kuvia…)
Yllä olevassa lainauksessa helmikuussa pohdin, jos Transformeria käytettään tulevaisuudessa robotissa(esim. Tesla Bot), tuodaanko seuraavaksi tietoja useista eri aistista eli useaa eri tyyppistä dataa.
Tämä ajatus perustui siihen, että kun Transformeriin viedään dataa, se muutetaan moniulotteisiksi vektoreiksi (tokens)
Kun sanat muutetaan vektoreiksi, opetusvaiheen jälkeen sanojen etäisyys toisistaan eri ulottuvuuksissa perustuu niiden merkitykseen.
Mikäli transformeriin vie vaikka kuvia, muutetaan nekin vektoreiksi ja opetusvaiheen jälkeen kuvien etäisyys toisistaan perustuu niiden merkitykseen.
Jos sekä kuvat, että sanat vie Transformeriin ja ne ovat samassa vektoriavaruudessa, koiraa esittävä kuva voidaan yhdistää koiraa tarkoittaviin sanoihin (koira, Terrieri, Pystykorva…) jne.
Tällöin jos Robotilta kysyy, mitä sinä näet, se osaa kertoa asioita pohjautuen siihen, mitä sen kamerasilmät näkevät
Tuo Geminin multimodal ominaisuus kuulostaa tuon kaltaiselta. En tiedä toimiiko noin, saattaa toimia.
Kaikki puhuu Twitterissä ChatGPT:n tappajasta, mutta se ei ole mielenkiintoista. Katsokaa Gemini Nanoa. 1,8 ja 3,25 miljardin parametrin mallit 4-bittisinä ovat niin pieniä, että niitä pystyy ajamaan suoraan älypuhelimen raudalla. Jatkossa kaikilla on yksinkertainen tekoäly käytössä natiivina Android-laitteilla ilman kolmannen osapuolen sovelluksia?
Applelta tuli muuten uusi ML-frameworkki Apple siliconille:
Lupaavan oloinen kotikäyttäjiä ajatellen, koska Nvidian nykyisellä hinnoittelulla Applen laitteet ovat halvin tapa saada paljon nopeaa muistia omaan käyttöön, ellei halua maksaa itseään kipeäksi pilvipalveluiden laskentatehosta.
Ilman isoja algoritmisia uudistuksia näin ei todennäköisesti käy. Tästä pitää huolen ns. Chinchilla Scaling Laws, joka kertoo, että mallin suorituskyvyn parantuminen on suorassa yhteydessä mallin parametrien määrään ja corpuksen kokoon. Iso corpus plus iso määrä parametrejä tuottaa transformereilla parhaan lopputuloksen.
Tuo taas vaatii tietysti laskentaa, mitä Android-rauta ei tee vaaditulla teholla. Eikä kuluttajalle varmaankaan kelpaa GPT3-tason sisäänrakennettu LLM, jos parempia on ulkoisissa palveluissa tarjolla ilmaiseksi. [2203.15556] Training Compute-Optimal Large Language Models
Mikä kenestäkin on mielenkiintoista… Minun mielestäni nimenomaan tämä - voisiko sanoa verinen - kisa parhaasta tekoälystä on todella mielenkiintoinen. Googlen oli pakko vastata ChatGPT:n esittämään uhkaan sen core businekselle (haku & älykäs mainostus) ja nyt näyttää että Gemini saattoi ainakin hetkeksi painella ohi tässä kisassa josta ollaan nähty oikeastaan vasta lähtölaukaus.
Tämä on mielenkiintoista myös siksi että Googlen Deepmind oli vielä viime vuosikymmenen täysin dominoiva peluri AI-kehityksessä ja hetken näytti siltä että Google olisi pudottanut pallon Bardin kanssa. Mutta kuten sanottu, tämä peli on vasta avattu, kilpailijoita on paljon, rahaa on paljon ja tuloksia näyttäisi tulevan todella ripeään tahtiin.
Latasin omalle Macille ja ihan hyvin näyttää toimivan Mistral 7B (paras 7B malli) terminaalista.
Homma pelittää jos alla on Max/Ultra -tason Mac minimissään 32 GB+ muistilla ja mikäli ymmärtää ATK-perusteet niin asentaminenkin on aika yksinkertaista. Heikommalla raudalla hyvin epäkäytännöllistä, joten turha yrittää. Periaatteessa tuolle varmaan löytyy heti niche jos haluaa ultranopeita vastauksia prompteihin, mutta kun tukea ei ole kunnolla vielä saatavissa niin mihinkään vaativampaan hommaan on parempi käyttää muita ratkaisuja tai ostaa vaan ChatGPT 4.
En ymmärrä ollenkaan ajattelutapaasi tässä asiassa. Periaatteessa on ihan totta, että halutaan aina käyttöön suurempi malli pienemmän sijaan jos se on mahdollista, vaikka sitten jouduttaisiinkin vähentämään bittejä. Tosiasiallisesti nykyiset pienet mallit kuitenkin pieksevät vanhat isot selvästi ja on vaikea löytää 13B parametrin yleismallia, mikä olisi Mistral 7B parempi ja ero on selvä jopa kesän 33B parametrin malleihin. Siksi ei kannata tyrmätä Nanoa vielä tässä vaiheessa.
Toki tuo 3,25B 4-bit kuulostaa todella hurjalta myös omaan korvaan, eikä sillä voi mitään massiivista älyä nykyisellä osaamisella saada aikaiseksi, mutta se ei myöskään ole täysin ei mitään. Ihan hyvä korvike tuosta saadaan Google Assistantille aikaiseksi ja jokainen puhelinvalmistaja voi halutessaan tuunata oman versionsa. Ajattele vähemmän ChatGPT-appia puhelimessa ja enemmän henkilökohtaista sihteeriä.
ChatGPT ei tee hakua eikä myöskään älykästä mainostusta. Uhka tulee Microsoftin ja Bingin puolelta. Jos Google haluaa jossain vaiheessa integroida tekoälyn hakutuloksiin, niin ei siihen tarvita erillistä ChatGPT:n tappajaa.
Microsoftilla ei tietääkseni ole mitään omaa tekoälyprojektia vaan kaikki pyörii OpenAI:n ja ChatGPT:n kautta 10 miljardin sijoituksen myötä. Mitä mainostukseen tulee niin puhuin uhkasta joka mielestäni on todellinen ja uskon että hyvin pian tullaan näkemään miten mainokset uivat mukaan kuvioon. Toivottavasti tällä kertaa sen verran fiksusti että niistä olisi käyttäjälle todellista hyötyä.
Ei Googlen haulla kukaan tee mitään jos relevanttia tietoa saa muualta paremmin.
