Mitä tarkoittaa “epätäydellinen keskustelu”? Entä millainen olisi “kokonainen keskustelu”? Keskustelu on vuorovaikutusta kahden tai useamman ihmisen välillä, mutta ei ole olemassa keskustelun prototyyppiä. Kahden hengen keskustelut ovat konventioiltaan ja normeiltaan erilaisia kuin monen hengen keskustelut, kasvokkaiskeskustelut erilaisia kuin puhelinkeskustelut ja arkikeskustelut erilaisia kuin institutionaaliset keskustelut. Nettikeskustelut ja muut digitaalisen vuorovaikutuksen muodot ovat kokonaan oma lukunsa. Keskustelussa on kyse jaetusta sosiaalisesta kognitiosta ja vuorottelusta. Generatiivisten kielimallien kontekstissa vuorottelu tapahtuu hyvin rajatusti vierusparien kautta.
Sentimenttianalyysiä on toki NLP:ssä tehty jo maailman sivu, ja nykyiset transformer-mallit pystyvät tässäkin tehtävässä ottamaan verrattain laajan kontekstin huomioon. Sanojen merkitykset ovat kuitenkin hyvin vahvasti sidoksissa tekstilajeihin, diskursseihin ja kielenulkoiseen kontekstiin. Esimerkiksi sanan “maahanmuuttaja” konnotaatiot riippuvat melko voimakkaasti siitä, käytetäänkö sanaa valtioneuvoston selvityksessä työperäisestä maahanmuutosta vai Ylilaudalla. Nähtäväksi jää, miten hyvin näitä kielenulkoisia muuttujia pystytään tulevaisuudessa ottamaan huomioon.
Keskusteluissa on aina hyvä ymmärtää kohdeyleisö, nimittäin vaikka täällä ollaan keskimääräistä enemmän kiinnostuneista numeroista ja tietotekniikasta, menee silti jengillä pää jumiin jos alkaa selittämään Markovin ketjuista ja OOB erroreista. Minunkaan tässä ketjussa kirjoittama teksti ei ole faktuaalisesti korrekteinta jos sitä aletaan dekonstruktoimaan, mutta kuitenkin tarpeeksi helposti ymmärrettävää, että kaikki pysyvät kärryillä ja saavat ideasta kiinni.
Kuten sanoit, tekoälymallit kykenevät kyllä ottamaan kontekstin huomioon, mutta tämä on totta vain, mikäli konteksti esitetään riittävän hyvin ja koulutuksessa käytettävässä datassa on tarpeeksi monimuotoisuutta. Tsättiviesteissähänä on käyttäjältä hyvin tyypillistä kirjoittaa lyhyitä prompteja minimaalisella kontekstilla, jolloin koulutuksessa käytetyn lähtödatan yksipuolisuus vielä korostuu erityisen vahvasti.
Tulin tuossa miettineeksi, että mitkä yhtiöt erityisesti hyötyvät chat gpt:stä? Miten esimerkiksi Microsoft hyötyy rahallisesti? Nostaako se mm. pingin käyttäjämäärää jos Chat GPT integroidaan selaimeen mukaan ja miksi Google ei voisi samaa tehdä? Onko porukka löytänyt mitään tutkan alta lentäviä yhtiöitä joita voisi seurailla?
Eka tuli juttelemaan ainakin perion network ketjuun aiheesta, joka mahdollinen hyötyjä ja todella vahvasti suorittanut viime ajat muutenkin eikä kohtuuttoman kalliskaan jos ottaa ison yli 400 milj dollarin nettokassa huomioon.
Toki osake on noussutkin hienosti tässä viime ajat. Mutta ei se mahdottomalta näytä.
Perion illat on ilmankin tuota ollut erinomainen vire päällä.
Kotona koodaillessa olen nyt pyrkinyt hyödyntämään ChatGPT:tä. Tuohon on vain välillä vaikea luottaa, kun vastaukset saattavat olla mitä sattuu. Koodisnippetit ovat pääasiassa olleet ihan ok, mutta esim. frameworkin dokumentaatiosta kysellessä on kyllä yleensä helpointa kaivaa se itse dokumentaatio esille. Se lähteiden puute vieläkin ahdistaa, mutta eipä se ole tuon mallin pointtikaan.
Co-pilotin voisi kyllä joskus ottaa testiin, mutta nykyiseen “projektiin” se ei ehkä sovi ja töissä tuota ei ainakaan vielä saa käyttää.
The tool has already threatened journalists and students, grown evil alternate personalities, tried to break up a marriage, and begged for its life. Oh, and its ability to return accurate information is pretty poor, too
Oli vihdoin aikaa kokeilla tätäkin. Olen työskennellyt muiden yritysten tekoälyjen parissa ja oman kokemukseni mukaan tällä ei tee vielä mitään oikeassa elämässä.
Mielestäni on aika hyödytöntä heitellä ChatGPTlle tai millekkään muullekkaan tekoälyratkaisulle tehtäviä ja naureskella kun tulee tällaisia epäonnistumisia, ja todeta että “ei ole hyödyllistä”. Vähän kuin olisi katsonut ensimmäistä iPhonea, listannut asioita mitä se ei vielä tee, ja dumannut kaikki älypuhelimet ihan turhiksi.
Enemmänkin suhtautuisin asiaan niin, että ChatGPT on ensimmäinen kuluttajille suunnattu tuote joka toimii “varsin hyvin” ja on siisti teknologiademo siitä mihin tekoälysovellukset ovat menossa lähivuosina. Vähän kuten ero alkuperäisen iPhonen ja vaikka iPhone 5:n välillä oli aivan valtava, ja maturiteetissä otettiin valtavia hyppäyksiä eteenpäin.
Jos miettii että viimeisen n. vuoden aikana on saatu ChatGPT, dalle ja kasa muita oikeasti aika siistejä teknologiademoja, niin voi vain kuvitella mitä meillä on viiden vuoden päästä.
Ja kyllä ChatGPT:stä on nykyiselläänkin tiettyihin asioihin aitoa hyötyä. Esim itse olen luonut sen avulla noin “60% valmiita” pohjatekstejä eri materiaaleja varten, mikä nopeuttaa kirjoitus- ja luontiprosessia huomattavasti.
Itse integroisin tämän Windowsiin jonkin transkriptio mallin kanssa, jolloin voisit kertoa tietokoneelle ääneen että teeppä tämä, jonka jälkeen asetukset tai muut perus ohjelman käynnistykset yms olisivat helpompia. Esim sokeille tai käsiamputoiduille voisi olla ihan käänteentekevä teknologia kunhan pääsee suurimmista mokista eroon. Toisin sanoen Cortana voisi olla ihan oikeasti hyödyllinenkin apuri.
Itse testaisin peräkkäin siten, että “Minulla on 7 jäätelöä. Syön 3 omenaa. Kuinka monta jäätelöä minulle jää ?” antaa vastaukseksi 4
Mutta kysymys “Minulla on 7 jäätelöä. Syön 3 paistettua lehmän pihviä. Kuinka monta jäätelöä minulle jää ?” antaa vastaukseksi 7
Tyhjensin välillä keskustelun
Voiko kyse olla siitä, että Suomen kieltä on opetettu niin pienellä määrällä dataa, että kun Transformer päättelee vastauksen sanojen suhteista, jäätelö ja omena ovat liian lähellä toisiaan kaikissa kielellisissä ominaisuuksissa ?
Itse ajattelen karkeasti GPT-kielimallin toiminnan tällaiseksi, jos joku tuntee paremmin voi korjata.
Sisään tulevat sanoille annetaan Word Embedding vektori, joka lienee GPT-3:n osalta 512-ulotteinen. Jokainen ulottuvuus vastaa tiettyä kielellistä ominaisuutta.
Eli mitä lähempänä sanat ovat toisiaan kaikissa ulottuvuuksissa, sitä enemmän ne merkitsevät samaa asiaa. Jäätelö ja omena lienevät lähempänä kuin jäätelö ja lehmän pihvi ? Kumpikin on ruokaa mutta Lehmä on myös eläin.
MultiHead attention lohkot tarkentavat näitä sanat/embeddings-matriiseja .
Tämä tehdään Encoderissa kysymyksen sanoille (tokeneille) ja Decorerissa siihen asti annettujen vastauksien sanoille.
Decoderissa yhdistetään kysymyksen ja vastauksien matriisit(sanat) ja muodostetaan lopullinen matriisi Dec-6-out.
Matriisi litistetään linear layerin inputteihin. Linear layerin lähdöt vastaavat sanaston sanoja.
Linear layer oppii tunnistamaan vektoriavaruudesta, mikä sana valitaan seuraavaksi.
Lopulta Softmax vain muuttaa arvot todennäköisyyksiksi
Jos siis sanat ovat liian lähellä toisiaan 512-ulotteisessa sana-avaruudessa suhteessa opetettuun dataa, voiko GPT käsittää sanat samaa merkitseväksi? Edit lyhensin, sillä pitkää versiota kukaan ei jaksa lukea
Tosiaan kun noita kysymyksiä esittää botille, niin kannattaa muistaa, että aiemmat kysymykset vaikuttavat siihen kontekstiin ja vastauksiin. Esitin tämän saman kysymyksen eri keskusteluissa. Voi olla, että se suoriutuisi noista arvoituksista paljon paremmin englanniksi. Myös suomen sijamuodot luultavasti tekevät noiden käsitteiden tunnistamisesta vaikeampaa.
Mustan laatikon sisällä on sininen ja punainen laatikko. Punainen laatikko sisältää vihreän laatikon. Mitä laatikoita musta laatikko sisältää?
Eri vastaukset:
Mustan laatikon sisällä on sininen ja punainen laatikko, ja punainen laatikko sisältää vihreän laatikon. Joten musta laatikko sisältää vähintään kolme laatikkoa: sinisen laatikon, punaisen laatikon ja vihreän laatikon.
Kysymykseen ei voida antaa tarkkaa vastausta, koska siinä ei määritellä tarkemmin mustan laatikon sisältöä. Voimme kuitenkin päätellä seuraavaa: […] Joten ainoa varma tieto on, että mustassa laatikossa on sininen ja punainen laatikko.
