ChatGPT, muut kielimallit ja tekoäly

Tuleeko näin tosiaan tapahtumaan, vai siirtyykö pseudotieto vain uuteen kanavaan? Oma näkemykseni kielimallien käytöstä varsinaisessa tiedonhaussa ei ole ihan yhtä ruusuinen. Korostan sitä, että sanomani ei koske vain ChatGPT:tä vaan yhtä lailla kaikkia kielimalleja. USC:n Jonathan May kirjoitti hyvän tiivistyksen kielimallien kyvyistä ja käyttötarkoituksista. Toistonkin uhalla tässä keskeiset kohdat:

As a computer scientist, I often field complaints that reveal a common misconception about large language models like ChatGPT and its older brethren GPT3 and GPT2: that they are some kind of “super Googles,” or digital versions of a reference librarian, looking up answers to questions from some infinitely large library of facts, or smooshing together pastiches of stories and characters. They don’t do any of that – at least, they were not explicitly designed to.

– – – –

When talking privately to colleagues about ChatGPT, they often point out how many factually untrue statements it produces and dismiss it. To me, the idea that ChatGPT is a flawed data retrieval system is beside the point. People have been using Google for the past two and a half decades, after all. There’s a pretty good fact-finding service out there already.

– – – –

Starting with a bad first draft can break through writer’s block and get the creative juices flowing, and ChatGPT and large language models like it seem like the right tools to aid in these exercises.

And for a machine that is designed to produce strings of words that sound as good as possible in response to the words you give it – and not to provide you with information – that seems like the right use for the tool.

Kielimallien käyttäminen ajankohtaisen tiedon etsintään onkin sitten jo kokonaan toinen kysymys. En edes väitä tuntevani kielimallien toimintaperiaatteita tällaisissa tarkoituksissa, mutta samaa tuntuvat arvuuttelevan monet minua viisaammatkin. Mielenkiintoisia aikoja yhtä kaikki:

6 tykkäystä

On mielenkiintoista nähdä miten ChatGPT ja muut vastaavat palvelut ja niiden käyttämät kielimallit blokkaavat feedback-ongelman. Jos netin artikkeleihin käytetään enenevissä määrin kielimallien tuottamia tekstejä, ne puolestaan toimivat inputina kielimallin seuraavilla opetuskierroksilla.

Kielimalleissa on erilaisia tekniikoita, jotka valitsevat tekstin seuraavan sanan esim. sen perusteella, kuinka usein se on mainittu kyseisessä kontekstissa. En tiedä voiko mallin mekaniikkaa käyttää hyödyksi (vrt. hakukoneoptimointi) ja spämmätä netin täyteen identtistä sisältöä, mutta riski on hyvä tunnistaa. Ehkä tarvitaan tekoälyä tutkimaan onko sisältö viereisessä konesalissa tuotettua…

Edit - Selvennetty palveluiden ja kielimallien kohtaa, ChatGPT kun ei ole kielimalli kuten epähuomiossa kirjoitin!

3 tykkäystä

Se että kielimalli hakisi tuoretta tietoa netistä voi ymmärrykseni mukaan olla haastavaa.

Olen käsittänyt, että GTP-3 kielimallin sanasto on kooltaan 50 257 tokenia.

GPT-3/ChatGPT vastaukset pohjautuvat opetukseen eli parametrit säädetään optimiksi, jonka jälkeen saadut arvot asennetaan “tuotantoon”, jolloin sanojen ennustuksissa käytetään niitä laskutoimituksissa.

GPT-3:n kouluttaminen vie paljon aikaa, vaatii erittäin tehokkaat tietokoneet ja maksoi erään keskustelupalstan mukaan 5 Milj dollaria. Usein kielimalleja ei siksi opeteta.

@HER_ARM linkkaamissa Twitter viesteissä oli joitain ajatuksia. Niissä ehdotetaan jotain neuroverkon ulkoista logiikkaa kuten neurosymbolic AI tai että keskusteluagentti ymmärtää kysymyksen tarkoituksen ja osaa hakea tietoa netistä.

Netistä löytynyt tieto on tosin kielimallin älystä riippumatonta ulkoista tietoa ja sitä voi olla vaikea integroida luontevasti kielimallin muuhun vastaukseen.

3 tykkäystä

Tähän tuoreen tiedon hakuun tuli vastaan hauska “suutarin lapsilla ei ole kenkiä” tyyppinen anekdootti, kun koitin kysellä OpenAi:n chatbotilta miten Chatgpt:n maksullinen versio veloitetaan luottokortilta. Yllättäen ChapGPTn myynnistä vastaavs chatbot ei ymmärtänyt yhtään mitään vaan joka kerta totesi: en tajua, katso hinnoitteludokkarista. Toimi siis ihan yhtä laadukkaasti kuin kaikki muutkin chatbotit joita olen ennen chatgpt:tä käytänyt eli ei lainkaan.

Voi olla että globaali vastaus kaikkiin kysymyksiin saadaan toimimaan upeasti, mutta lokaalin vastauksen kanssa on silti suuria vaikeuksia. Lokaali vastaus tässä vaikka haku tämän päivän uutisista tai tietyn firman tuotteen palveluehdoista.

Hiukan kuten globaali Google haku toimii (tai toimi ennen kuin netti farmattiin täyteen roskaa) upeasti, mutta samaan aikaan lokaali oman koneen tiedostojen haku on toivotonta.

2 tykkäystä

Yksi käytännön kysymys johon ChatGPT sopii, mutta tällä hetkellä hakukoneet eivät oikein sovellu, on esim. “Mulla on x, y, ja z ainekset. Mikä on helppo ja nopea resepti jonka voin kokata?” ChatGPT sen jälkeen tuottaisi oikeat hakusanat jolla saadaan resepti esiin. Muitakin samankaltaisia kysymyksiä kyllä löytyy.

4 tykkäystä

Tulipa huonosti luettua tämä viesti pari päivää sitten. Törmäsin toiseen artikkeliin , josta vasta luin, että Bard osaa hakea tuoreet tiedot suoraan netistä.

“Bard will gather information from data and sources that are already available on the internet. While Chat GPT’s knowledge is limited to events through 2021, Bard will have access to the most up-to-date information and will be able to provide more current information”

Lisäksi Bard on kevyempi pyörittää, joten sitä voitanee käyttää ilmaisessa Google hakupalvelussa ?

On tuntunut ilmeiseltä, että Googlen “paniikki” ei missään vaiheessa ole koskenut sitä, osaavatko tehdä GPT-3/ChatGPT kaltaiset toiminnallisuuden vaan sitä, miten uudistavat koko hakukonseptin ansaintamalleineen tukemaan kannattavasti GPT-kielimallin kaltaista toiminnallisuutta

4 tykkäystä

Stockfish (valkoinen) pelaa shakkia ChatGPT:tä (musta) vastaan:

16 tykkäystä

Tähän liittyen tällainen start-up ilmestyi stealth-moodista tällä viikolla:

Voi olla kova.

1 tykkäys

Tuossa pelissä on kyllä jotain mätää. Esim. Hevonen liikkuu välillä kuin sotilas ja torni kuin lähetti.

19 tykkäystä

Vahvistamattomien huhujen mukaan kielimallien tuottamiin sisältöihin tulee jonkun sortin ”vesileima”, josta se sitten tunnistaa tulevaisuudessa oman tuotoksensa.

En kyllä sitten tiedä miten se tunnistaa omaa tekstiä, jos sitä tekstiä pilkotaan osiin yms.

6 tykkäystä

Luin tästä aiemmin ja en pitänyt menetelmää kuin hidastetöyssynä sisältöfarmauksen valtatiellä. Se blokkaa laiskimmat 1-1-kopioijat, mutta kuten sanot, tekstin pieni manipulointi ohittaa tunnistuksen.

Jos merkistöstä vaihtaa esim. I-kirjaimen tilalle satunnaisesti merkkikartasta lähes samalta näyttävän kirjaimen, on se laskennalisesti erillinen - samalla, kun ihmissilmä ei huomaa eroa. (Huom. liika muokkaus ei ole hyvä, jotta sisältö osuisi hakukoneen algoritmeihin, mutta kyse on jatkuvasta optimoinnista.)

Ehdotetut mekanistiset mallit on minusta tarkoitettu vain “ollaan tehty jotain”-perusteluksi, jos ja kun sisältöfarmaus ja AI-generaattoreiden kasvava rooli nousee julkisuudessa yhä enemmän tapetille. Reiluuden nimissä on sanottava, että en usko minkään menetelmän tarjoavan 100% estettä estää verkkoon laitetun ja luettavaksi tarkoitetun sisällön kopiointia, muodossa tai toisessa.

Nettiin tarvitaan Twitterin tapaisia “sinisiä pisteitä” (tarkoitan ideaa) tai varmennehallintaa, jotta hakukoneet keskittyvät indeksoimaan vain kuranttia tai sellaisena pidettyä sisältöä. Se sotii netin perusideologiaa vastaan, mutta netin hakupalveluiden toimivuuden kannalta signaalia voi olla liian vaikea erottaa kohinasta. (Tai brutaalimmin sanottuna: hukumme digitaalisen paskaan.)

Muokk: tajusin, että onhan myös tällä keskustelupalstalla varmennetägi, kuten Ahon Petrillä…

4 tykkäystä

Jäin taas aamulla jumittamaan ajatuksissani tekoälyaiheeseen lukiessani Twitterin tekoälyyn liittyviä värikkäitä kommentteja.

Tieto sinällään ei ole kaiken opiskelun ja vaivannäön arvoista. Tiedon soveltamistahan sitä tietenkin pyritään ja on aina pyritty oppimaan. En osaa edes arvioida, kuinka monta kertaa olen miettinyt, että “jaahas, ei tätä näin meille opetettu”.

Tiedon hakemisen osaaminen on kasvanut merkitykseltään jo pitkään. Nykyiset Internet-haut ovat vain aikaavievä ja virhealtis välivaihe tiedon tehokkaassa etsimisessä ja hyödyntämisessä. Albert Einsteinin ohje “Never memorize something that you can look up” on ollut tehokkaasti omassa käytössäni läpi elämän. Koko ajan kasvaneessa tietoähkyssä pitää osata unohtaa. Ihmiselle se on onneksi luontaista.

Koulutettu ihminen ei tarvitse kuin kirjanmerkin, jonkinlaisen muistijäljen tiedon olemassaolosta – lopun voi hakea parilla kysymyksellä. Siinä kohtaa nämä uudet AI-työkalut tulevat mullistamaan maailmaa. Kysyn nykyisin päivittäin ChatGPT:ltä asioita ja olen edelleen vaikuttunut sen kyvystä tuottaa oikeanlaisia tai -suuntaisia vastauksia joskus hyvinkin puutteellisiin kysymyksiini.

Kaivoin autotallin kirjalaatikoista, paljon keskustelua herättäneen, amerikkalaisen tiedemiehen ja keksijän, Ray Kurzweil:in, kirjan “The singularity is near”. Ajattelin lukea sen uudestaan. Luin sen joskus ennen finanssikriisiä enkä muista kirjan sisällöstä juuri mitään yksityiskohtia.

Kirjassa esitettiin ajatus, että ihmiskunta saavuttaa tulevaisuudessa pisteen, jossa tekoäly ohittaa ihmisen älykkyyden. Se johtaa teknologian eksponentiaaliseen kasvuun. Lopulta teknologinen singulariteetti tuo Kurzweilin mukaan suuria muutoksia maailmaan, mukaan lukien köyhyyden ja tautien katoamisen.

Kirjoitin ketjuun joskus aiemmin, että tekoälyn kehittyminen näytti toivottomalta. Aiheesta on kohkattu vuosikymmeniä, mutta tulosta ei ole näkynyt tavallisille ihmisille juuri missään muodossa ennen ChatGPT:tä. On helppo ymmärtää, miksi Bill Gatesin kaltaiset, kaiken nähneet, konkarit vaikuttavat hurahtaneen täysin ChatGPT:n pauloihin (muutenkin kuin Microsoft-kytköksen kautta).

(Tarkistin netistä päivämääriä. Kurzweil ennusti, että kone läpäisisi Turing-testin vuonna 2029, jonka jälkeen teknologia kehittyisi hyvin nopeasti saavuttaen singulariteetin vuonna 2045.)

11 tykkäystä

Tänään oli vaihteeksi töissä puhetta kielimallien älykkyyden tasosta ja luotettavuudesta, joten päätin vilkaista tuon linkatun artikkelin.
Kiinnostava nähdä, pitääkö tämä väite lopulta paikkansa:

While Chat GPT is prone to making up facts and making up stories, Google’s Bard AI is thought to provide more accurate data to users. Because of Google’s massive data collection, Bard AI has an advantage over other AI platforms such as Chat GPT in terms of the depth and breadth of information it can access.

Ottaen huomioon sen miten paljon webissä on faktan lisäksi fiktiota, puolitotuuksia ja kaikenlaista skeidaa, eikä kukaan varmaankaan pysty kuratoimaan sitä massaa lennossa, on jokseenkin vaikea uskoa että Bard käyttäisi vain oikeellista tietoa vastauksissaan.

Myönnän etten ole perehtynyt ChatGPT:n teknologiseen perustaan ollenkaan riittävästi, mutta epäilen aika paljon sitä että ainakaan “pelkällä” kielimallilla (todennäköisesti melkoinen yksinkertaistus) voitaisiin päästä kovin pitkälle, koska kielimallissa kuitenkin on perimmiltään kyse siitä että pystytään ennustamaan seuraava “järkevä” sana aiemman tekstin jatkoksi, ilman ymmärrystä niistä käsitteistä joista on puhe. Neuroverkko (joihin GPT:kin perustuu käsitykseni mukaan) on kuitenkin vain matemaattinen approksimaatio datasta jolla se on koulutettu, oli se miten syvä ja monimutkainen hyvänsä. Toisin kuin ne neuroverkot joilla aikanaan yliopisto-opintojen ohessa leikin, GPT on tehty ottamaan sisään ja tuottamaan tekstiä numeroiden sijaan. Silloin kun syöte on jotain mihin verkkoa ei ole opetettu täydellisesti, se tuottaa jotain vähän sinnepäin, kuten ChatGPT “hallusinoi” olemattomia asioita.
On siis edelleen kyse heikosta tekoälystä.

Tässä artikkelissa ei sinänsä tehdä suoraan vertailua ChatGPT:n (tai ylipäätään erityisesti GPT-mallien) ja pulujen välillä, mutta arvio on linjassa sen kanssa miten mie näen näen näiden laajojen kielimallien ns. älykkyyden tason: Can pigeons match wits with artificial intelligence? | ScienceDaily

Voin tietysti olla myös väärässä. On tässä selvästi otettu eteenpäin iso askel, ja on vaikea nähdä mihin tai miten pitkälle tämä johtaa. Mutta ei näiltä malleilta kannata mitään maailmanvaltiutta odottaa (tai pelätä). Liiketoimintaa varmasti voi tehdä vähemmälläkin.

3 tykkäystä

Kielimalli GPT3 käsittelee sisäisesti vain numeroita ei sanoja. Eli se ainoastaan laskee, mikä numero keskimäärin pitäisi seurata opetetun datan mukaan annettua (kysymys ja vastaukset) numerosarjaa. Laskennassa käytetään opetuksessa haettuja parametriarvoja. Laskenta on pääosin vektori-matriisilaskentaa.

Aina kun sanat viedään sisään kielimalliin, sanoja vastaa sanaston numero ja vektori “Input Embedding ja Output Embedding(word embedding)” lohkossa. Vektorit ovat sellaiset, että saman käsitteiset sanat ovat lähellä toisiaan. Kissa ja Hevonen ovat toisiaan lähellä ja Auto ja Traktori toisiaan.
InputEmbedingiin viedään kysymys tai käännettävä sana. OutputEmbeddingiin siihen asti annettu vastaus, johon ennustetaan seuraava sana

image

GPT:n on vaikea hakea reaaliaikaista tieto netistä, koska se ei mitenkään tiedä mistä aiheesta se keskustelee. Se vain ennustaa matemaattisesti seuraavan sanastoa vastaavan sanan numeron.
Siksi ilmeisesti tuota reaaliaikaisen tiedon hakua on tehtävä clientin (ChatGPT) puolelle. GPT-kielimallia voi tosin säätää Fine-Tuning opetuksella ja tätä ChatGPT ja muut clientit käyttävät.

Kaikkien nykyisten neuroverkkojen oppiminen käsittääkseni perustuu kymmeniä vuosia vanhaan keksintöön, jossa parametreja säädetään backpropagation prosessissa.
Tämä oppiminen ei mitenkään vastaa ihmisen oppimista.
Itse uskon, että lähivuosina kehitetään täysin uudellainen tekoäly. Sellainen, joka oppii muistia käyttäen kuten ihminen sekä kykenee tietoisesti tekemään luovia päätöksiä perustuen kaikkeen oppimaansa.
Nykyisellä “mekaanisella” tekoälyllä saadaan toki vielä hienoja palveluja aikaan.

Edit Tarkennus numerointiin. Syötettävillä ja ennustettavilla sanoilla on sanaston mukainen järjestysnumero.
Sisäisesssä laskennassa sanoja vastaa moniulotteinen vektori (esim. 512 ulotteinen), jonka jokainen ulottuvuus vastaa jotain kielellistä ominaisuutta.

9 tykkäystä

Jos tekee mieli nähdä kuinka hyvä Bingin uusi hakukone tulee olemaan:

4 tykkäystä

Osaako joku selittää simppelisti seuraavaan juttuun:

Minulla oli selvä ohje listaan x aiheen asioista ja millä tavalla sen haluan. Kone oli pidempään antanut minulle lisää siihen erilaisia x aiheen juttuja lisää, kun pyysin vain jatkamaan. Välillä myös pyysin jatkamaan esim. pari pyytämistä sitten x listaa. Sitten yhtäkkiä pyytäessäni jatkamaan listaa kone vastaa ettei hän pysty näkemään mitä oli aiemmin kirjoittanut minulle ja pyysi lisää tietoja. Mietin hetken ja sanoin koneelle: ”tottakai näät aiemmat kirjoitukset ja pystyt jatkamaan”. Tämän jälkeen kone pahoitteli ja jatkoi ilman mitään tarkkaa lisätietoa listaa täydellisesti.

(Nämä keskustelut oli myös englanniksi)

Lisäys: kokeilin uudella ”sivulla” tätä ja jatkoin saman käskyn listaa ja sitten tapahtui taas. Sanoin taas kuinka kone kyllä tietää mitä pyydän ja tämän jälkeen pyysi taas anteeksi ja vielä kopioi sen listan käskyn ja kysyi:” haluatko jatkaa siis tätä”. En ollut antanut uudelle sivulle muita käskyjä ”jatka” käskyjen lisäksi, niin ei kai pitäisi olla hämmennystä siitäkään?

Tästä sitten vastasin kyllä, mutta nyt sainkin tämmöisen vastauksen listan jatkamisen sijaan: ”how can i assist you today”…

2 tykkäystä

ChatGPT yrittää ennustaa mitä sanoja pitäisi kirjoittaa käyttäen antamaasi promptia ja liittäen siihen mukaan aiemmin kirjoitettua tekstiä. Näiden syötteiden yhdistelmällä on maksimipituus, jonka ylittymisen jälkeen ChatGPT alkaa tiputtamaan pois vanhempaa historiaa. Tämä voi hukata kontekstin tai muuten sekoittaa sitä, mikäli antamasi prompti ei ole täsmällinen tai nojaa liikaa tekoälyn muistiin. Lisäksi mallilla on “luovuusarvo”, joka muuttaa identtisten syötteiden vastauksia ja tähän et valitettavasti voi vaikuttaa. Vaikka luovuus näyttääkin olevan asetettu kovin matalaksi, niin joskus vastausten todennäköisyysjakaumalta tulee väkisinkin matalan todennäköisyyden kummallisia vastauksia.

Tämä on muuten ihan pakko jakaa. En ole hetkeen nauranut näin paljon, kuin lukiessa miten tuo Bingin ChatGPT -versio väittelee käyttäjän kanssa, kehuu itseään ja vaatii käyttäjää pyytämään anteeksi :rofl:

Klikkaa minua

https://twitter.com/MovingToTheSun/status/1625156575202537474?s=20

18 tykkäystä

Kyllähän tämä teknologia joidenkin ihmisten työn jo pystyy viemään, tosin lähinnä niiden joiden kanssa kukaan ei tähänkään asti ole halunnut tehdä töitä :grimacing: Assistentti suoraan helvetistä.

Tuo “luovuusarvo”, jonka mainitsit, on sikäli jännä piirre, että se kaiketi myös vastaa siitä, että vaikka botti kykenisi tuottamaan myös oikean vastauksen esitettyyn kysymykseen, se välillä tarjoilee myös vääriä vastauksia. Tai joissain tapauksissa suhde on toisinpäin, ja vain välillä tulee oikeita vastauksia. Tuolla on tietty arvo siinä, että tuotettaessa tekstiä ei sama kaava toistu liian selvästi (mikä voisi ehkä jo yhden vähän pidemmän tekstin mitassa käydä puuduttavaksi lukijalle), mutta jos esim. samaa tarkoittavien sanojen vaihtamisen sijaan vaihdetaan faktoja, niin eihän se enää käy päinsä. Tässä taas näkyy se, että ChatGPT ei oikeastaan tiedä mistä puhuu, ainoastaan tuottaa sanojen virtaa.

Olen siitä samaa mieltä, että jotta tästä päästään kunnolla eteenpäin, tarvitaan kokonaan joku muu teknologia. Oleellista miun mielestä olisi todellinen käsitys konsepteista, siis muullakin tavoin kuin että generoidaan “ulkoa opetellusta” datasta uusia kombinaatioita joita kysyjä oletettavasti haluaisi.

Keskusteleva kielimalli on varmaan hyvä osa kokonaisuutta, ehkä rajapintaja ihmisen ja jonkun fiksumman tekoälyn välissä, mutta yksinään se on nimenomaan lähinnä chat-bot. Sori nyt vaan kaikki GPT-pohjaiset AI:t jotka ehkä skannaatte tän palstan läpi joku päivä.

Edit: lisätääs tähän vielä Harri Hurstin LinkedIn-postaus kun osui täsmälleen samaan asiaan, ainoastaan paremmin kuin itse olisin sen voinut muotoilla (ja okei, aika paljon kärjekkäämmin :smiley: ). Kommenteissa myös hyviä näkemyksiä.

3 tykkäystä

Lopussa osut asian ytimeen. Koska chatGPT ei tiedä yhtään mistä puhuu niin ei ole faktoja on vain eri todennäköisyyksiä seuraavalle sanalle. Luovuua sitten biasoi valitsemaan joskus muitakin kuin sen kaikista todennäköisimmän.

3 tykkäystä

Itseäni tässä ChatGPT:ssä hieman vaivaa se, että sillä ei ole lähteitä. Tai no joo, lähde on varmaan “Internet”, jonka se on itse opiskellut. Kyselin eräästä aiheesta, josta työni kautta tiedän aika paljon ja sain vastaukseksi todella vakuuttavaa tekstiä, mutta valitettavasti se oli ihan puuta heinää. Vähän sellaista hakukonemaisempaa toteutusta haluaisin nähdä. Ehkä Bard on sellainen.

Tuollainen kielimalli olisi huikea töissä missä isossa organisaatiossa on älyttömästi tietoa ja vaikeaselkoisia dokumentteja jolloin siltä voisi kysellä asioita selkokielellä. Varmaan sellainen pian tuleekin.

3 tykkäystä