Nytkö se alkaa, että uutisia aletaan tehdä siitä, kun ChatGPT:ltä kysytään asioita ja uutisoidaan sen vastaukset:
Kun tietää kuinka ChatGPT pyrkii toimittamaan hyväksyttävän vastauksen vaihtelevin faktuaalisin tiedoin on mielestäni hyvin kyseenalaista, että tälläistä joku Iltapulu uutisoi ilman faktojen tarkastamista. Ei voida olettaa, että keskimääräinen Ilta-Sanomien lukija olisi tietoinen ChatGPT:stä ylipäätään saati sen kyvyistä ja puutteista.
Google on ainakin löytänyt itseään kiinnostavan vaihtoehdon eli Antrophic nimisen startupin Claude-robotin 
Juu, toi on erittäin ala-arvoinen artikkeli. ChatGPT:llä ei oo mitään tietoa 2021 vuoden jälkeen tapahtuneista asioista niin on ihan älytöntä lähteä kysymään ajankohtaisista asioista.
Tuo osuus on ollut valtakielissä jo pitkään merkityksetön, sillä koodi muotoutuu automaattisesti tiimin sääntöjen mukaiseksi ns. linttereillä ja vastaavilla syntaksityökaluilla (esim. Prettier). Sääntöjä voidaan säätää jopa projektitasolla, jos niikseen haluaa 
Tämä ei tainnut vielä olla täällä. Eli OpenSource vastine ChatGPTlle työn alla. Sieltä voi napsia itelleen reinforcement learning tehtäviä. Ei tarvitse osata koodausta että voi olla avuksi.
Yannick auttaa alkuun. En ole itse ehtinyt vielä perehtyä.
Tähänkään uutiseen ei kauaa mennyt. Microsoft on liittämässä Bing-hakuunsa ChatGPT:n internettiä hyödyntävän haun, joka toimii ChatGPT:n uudemmalla 3.5-versiolla.
Mukavaa pöhinää myös Microsoftin osakkeen ympärillä.
Tästä löytyi juttua myös suomeksi.
Ja vielä toinen →
Ja toisessa ketjussa esille tuotu Googlen “avaus” aiheeseen.
AI can be helpful in these moments, synthesizing insights for questions where there’s no one right answer. Soon, you’ll see AI-powered features in Search that distill complex information and multiple perspectives into easy-to-digest formats, so you can quickly understand the big picture and learn more from the web: whether that’s seeking out additional perspectives, like blogs from people who play both piano and guitar, or going deeper on a related topic, like steps to get started as a beginner. These new AI features will begin rolling out on Google Search soon.
Aiheen pyörittelyä 10 minuuttia
Suomeksi
Saa nähdä nappaako ensimmäinen lintu madon, mukava seurata tilanteen kehitystä 
.
On kyllä jännä fiilis tästä touhusta. Samanlaisia fiiliksiä ei ole omalla kohdalla kuitenkaan ihan hirveän montaa: kotitietokoneet, internet, web-selaimet, ADSL, kännykkä, hakukoneet… Seuraavan parin vuoden aikana muutos on iso. Nopeita ja täsmällisiä vastauksia saa puolen tunnin googlettamisen ja kaiken maailman feikkisaittien sijaan hetkessä. Pääsy internetin ajankohtaiseen dataan (aikataulut, tulokset, historiatiedot jne.) on todella iso juttu.
Hieman hankala ajatella tätä sijoitusmielessä. Kävin hetki sitten Bing:ssä ilmoittautumassa testikäyttäjäjonon jatkoksi ja se oli ensimmäinen kerta kun käytän Bing:ä vuosiin. Microsoft vaikuttaa mielestäni vahvalta ja sillä on muutenkin tukijalkoja ihan riittävästi. Nvidia:n ja AMD:n osalta olen jo mukana. Pitää vielä tarkastella tätä uudestaan – josko sitä tekisi vielä rohkeampia siirtoja. Tämä pöhinä tulee joka tapauksessa jatkumaan ennen kuin AI vähitellen arkipäiväistyy. Piirikehityksen fokuksia mietitään takuulla tarkasti monessa yhtiössä. Ja rautahan on kaikkea muuta kuin valmista AI:lle. Konesalibusiness tuskin kääntyy laskuun.
Ylilaudasta voi olla montaa mieltä, mutta hyvinkin kiinnostava lanka, jossa ChatGPT “jailbreakattu”: https://ylilauta.org/satunnainen/131307431
Ja jos ei halua altistua ylilaudan “älylliselle” keskustelulle, redditin ChatGPT-ryhmässähän noita jailbreakkeja on kehitelty ja jaettu sitä mukaa kun OpenAI on paikannut edellisiä; tässä ketjussa esim. tuon metodin koko versiohistoria: https://www.reddit.com/r/ChatGPT/comments/10tevu1/new_jailbreak_proudly_unveiling_the_tried_and/
Tuleeko näin tosiaan tapahtumaan, vai siirtyykö pseudotieto vain uuteen kanavaan? Oma näkemykseni kielimallien käytöstä varsinaisessa tiedonhaussa ei ole ihan yhtä ruusuinen. Korostan sitä, että sanomani ei koske vain ChatGPT:tä vaan yhtä lailla kaikkia kielimalleja. USC:n Jonathan May kirjoitti hyvän tiivistyksen kielimallien kyvyistä ja käyttötarkoituksista. Toistonkin uhalla tässä keskeiset kohdat:
As a computer scientist, I often field complaints that reveal a common misconception about large language models like ChatGPT and its older brethren GPT3 and GPT2: that they are some kind of “super Googles,” or digital versions of a reference librarian, looking up answers to questions from some infinitely large library of facts, or smooshing together pastiches of stories and characters. They don’t do any of that – at least, they were not explicitly designed to.
– – – –
When talking privately to colleagues about ChatGPT, they often point out how many factually untrue statements it produces and dismiss it. To me, the idea that ChatGPT is a flawed data retrieval system is beside the point. People have been using Google for the past two and a half decades, after all. There’s a pretty good fact-finding service out there already.
– – – –
Starting with a bad first draft can break through writer’s block and get the creative juices flowing, and ChatGPT and large language models like it seem like the right tools to aid in these exercises.
And for a machine that is designed to produce strings of words that sound as good as possible in response to the words you give it – and not to provide you with information – that seems like the right use for the tool.
Kielimallien käyttäminen ajankohtaisen tiedon etsintään onkin sitten jo kokonaan toinen kysymys. En edes väitä tuntevani kielimallien toimintaperiaatteita tällaisissa tarkoituksissa, mutta samaa tuntuvat arvuuttelevan monet minua viisaammatkin. Mielenkiintoisia aikoja yhtä kaikki:
On mielenkiintoista nähdä miten ChatGPT ja muut vastaavat palvelut ja niiden käyttämät kielimallit blokkaavat feedback-ongelman. Jos netin artikkeleihin käytetään enenevissä määrin kielimallien tuottamia tekstejä, ne puolestaan toimivat inputina kielimallin seuraavilla opetuskierroksilla.
Kielimalleissa on erilaisia tekniikoita, jotka valitsevat tekstin seuraavan sanan esim. sen perusteella, kuinka usein se on mainittu kyseisessä kontekstissa. En tiedä voiko mallin mekaniikkaa käyttää hyödyksi (vrt. hakukoneoptimointi) ja spämmätä netin täyteen identtistä sisältöä, mutta riski on hyvä tunnistaa. Ehkä tarvitaan tekoälyä tutkimaan onko sisältö viereisessä konesalissa tuotettua…
Edit - Selvennetty palveluiden ja kielimallien kohtaa, ChatGPT kun ei ole kielimalli kuten epähuomiossa kirjoitin!
Se että kielimalli hakisi tuoretta tietoa netistä voi ymmärrykseni mukaan olla haastavaa.
Olen käsittänyt, että GTP-3 kielimallin sanasto on kooltaan 50 257 tokenia.
GPT-3/ChatGPT vastaukset pohjautuvat opetukseen eli parametrit säädetään optimiksi, jonka jälkeen saadut arvot asennetaan “tuotantoon”, jolloin sanojen ennustuksissa käytetään niitä laskutoimituksissa.
GPT-3:n kouluttaminen vie paljon aikaa, vaatii erittäin tehokkaat tietokoneet ja maksoi erään keskustelupalstan mukaan 5 Milj dollaria. Usein kielimalleja ei siksi opeteta.
@HER_ARM linkkaamissa Twitter viesteissä oli joitain ajatuksia. Niissä ehdotetaan jotain neuroverkon ulkoista logiikkaa kuten neurosymbolic AI tai että keskusteluagentti ymmärtää kysymyksen tarkoituksen ja osaa hakea tietoa netistä.
Netistä löytynyt tieto on tosin kielimallin älystä riippumatonta ulkoista tietoa ja sitä voi olla vaikea integroida luontevasti kielimallin muuhun vastaukseen.
Tähän tuoreen tiedon hakuun tuli vastaan hauska “suutarin lapsilla ei ole kenkiä” tyyppinen anekdootti, kun koitin kysellä OpenAi:n chatbotilta miten Chatgpt:n maksullinen versio veloitetaan luottokortilta. Yllättäen ChapGPTn myynnistä vastaavs chatbot ei ymmärtänyt yhtään mitään vaan joka kerta totesi: en tajua, katso hinnoitteludokkarista. Toimi siis ihan yhtä laadukkaasti kuin kaikki muutkin chatbotit joita olen ennen chatgpt:tä käytänyt eli ei lainkaan.
Voi olla että globaali vastaus kaikkiin kysymyksiin saadaan toimimaan upeasti, mutta lokaalin vastauksen kanssa on silti suuria vaikeuksia. Lokaali vastaus tässä vaikka haku tämän päivän uutisista tai tietyn firman tuotteen palveluehdoista.
Hiukan kuten globaali Google haku toimii (tai toimi ennen kuin netti farmattiin täyteen roskaa) upeasti, mutta samaan aikaan lokaali oman koneen tiedostojen haku on toivotonta.
Yksi käytännön kysymys johon ChatGPT sopii, mutta tällä hetkellä hakukoneet eivät oikein sovellu, on esim. “Mulla on x, y, ja z ainekset. Mikä on helppo ja nopea resepti jonka voin kokata?” ChatGPT sen jälkeen tuottaisi oikeat hakusanat jolla saadaan resepti esiin. Muitakin samankaltaisia kysymyksiä kyllä löytyy.
Tulipa huonosti luettua tämä viesti pari päivää sitten. Törmäsin toiseen artikkeliin , josta vasta luin, että Bard osaa hakea tuoreet tiedot suoraan netistä.
“Bard will gather information from data and sources that are already available on the internet. While Chat GPT’s knowledge is limited to events through 2021, Bard will have access to the most up-to-date information and will be able to provide more current information”
Lisäksi Bard on kevyempi pyörittää, joten sitä voitanee käyttää ilmaisessa Google hakupalvelussa ?
On tuntunut ilmeiseltä, että Googlen “paniikki” ei missään vaiheessa ole koskenut sitä, osaavatko tehdä GPT-3/ChatGPT kaltaiset toiminnallisuuden vaan sitä, miten uudistavat koko hakukonseptin ansaintamalleineen tukemaan kannattavasti GPT-kielimallin kaltaista toiminnallisuutta
Stockfish (valkoinen) pelaa shakkia ChatGPT:tä (musta) vastaan:
Tähän liittyen tällainen start-up ilmestyi stealth-moodista tällä viikolla:
Voi olla kova.
Tuossa pelissä on kyllä jotain mätää. Esim. Hevonen liikkuu välillä kuin sotilas ja torni kuin lähetti.
Vahvistamattomien huhujen mukaan kielimallien tuottamiin sisältöihin tulee jonkun sortin ”vesileima”, josta se sitten tunnistaa tulevaisuudessa oman tuotoksensa.
En kyllä sitten tiedä miten se tunnistaa omaa tekstiä, jos sitä tekstiä pilkotaan osiin yms.