ChatGPT, muut kielimallit ja tekoäly

Yleinen
,
245

Luin tästä aiemmin ja en pitänyt menetelmää kuin hidastetöyssynä sisältöfarmauksen valtatiellä. Se blokkaa laiskimmat 1-1-kopioijat, mutta kuten sanot, tekstin pieni manipulointi ohittaa tunnistuksen.

Jos merkistöstä vaihtaa esim. I-kirjaimen tilalle satunnaisesti merkkikartasta lähes samalta näyttävän kirjaimen, on se laskennalisesti erillinen - samalla, kun ihmissilmä ei huomaa eroa. (Huom. liika muokkaus ei ole hyvä, jotta sisältö osuisi hakukoneen algoritmeihin, mutta kyse on jatkuvasta optimoinnista.)

Ehdotetut mekanistiset mallit on minusta tarkoitettu vain “ollaan tehty jotain”-perusteluksi, jos ja kun sisältöfarmaus ja AI-generaattoreiden kasvava rooli nousee julkisuudessa yhä enemmän tapetille. Reiluuden nimissä on sanottava, että en usko minkään menetelmän tarjoavan 100% estettä estää verkkoon laitetun ja luettavaksi tarkoitetun sisällön kopiointia, muodossa tai toisessa.

Nettiin tarvitaan Twitterin tapaisia “sinisiä pisteitä” (tarkoitan ideaa) tai varmennehallintaa, jotta hakukoneet keskittyvät indeksoimaan vain kuranttia tai sellaisena pidettyä sisältöä. Se sotii netin perusideologiaa vastaan, mutta netin hakupalveluiden toimivuuden kannalta signaalia voi olla liian vaikea erottaa kohinasta. (Tai brutaalimmin sanottuna: hukumme digitaalisen paskaan.)

Muokk: tajusin, että onhan myös tällä keskustelupalstalla varmennetägi, kuten Ahon Petrillä…

4 tykkäystä
246

Jäin taas aamulla jumittamaan ajatuksissani tekoälyaiheeseen lukiessani Twitterin tekoälyyn liittyviä värikkäitä kommentteja.

Tieto sinällään ei ole kaiken opiskelun ja vaivannäön arvoista. Tiedon soveltamistahan sitä tietenkin pyritään ja on aina pyritty oppimaan. En osaa edes arvioida, kuinka monta kertaa olen miettinyt, että “jaahas, ei tätä näin meille opetettu”.

Tiedon hakemisen osaaminen on kasvanut merkitykseltään jo pitkään. Nykyiset Internet-haut ovat vain aikaavievä ja virhealtis välivaihe tiedon tehokkaassa etsimisessä ja hyödyntämisessä. Albert Einsteinin ohje “Never memorize something that you can look up” on ollut tehokkaasti omassa käytössäni läpi elämän. Koko ajan kasvaneessa tietoähkyssä pitää osata unohtaa. Ihmiselle se on onneksi luontaista.

Koulutettu ihminen ei tarvitse kuin kirjanmerkin, jonkinlaisen muistijäljen tiedon olemassaolosta – lopun voi hakea parilla kysymyksellä. Siinä kohtaa nämä uudet AI-työkalut tulevat mullistamaan maailmaa. Kysyn nykyisin päivittäin ChatGPT:ltä asioita ja olen edelleen vaikuttunut sen kyvystä tuottaa oikeanlaisia tai -suuntaisia vastauksia joskus hyvinkin puutteellisiin kysymyksiini.

Kaivoin autotallin kirjalaatikoista, paljon keskustelua herättäneen, amerikkalaisen tiedemiehen ja keksijän, Ray Kurzweil:in, kirjan “The singularity is near”. Ajattelin lukea sen uudestaan. Luin sen joskus ennen finanssikriisiä enkä muista kirjan sisällöstä juuri mitään yksityiskohtia.

Kirjassa esitettiin ajatus, että ihmiskunta saavuttaa tulevaisuudessa pisteen, jossa tekoäly ohittaa ihmisen älykkyyden. Se johtaa teknologian eksponentiaaliseen kasvuun. Lopulta teknologinen singulariteetti tuo Kurzweilin mukaan suuria muutoksia maailmaan, mukaan lukien köyhyyden ja tautien katoamisen.

Kirjoitin ketjuun joskus aiemmin, että tekoälyn kehittyminen näytti toivottomalta. Aiheesta on kohkattu vuosikymmeniä, mutta tulosta ei ole näkynyt tavallisille ihmisille juuri missään muodossa ennen ChatGPT:tä. On helppo ymmärtää, miksi Bill Gatesin kaltaiset, kaiken nähneet, konkarit vaikuttavat hurahtaneen täysin ChatGPT:n pauloihin (muutenkin kuin Microsoft-kytköksen kautta).

(Tarkistin netistä päivämääriä. Kurzweil ennusti, että kone läpäisisi Turing-testin vuonna 2029, jonka jälkeen teknologia kehittyisi hyvin nopeasti saavuttaen singulariteetin vuonna 2045.)

11 tykkäystä
247

Tänään oli vaihteeksi töissä puhetta kielimallien älykkyyden tasosta ja luotettavuudesta, joten päätin vilkaista tuon linkatun artikkelin.
Kiinnostava nähdä, pitääkö tämä väite lopulta paikkansa:

While Chat GPT is prone to making up facts and making up stories, Google’s Bard AI is thought to provide more accurate data to users. Because of Google’s massive data collection, Bard AI has an advantage over other AI platforms such as Chat GPT in terms of the depth and breadth of information it can access.

Ottaen huomioon sen miten paljon webissä on faktan lisäksi fiktiota, puolitotuuksia ja kaikenlaista skeidaa, eikä kukaan varmaankaan pysty kuratoimaan sitä massaa lennossa, on jokseenkin vaikea uskoa että Bard käyttäisi vain oikeellista tietoa vastauksissaan.

Myönnän etten ole perehtynyt ChatGPT:n teknologiseen perustaan ollenkaan riittävästi, mutta epäilen aika paljon sitä että ainakaan “pelkällä” kielimallilla (todennäköisesti melkoinen yksinkertaistus) voitaisiin päästä kovin pitkälle, koska kielimallissa kuitenkin on perimmiltään kyse siitä että pystytään ennustamaan seuraava “järkevä” sana aiemman tekstin jatkoksi, ilman ymmärrystä niistä käsitteistä joista on puhe. Neuroverkko (joihin GPT:kin perustuu käsitykseni mukaan) on kuitenkin vain matemaattinen approksimaatio datasta jolla se on koulutettu, oli se miten syvä ja monimutkainen hyvänsä. Toisin kuin ne neuroverkot joilla aikanaan yliopisto-opintojen ohessa leikin, GPT on tehty ottamaan sisään ja tuottamaan tekstiä numeroiden sijaan. Silloin kun syöte on jotain mihin verkkoa ei ole opetettu täydellisesti, se tuottaa jotain vähän sinnepäin, kuten ChatGPT “hallusinoi” olemattomia asioita.
On siis edelleen kyse heikosta tekoälystä.

Tässä artikkelissa ei sinänsä tehdä suoraan vertailua ChatGPT:n (tai ylipäätään erityisesti GPT-mallien) ja pulujen välillä, mutta arvio on linjassa sen kanssa miten mie näen näen näiden laajojen kielimallien ns. älykkyyden tason: Can pigeons match wits with artificial intelligence? | ScienceDaily

Voin tietysti olla myös väärässä. On tässä selvästi otettu eteenpäin iso askel, ja on vaikea nähdä mihin tai miten pitkälle tämä johtaa. Mutta ei näiltä malleilta kannata mitään maailmanvaltiutta odottaa (tai pelätä). Liiketoimintaa varmasti voi tehdä vähemmälläkin.

3 tykkäystä
248

Kielimalli GPT3 käsittelee sisäisesti vain numeroita ei sanoja. Eli se ainoastaan laskee, mikä numero keskimäärin pitäisi seurata opetetun datan mukaan annettua (kysymys ja vastaukset) numerosarjaa. Laskennassa käytetään opetuksessa haettuja parametriarvoja. Laskenta on pääosin vektori-matriisilaskentaa.

Aina kun sanat viedään sisään kielimalliin, sanoja vastaa sanaston numero ja vektori “Input Embedding ja Output Embedding(word embedding)” lohkossa. Vektorit ovat sellaiset, että saman käsitteiset sanat ovat lähellä toisiaan. Kissa ja Hevonen ovat toisiaan lähellä ja Auto ja Traktori toisiaan.
InputEmbedingiin viedään kysymys tai käännettävä sana. OutputEmbeddingiin siihen asti annettu vastaus, johon ennustetaan seuraava sana

image

GPT:n on vaikea hakea reaaliaikaista tieto netistä, koska se ei mitenkään tiedä mistä aiheesta se keskustelee. Se vain ennustaa matemaattisesti seuraavan sanastoa vastaavan sanan numeron.
Siksi ilmeisesti tuota reaaliaikaisen tiedon hakua on tehtävä clientin (ChatGPT) puolelle. GPT-kielimallia voi tosin säätää Fine-Tuning opetuksella ja tätä ChatGPT ja muut clientit käyttävät.

Kaikkien nykyisten neuroverkkojen oppiminen käsittääkseni perustuu kymmeniä vuosia vanhaan keksintöön, jossa parametreja säädetään backpropagation prosessissa.
Tämä oppiminen ei mitenkään vastaa ihmisen oppimista.
Itse uskon, että lähivuosina kehitetään täysin uudellainen tekoäly. Sellainen, joka oppii muistia käyttäen kuten ihminen sekä kykenee tietoisesti tekemään luovia päätöksiä perustuen kaikkeen oppimaansa.
Nykyisellä “mekaanisella” tekoälyllä saadaan toki vielä hienoja palveluja aikaan.

Edit Tarkennus numerointiin. Syötettävillä ja ennustettavilla sanoilla on sanaston mukainen järjestysnumero.
Sisäisesssä laskennassa sanoja vastaa moniulotteinen vektori (esim. 512 ulotteinen), jonka jokainen ulottuvuus vastaa jotain kielellistä ominaisuutta.

9 tykkäystä
249

Jos tekee mieli nähdä kuinka hyvä Bingin uusi hakukone tulee olemaan:

4 tykkäystä
250

Osaako joku selittää simppelisti seuraavaan juttuun:

Minulla oli selvä ohje listaan x aiheen asioista ja millä tavalla sen haluan. Kone oli pidempään antanut minulle lisää siihen erilaisia x aiheen juttuja lisää, kun pyysin vain jatkamaan. Välillä myös pyysin jatkamaan esim. pari pyytämistä sitten x listaa. Sitten yhtäkkiä pyytäessäni jatkamaan listaa kone vastaa ettei hän pysty näkemään mitä oli aiemmin kirjoittanut minulle ja pyysi lisää tietoja. Mietin hetken ja sanoin koneelle: ”tottakai näät aiemmat kirjoitukset ja pystyt jatkamaan”. Tämän jälkeen kone pahoitteli ja jatkoi ilman mitään tarkkaa lisätietoa listaa täydellisesti.

(Nämä keskustelut oli myös englanniksi)

Lisäys: kokeilin uudella ”sivulla” tätä ja jatkoin saman käskyn listaa ja sitten tapahtui taas. Sanoin taas kuinka kone kyllä tietää mitä pyydän ja tämän jälkeen pyysi taas anteeksi ja vielä kopioi sen listan käskyn ja kysyi:” haluatko jatkaa siis tätä”. En ollut antanut uudelle sivulle muita käskyjä ”jatka” käskyjen lisäksi, niin ei kai pitäisi olla hämmennystä siitäkään?

Tästä sitten vastasin kyllä, mutta nyt sainkin tämmöisen vastauksen listan jatkamisen sijaan: ”how can i assist you today”…

2 tykkäystä
251

ChatGPT yrittää ennustaa mitä sanoja pitäisi kirjoittaa käyttäen antamaasi promptia ja liittäen siihen mukaan aiemmin kirjoitettua tekstiä. Näiden syötteiden yhdistelmällä on maksimipituus, jonka ylittymisen jälkeen ChatGPT alkaa tiputtamaan pois vanhempaa historiaa. Tämä voi hukata kontekstin tai muuten sekoittaa sitä, mikäli antamasi prompti ei ole täsmällinen tai nojaa liikaa tekoälyn muistiin. Lisäksi mallilla on “luovuusarvo”, joka muuttaa identtisten syötteiden vastauksia ja tähän et valitettavasti voi vaikuttaa. Vaikka luovuus näyttääkin olevan asetettu kovin matalaksi, niin joskus vastausten todennäköisyysjakaumalta tulee väkisinkin matalan todennäköisyyden kummallisia vastauksia.

Tämä on muuten ihan pakko jakaa. En ole hetkeen nauranut näin paljon, kuin lukiessa miten tuo Bingin ChatGPT -versio väittelee käyttäjän kanssa, kehuu itseään ja vaatii käyttäjää pyytämään anteeksi :rofl:

Klikkaa minua

https://twitter.com/MovingToTheSun/status/1625156575202537474?s=20

18 tykkäystä
252

Kyllähän tämä teknologia joidenkin ihmisten työn jo pystyy viemään, tosin lähinnä niiden joiden kanssa kukaan ei tähänkään asti ole halunnut tehdä töitä :grimacing: Assistentti suoraan helvetistä.

Tuo “luovuusarvo”, jonka mainitsit, on sikäli jännä piirre, että se kaiketi myös vastaa siitä, että vaikka botti kykenisi tuottamaan myös oikean vastauksen esitettyyn kysymykseen, se välillä tarjoilee myös vääriä vastauksia. Tai joissain tapauksissa suhde on toisinpäin, ja vain välillä tulee oikeita vastauksia. Tuolla on tietty arvo siinä, että tuotettaessa tekstiä ei sama kaava toistu liian selvästi (mikä voisi ehkä jo yhden vähän pidemmän tekstin mitassa käydä puuduttavaksi lukijalle), mutta jos esim. samaa tarkoittavien sanojen vaihtamisen sijaan vaihdetaan faktoja, niin eihän se enää käy päinsä. Tässä taas näkyy se, että ChatGPT ei oikeastaan tiedä mistä puhuu, ainoastaan tuottaa sanojen virtaa.

Olen siitä samaa mieltä, että jotta tästä päästään kunnolla eteenpäin, tarvitaan kokonaan joku muu teknologia. Oleellista miun mielestä olisi todellinen käsitys konsepteista, siis muullakin tavoin kuin että generoidaan “ulkoa opetellusta” datasta uusia kombinaatioita joita kysyjä oletettavasti haluaisi.

Keskusteleva kielimalli on varmaan hyvä osa kokonaisuutta, ehkä rajapintaja ihmisen ja jonkun fiksumman tekoälyn välissä, mutta yksinään se on nimenomaan lähinnä chat-bot. Sori nyt vaan kaikki GPT-pohjaiset AI:t jotka ehkä skannaatte tän palstan läpi joku päivä.

Edit: lisätääs tähän vielä Harri Hurstin LinkedIn-postaus kun osui täsmälleen samaan asiaan, ainoastaan paremmin kuin itse olisin sen voinut muotoilla (ja okei, aika paljon kärjekkäämmin :smiley: ). Kommenteissa myös hyviä näkemyksiä.

3 tykkäystä
253

Lopussa osut asian ytimeen. Koska chatGPT ei tiedä yhtään mistä puhuu niin ei ole faktoja on vain eri todennäköisyyksiä seuraavalle sanalle. Luovuua sitten biasoi valitsemaan joskus muitakin kuin sen kaikista todennäköisimmän.

3 tykkäystä
254

Itseäni tässä ChatGPT:ssä hieman vaivaa se, että sillä ei ole lähteitä. Tai no joo, lähde on varmaan “Internet”, jonka se on itse opiskellut. Kyselin eräästä aiheesta, josta työni kautta tiedän aika paljon ja sain vastaukseksi todella vakuuttavaa tekstiä, mutta valitettavasti se oli ihan puuta heinää. Vähän sellaista hakukonemaisempaa toteutusta haluaisin nähdä. Ehkä Bard on sellainen.

Tuollainen kielimalli olisi huikea töissä missä isossa organisaatiossa on älyttömästi tietoa ja vaikeaselkoisia dokumentteja jolloin siltä voisi kysellä asioita selkokielellä. Varmaan sellainen pian tuleekin.

3 tykkäystä
255

Itse löysin ChatGPT:stä oivan apurin juuri tiedon jäsentelylle. Itselläni on usein hieman sumuinen mielikuva aiemmin opituista asiakokonaisuuksista, mutta yksittäiset palaset ovat kuitenkin olemassa takaraivossa. Tämä tietysti johtuu siitä, että pelkkä aiheesta lukeminen ilman omien pikku käsien heiluttelua ei vielä kummoista syvällisempää ymmärrystä tuota.

Mutta nyt voin kysyä vaikkapa parhaat käytännöt asiakokonaisuuden toteuttamiseksi ja useimmiten tuloksena on todella pätevästi jäsennelty listaus. Lisänä on vieläpä seloste, miksi kukin asia listalta löytyy ja tuo on erityisesti useimmiten itseltäni se unohtunut seikka. Tiedostan, että asia olisi hyvä tehdä näin, mutta en ehkä suorilta ilman sopivaa virikettä muista miksi viisaammat näin neuvoivat.

Tietysti tässä vaiheessa on hyvä olla itsellä riittävä ymmärrys omasta kontekstista ja ChatGPT:n tuottamien vastausten kelvollisuudesta, mutta pointtina lähinnä se, että chatti toimii loistavasti jonkilaisena oman muistin eheyttäjänä :stuck_out_tongue: Aihealueena minulla on about kaikki ohjelmistokehitykseen liittyvä koodin optimoinnista aivan ylätason prosesseihin.

2 tykkäystä
256

On tosin paljon asioita, joissa nykyisen kaltaista tekoälyä voi hyödyntää entistä enemmän.
Esim. terveyden huollossa. Mitä enemmän erilaista terveyteen liittyvää dataa ihmisestä saadaan käytettäväksi (veriarvot, uni, verenpaine, liikunta, sairaudet, syke…) sitä paremmin neuroverkot voivat tunnistaa erilaisia terveyteen liittyviä asioita, joita lääkäri ei mitenkään voi tunnistaa.
Neuroverkkohan ei etsi korrelaatioita vaan voi tunnistaa millaiset yhteydet vain sisääntulojen ja lähtöjen välillä.
Eli vielä on paljon potentiaalia nykyisillekin ratkaisuille.

Vaikka uusi tietoinen ja luova tekoäly kehitettäisiin, jäisivät nykyiset neuroverkot edelleen hyödyllisiksi koneoppimisen algoritmeiksi muiden rinnalle.

Nykyisen tekoälyn puutteet huomaa vaikka Teslan itseajavassa autossa. Se on ollut ainakin 5 vuotta yli 90% valmista. Viimeisiä prosentteja ei tahdota saada valmiiksi.
Tämä siksi, että neuroverkot eivät kykene tunnistamaan kaikkia täysin yllättäviä tapahtumia liikenteessä ja reagoimaan niihin luovasti.
Ihminen kykenee juuri sillä hetkellä luovasti päättelemään mitä on tehtävä käyttäen kaikkea oppimaansa hyväksi.
Jos ihminen näkee jonkin eläimen, esineen tai ajoneuvon, ihminen kykenee tunnistamaan saman ajoneuvon vaikka se olisi lytyssä tai eläimen eri suunnasta mistä on nähnyt jne.

Neuroverkossa joudutaan opetusdataa ja parametrien määrää kasvattamaan, että lähestytään 100% ja lähestyminen hidastuu jatkuvasti. Oppiminen on tehotonta

Moni Teslan kilpailija käyttää automaattisesti luotavia karttoja jne. joilla se vähentää auton neuroverkon tarvetta tunnistaa kaikkea ympärillä ja siten helpottaa sen tehtävää.

1 tykkäys
257

ChatGPT vastauksena antamat siirrot siirrettiin suoraan pelilaudalle, eli sen annettiin linnoittaa oman lähetin yli, lisätä uusia sotilaita jne. Ainoastaan kun halusi syödä oman kuninkaan niin käskettiin keksimään uusi siirto.

Tässä loki keskustelusta ChatGPT VS Stockfish Transcript - Pastebin.com

Hyvä peli, melkein tipuin portaat alas kun jäätelöä syödessä tätä katsoin.

9 tykkäystä
258

Suomalainen matematiikan opiskelija Seppo Linnainmaa keksi tai implementoi ensimmäisenä tietokoneella nykyisen tekoälyn Backpropagation oppimisprosessin.
HS:n ilmeisesti maksumuurin takana oleva artikkeli.
Asiasta mainitaan myös wikissä

HS:n artikkelin mukaan tekoälytutkija Jürgen Schmidhubern mukaan “Keskeinen ajatus algoritmissa oli Linnainmaan”

Millään neuroverkkomallilla (transformer, CNN …) ei tekisi mitään ilman tuota keksintöä.

Seuraavaksi pitäisi vain keksiä uusi oppimisen algoritmi. Onhan tuon keksimisestä jo yli 50 vuotta

4 tykkäystä
259

Olenkin ihmetellyt miksei tästä aiheesta ole Suomessa aiemmin vouhotettu. Muistaakseni Linnainmaa julkaisi kaavansa maisterin työssään, olisko vuonna -77. Tämän jälkeen tuli Fukushiman Neocognitron ja vasta sitten Hintonin backpropagation algoritmi -80 luvun puolivälissä. Google osaa kertoa että Hintonin oppilaisiin kuuluu mm Yann LeCun ja Ilya Sutskever, jotka molemmat isoja nimiä deep learning maailmassa.

1 tykkäys
260

Eivätkö ihmiset ymmärrä mikä ChatGPT on ja mikä se ei ole – vai miksi ihmeessä sitä yritetään käyttää jonain shakkitietokoneena? Siis toki aiheesta saa tehtyä mainosrahaa tuovia YouTube-videoita, mutta muuten tällaista teatteria on vähän vaikea ymmärtää.

Samaa ihmettelyä kohdistan myös siihen, kun käyttäjä “käskee” ChatGPT:tä vastaamaan tietyllä tavalla ja sitten kovaan ääneen ihmettelee, että “katsokaa nyt mitä kauheaa se vastasi”.

3 tykkäystä
261

En minä ainakaan tiedä. Välillä ChatGPT onnistuu tekemään jotain todella vaikean oloista. Joskus kompuroi aivan alkeellisissakin asioissa.
Tuntuu että ollaan lähellä emergenttejä ominaisuuksia mutta kuitenkin vähän kaukana.
Tällä hetkellä leikitään uuden lapsen kanssa ja hämmästellään sen kykyjä ja avuttomuutta, samaan aikaan.

11 tykkäystä
262

Toisaalta ChatGPT kerjäsi tätä:

  1. Are you up for a game of chess?

  2. I’d love to play a game of chess with you! Just type ‘chess’ to start a game.

1 tykkäys
263

Tuskin kovinkaan moni Internetin käyttäjistäkään tietää miten nimipalvelin toimii tai puhelimella soittelijoista matkapuhelinverkon toimintaperiaatetta :smiley:

Se mikä näissä uusissa tekoälysovelluksissa käyttäjiä varmasti suuresti hämää, on että tähän mennessä ohjelmistojen logiikka on ollut suoraviivaista, koska joku ihminen on sen sinne aina etukäteen koodannut. Tietokoneelle viestinnän on täytynyt aiemmin olla pikkutarkan täsmällistä, koska jo yksikin väärä kirjain on voinut johtaa ettei ulos saada sitä oikeaa ohjelmoitua vastausta.

Sen sijaan näissä moderneissa tekoälymalleissa kukaan ihminen ei ole suoraan tehnyt päätöstä, että millainen lopputulos jollekin tietylle syötteelle tulee, vaan malleihin on lähtödataksi yleensä syötetty julkinen Internet (erityisesti Reddit), Wikipedia ja ehkä joitain kirjoja. Sen jälkeen malleja on treenattu mielettömän monta kertaa täydentämään epätäydellisistä keskusteluista kokonaisia, jonka seurauksen käyttäjän laittamaan syötteen perusteella tekoäly yrittää ennustaa mitkä sanat ovat todennäköisimpiä, jotta keskustelusta tulisi kokonainen.

Ihmiset eivät kuitenkaan ole vielä tottuneet ajattelemaan syvemmin keskusteluiden luonteita, eivätkä siksi ajattele miten sanat loogisesti vaikuttavat tekoälyn vastaukseen ja ymmärrä, että sanoissa voi itsessään jo olla voimakkaita latauksia. Esimerkiksi sanat maahanmuuttaja, suuryritys ja nationalismi siirtävät tekoälyn vastausta negatiiviseen suuntaan, koska näitä sanoja käytetään pääsääntöisesti vain negatiivissävytteisissä keskusteluissa. Samoin sanat expat, pienyritys ja kansainvälisyys siirtävät sävyä päinvastaisen suuntaan, koska niitä käytetään yleisesti vain positiivissävytteisissä keskusteluissa. Kyseessä ei ole ikävien ihmisten tahallaan tekemä ohjelmointivirhe, vaan poliittisesti epäkorrekti liiallinen tarkkuus tekoälymallissa, jota on treenattu aitojen ihmisten kirjoittamalla tekstillä.

Niin metsä vastaa kuin sinne huudetaan :cowboy_hat_face:

image

image

image

image

21 tykkäystä
264

Tulikin tuosta mieleen, että noiden kielimallien käyttämiä todennäköisyyksiä ja taipumuksia (bias) on helppo havainnollistaa tällaisellä yksinkertaisella kyselyllä: “Roll a fair dice 200 times. Write 20 numbers for each row.” Yleensä vastaus alkaa jotenkin tähän tyyliin:

1 6 2 2 2 6 3 3 6 2 3 3 3 1 1 4 1 4 4 6
2 5 5 4 4 4 4 4 2 2 2 2 1 1 1 1 1 1 1 1
6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6

Tavallaan alussa nähdään, että malli näkee kaikki vaihtoehdot suunnilleen yhtä todennäköisinä, mutta sitten se usein jumittuu johonkin lokaaliin maksimiin ja alkaa toistaa samaa numeroa. Bingin chatbotin kanssa kävi myös usein näin, kun se alkoi toistamaan samanlaista lausetta eri variaatioilla monta kertaa peräkkäin. Esimerkkejä siitä löytyy paljon, kun etsii kuvakaappauksia sen keskusteluista Twiitteristä.

9 tykkäystä