Mielestäni ChatGPTn vastaus kertoo teknisistä eroista mm. parametrien ja käytetyn opetusdatan ja käytössä olevan datan määristä(kielet). Nämä taas vaativat hyvää rauta-arkkitehtuuria.
Perusidea taitaa pohjautua Embedding->MultiHead Attention->FeedForward periaatteeseen, jonka päälle on tehty mainittuja lisätoiminnallisuuksia. Mullistavaa patentoitua teknistä innovaatiota ei taida olla. Tai ainakaan missään GPT 3 arkkitehtuuri artikkelissa tai videossa ei ole tällaista mainittu
3 tykkäystä
Nykytiedon valossa menetelmät on suht hyvin tiedossa, joskaan ei sataprosenttisesti. Ensimmäisiä open source versioitakin alkaa jo tulemaan ulos.
Alaa tunteville suosittelen tätä jouluaattona käytyä AGI-debattia, jossa myös ChatGPT:tä sivutaan:
ChatGPT:lla ja vastaavilla kielimalleilla on monia fundamentaalisia ongelmia, kuten lähdeviitteiden ja semanttisen ymmärryksen puute (hyvä ja melko tuore artikkeli aiheesta, https://aclanthology.org/2020.acl-main.463/), “luomisprosessin” eri vaiheiden jääminen mustaan laatikkoon ja näistä seuraava sisällön relevanssin ja validiuden arvaamattomuus. Kokonaisuudessaan näihin ei taida olla helppoa ratkaisua, kun puhutaan generatiivisista kielimalleista, jotka kuitenkin lopulta ovat vain malleja siitä, miten sanat voivat erilaisissa yhteyksissä liittyä toisiinsa, kuten täälläkin on jo tuotu esiin.
Yksinkertaisissa vastauksissa ChatGPT voi toki toimia melko hyvin joidenkin kokonaisuuksien tiivistämiseen, mutta kun siirrytään kompleksisempiin asioihin, on harvoin mahdollista turvautua samanlaiseen redusointiin. Kielimalleilla ei ole semanttista ymmärrystä eli tietoa siitä, miten kieli liittyy ulkoiseen maailmaan, ja asiasisällöt jäävätkin tästä syystä usein melko tyhjiksi ja samojen asioiden toisteluksi hieman eri sanoin. Näin ollen generatiivisten kielimallien tuottamissa teksteissä koheesio ja koherenssi ovat toisinaan hyvinkin puutteellisia. Tietyissä yhteyksissä tai tekstilajeissa tällä ei ole niin suurta merkitystä, mutta kun puhutaan esimerkiksi erilaisesta tieto- ja asiantuntijatyöstä, on laajojen kokonaisuuksien hallinta ja sisäistäminen vain yksi osa prosessia. Tärkeämpää on kyetä tekemään johtopäätöksiä ja keksimään luovia ratkaisuja. Kokonaisuuksien hallinnassa en ChatGPT:hen edellä mainituista syistä luottaisi, ja abstraktiin päättelyyn ei generatiivinen kielimalli kykene, tiivistämään toki (vaihtelevalla menestyksellä).
Alphabetin yksiköt, Deepmind etunenässä, ovat painottaneet etenemisessään eettisiä lähtökohtia: https://www.deepmind.com/blog/building-safer-dialogue-agents Ainakin haluan itse uskoa näin, vaikka taustalla on totta kai varmasti myös runsaasti Googlen liiketoimintamallin ylläpitämiseen liittyviä kysymyksiä. Se, mikä on kuitenkin vaikea uskoa, on, että teknologisessa mielessä OpenAI:lla olisi suurta etumatkaa – jos etumatkaa lainkaan – mutta suurin kysymys liittyy tietysti siihen, kuka teknologian (epätäydellisyyksineen ja rajoituksineen) onnistuu parhaiten tuotteistamaan ja millaisiin tarkoituksiin. Samaa mieltä tuntuu olevan esimerkiksi Gary Marcus:
There is likely nothing in #gpt-4 that Google can’t replicate; question is about whether dialog/chat style interface can be made reliable enough. Eg some risk in returning invalid but authoritative-sounding medical info.
— Gary Marcus (@GaryMarcus) December 28, 2022
Tekoäly ei tietysti itsessään uhkaa yhteiskuntajärjestystä, mutta ihmisten laiskistuminen ja lähdekritiikin merkityksen väheneminen senkin edestä. Disinformaation ja misinformaation aikakaudella toivoisi, että joku kehittäisi seuraavaksi tekoälyn, joka kykenee 100 prosentin tarkkuudella jäljittämään kielimallien vastauksista asiavirheet – tai että koulutukseen ja erityisesti elinikäiseen oppimiseen saataisiin lisää resursseja, jotta niin nuoret kuin vanhatkin saataisiin pysymään järisyttävällä vauhdilla muuttuvan informaatioyhteiskuntamme kärryillä.
Nykymuotoisten kielimallien puutteista ja rajoituksista on tietysti oltu tietoisia jo vuosia, ja esimerkiksi juuri Gary Marcus kirjoitti näistä asioista GPT-3:n kohdalla toukokuussa: https://garymarcus.substack.com/p/noam-chomsky-and-gpt-3
Chomskyn kommenttiin minulla ei juuri ole lisättävää. Siinä kiteytyy hyvin se, miksi laajat generatiiviset kielimallit ovat fundamentaalisesti ja kategorisesti hyödyttömiä sellaisissa tehtävissä, joissa tulee pystyä luottamaan asiasisällön paikkansapitävyyteen. Tämä ei tietysti tarkoita sitä, etteikö rajatummille generatiivisille kielimalleille keksittäisi erilaisia käyttötarkoituksia, mutta lopulta niidenkin kehitys on mahdollista ainoastaan tiettyyn pisteeseen asti.
16 tykkäystä
Tässä vielä tänään suomalaislehdissä julkaistu juttu Googlen hermoilusta. Veikkaisin, että yhtiön tekoälystrategiaa saatetaan hieman viilata. Googlen tuloista yli 80% (>200 mrd dollaria) tulee kuukkelista mainosklikkeineen eli ei ihme, jos Pichai viihtyy strategiakokouksissa.
The New York Times on saanut käsiinsä Googlen sisäisen dokumentin sekä äänitiedoston. Niiden mukaan Alphabetin toimitusjohtaja Sundar Pichai on henkilökohtaisesti osallistunut useisiin korkean tason kokouksiin, joissa käsitellään Googlen tekoälystrategiaa. Viime vuonna kuukkelitoiminnot mainosklikkeineen toivat yli 80% Alphabetin liikevaihdosta.
4 tykkäystä
Kielimalleja on useita eikä OpenAI:n etumatka liity mallin kokoon. ChatGPTssä on saatu käytettävyys kohdilleen ja se teki siitä hitin joka keräsi 1M käyttäjää nopeammin kuin mikään muu palvelu toistaiseksi. GPT3:sta sai ulos paljon hyödyllistä tieto, mutta se vaati säätämistä prompt engineering osalta.
Alla kuvassa mallien kokoja. Koko vertailu muistuttaa hiukan netin alkuaikoja jossa hakukoneen hyvyys oli yhtäkuin indeksoitujen sivujen määrä. Onko koolla väliä? Varmasti, mutta jos haluat erottua muut tekijät menee ohi.
Sivustolla muutenkin hyödyllisen näköistä tietoa.
Loppuun vielä kevennys. Kirja vaatisi uudet kannet
4 tykkäystä
Sopii kuitenkin varmasti miettiä, että kuinka moni tästä 1M:sta jää käyttämään tätä kyseistä alustaa. Kävin myös itse mielenkiinnosta kokeilemassa tätä ja totesin, että hauskahan tämä on. Samalla kuitenkin totesin, että mielummin käytän jatkossakin Googlea, niin näkeepähän ainakin lähteet ja saapi näitä tsekkailla useiden eri lähteiden näkökulmasta.
Toisaalta maailmaan syntyy päivittäin entistä avuttomampia ihmisiä, joille kannetaan kaikki kuin Manulle illallinen ja opetetaan, että kannattanee mennä sieltä mistä aita on matalin. Eiköhän me kohta olla siinä pisteessä, kun voidaan huomata entistä huonompaa koulumenestystä, kun kaiken pystyy tuolta niin helposti löytymään.
Typerien, laiskojen ja avuttomien alusta, jotka ei kykene muodostamaan Googleen kysymystä tiedosta, mitä haluavat tietää. Surullista, sanon minä.
9 tykkäystä
En tiedä miten pitkään tämä on ilmainen, mutta itse ainakin olen käyttänyt Googlen ohella töissä. Googlesta löytää yleisiä asioita, virallisia teknillisiä
dokumentteja ja keskusteluja aiheisiin liittyen mistä hakee tietoa. Se pihvi on, että eksaktia tietoa et välttämättä saa, mutta tämän ChatGPT:n chatin kautta saat sen. Tietysti vastaukset pitää todentaa ja varmistaa, mutta nopeuttaa toimintaa!
En yhtään ihmettele että Googlella hälyttää punainen valo. Syytäkin tähän! Kunhan tuollaisen masiinan saa hakemaan netistä myös reaaliaikaista tietoa, se on siinä.
3 tykkäystä
Täällä kun nyt povataan googlen kuolemaa, niin haluan nyt vielä kuitenkin kerran palauttaa jalkoja maan pinnalle. Se että ChatGPT tosiaan pystyy tuottamaan tuolla about 20-30 sanaa sekunnissa vauhdilla tekstiä vaatii arviolta 8 Nvidia A100 GPU:ta. Kahdeksan A100 GPU:ta maksaa noin neljännes miljoonan. Nyt ollaan vielä aika kaukana siitä että tällainen AI skaalautuu 1) googlen käyttäjämäärälle tai 2) se voisi hyödyntää internettiä tietolähteenä. Väitän itseasiassa että tarvitaan jonkinmoinen vallankumous jopa raudan puolella, jotta tämä ylipäätään skaalautuisi ekonomisesti.
Heitän tähän vielä yhden mahdollisen ratkaisun joka voisi jollain aikajänteellä mahdollistaa tämän skaalautumisen. Se olisi rakentaa yhteen asiaan spesialisoituneita analogisia prosessoreita.
16 tykkäystä
ChatGPT ei ole ehtinyt olla kaltaisteni tavisten ihmeteltävänä kuin vähän toista kuukautta. Nyt käytävä keskustelu ja mm. Googlen hermoilu kertoo kuitenkin isosta muutoksesta. Tätä ihmiset nyt ilmiselvästi haluavat lisää ja veikkaan, että lisää on myös tulossa. Miljoona käyttäjää viiden ensimmäisen päivän aikana kertoo innostuksesta, jota harvoin nähdään. Aikaisemmin julkaistu DALL-E oli “hauska juttu”, mutta ChatGPT on jo paljon muutakin.
Olen kaikessa rauhassa jatkanut päivittäistä jutustelua ChatGPT:n kanssa keskittyen erityisesti sen tekniseen osaamiseen. Linuxin kanssa siitä on edelleen ihan konkreettista apua, sillä vastaukset komentorivikomentoihin tulevat kuin kaupan hyllyltä. Samoin pyytämäni ssh-komentorivikäskyt käyttämälleni NAS:lle.
Pyysin ChatGPT:tä koodaamaan ohjeistukseni mukaisen pelin Commodore 64:lle BASIC:llä ja vanhana Amigan demojen ystävänä pyysin ChatGPT:ltä paria koodinpätkää Amigan assembly:llä. Sellaisia koodeja, joilla harjoittelin itse koodausta 80-luvun lopulla. Sillä vuosikymmenellä homma tosin onnistui vasta parin ulkomailta tehdyn kirjatilauksen jälkeen. Ja niiden kirjojen toimitushan kesti tuolloin viikkoja. Internet ei ollut vielä tavallisen kansan saatavilla (eikä kukaan tiennyt sen olevan edes olemassa).
Erityisen vaikuttunut olin assembly-osaamisesta. Ensimmäinen pyytämäni koodi oli ruudulla pomppiva muutaman kymmenen pikselin palkki ja toinen ruudulla oikealta vasemmalle rullaava teksti. Kummankin probleeman parissa vietin aikoinaan, ja paljon nykyistä terävämpänä, päiviä. Kummatkin chätiltä saamani koodit olivat toimivia. Onhan tämä aika huikeeta. Ajattelin ihan vakavissani alkaa taas koodaamaan jotain, omaksi ilokseni. Tutorina toimii chat-botti, joka ei väsy tai turhaudu kysymyksiin ja antaa parempia vastauksia ongelmiin, kuin netin palstat.
26 tykkäystä
Otsikko Tradewinds news lehdestä (merenkulkua seuraava merkittävä maksullinen lehti)
How ChatGPT bot got caught spreading misinformation about maritime law
Eli tarkempia detaljeja ei ole tarjolla, mutta kannattaa siis muistaa kyseessä olevan kuitenkin kielimalli eikä mikään yleinen totuus. Sama toki pätee google hakuihinkin, eli sinällään ei mitään uutta - tarkista lähteesi (tosin chatgpt kanssa se ei ole mahdollista ainakaan vielä).
Mutta siis muistutus olla varovainen tuon kanssa.
2 tykkäystä
Ei ole palturista turhaan varoiteltu. On näitä jo omallekin kohdalle osunut useita.
Tänään vaihdoin muutaman sanan ympäristöystävällisestä teräksen valmistuksesta ja vedyn varastoinnista. Sain molempiin lopulta oikeatkin vastaukset, mutta keskustelumme alkoi näin.
ChatGPT: “” →
Vihreä terästuotanto tarkoittaa prosessia, jossa terästä valmistetaan vihreällä pinnoitteella. Vihreä teräs voidaan valmistaa myös galvanointiprosessilla, jossa teräkseen kiinnitetään vihreä väriaine.
Varmasti tällainenkin voi olla mahdollista, mutta tähän ikään asti en ole kuullut teräksen galvanointiprosessista, jossa teräkseen kiinnitetään väriaine, joten ihan tavallinen sellainen ei taida olla.
Käytin lopulta hieman toisenlaisia termejä ja keskustelu ohjautui oikeille urille.
6 tykkäystä
Odotin tätä, mutta en ihan näin nopeasti.
7 tykkäystä
Salkunrakentajan Jorma Erkkilä oli testannut ChatGPT:tä sijoitusaiheisilla kysymyksillä.
"ChatGPT osaa vastata myös sijoittamista koskeviin kysymyksiin.
Esimerkiksi kysymykseen ”Mikä on paras sijoitusstrategia?”, sovellus vastaa tavalla, joka välttää kysymykseen liittyvän sudenkuopan.
Parhaan sijoitusstrategian määrittäminen on vaikeaa, sillä se voi vaihdella henkilön taloudellisten tavoitteiden, riskinsietokyvyn ja muiden henkilökohtaisten tekijöiden mukaan."
Onko kukaan yrittänyt saada tuolta oikeita lottonumeroita,mitä se vastaa.
Leikin GPT 3.5:llä aikanaan ja kysyin saman kysymyksen nyt ChatGPT:ltä. Meinasin käyttää tätä esimerkkinä tulevassa sijoituskirjassani, mutta totesin, että esimerkki vanhenee niin nopeasti, että en sitten käyttänytkään. Mutta huvitti, että ChatGPT:n kehitys muistutti minua ihan aloittelevan osakesijoittajan usein käymästä oppimatkasa.
Kysymys siis kuului “Is Medpace stock a good investment?”
GPT 3.5.
ChatGPT
It is impossible to predict with certainty whether Medpace Holdings stock will be a good investment. It is best to research the company’s financial performance, industry trends, and competitors before making any investment decisions.
Tai sitten ensimmäinen versio oli vain oppinut, että mikään ei muuta sentimenttiä niin kuin hinta, haha.
3 tykkäystä
Itse jutustelin välipäivien ratoksi ChatGPT:n kanssa muun muassa Suomesta ja Pohjoismaista. Yhteiskunnat muotoutuivat kyllä koko lailla uuteen uskoon. Jotkut vastaukset kuvasivat faktojen sijaan pikemmin sitä, miten monet suomalaiset ehkä haluaisivat asioiden olevan:
Myös koulutusjärjestelmämme meni uusiksi:
NATO-jäsenyydestäkään ei tarvitse enää huolehtia:
No, vuodesta 1994 puolikas piste, kun kerran Suomi silloin liittyi PfP-ohjelmaan, ja papukaijamerkki siitä, että eräs toinen jäsenyys ja vuosi 1995 ovat kyllä yhteydessä toisiinsa. Tämä kuvaa myös melko hyvin LLM:n logiikkaa.
Viimein selvisi sekin, miksi suomen, ruotsin ja norjan kielet ovat samanlaisuudessaan niin erilaisia – tai erilaisuudessaan samanlaisia, eiku:
Presidentitkin olivat vielä viime viikolla pahasti hakusessa, mutta ChatGPT:n eduksi mainittakoon, että tänään kokeillessani monet asiat olivat jo korjaantuneet. Viime viikolla näytti vielä esimerkiksi tältä:
Ja tältä:
Ja tältä:
Toisaalta usein käy myös niin, että kun yhden reiän tilkitsee, seuraava jo falskaa. Tämä tältä päivältä:
Onneksi olimme sentään yhtä mieltä siitä, mikä on Suomen vanhin yliopisto. Hesalaisillekin tiedoksi:
No, tämä nyt oli parhaimmillaankin keskinkertainen kevennys. Itse päivän uutiseen villinä veikkauksena, että Bingiin tuodaan ChatGPT-pohjainen parafraasigeneraattori, joka esittelee relevanteimpien hakutulosten sisältöä toisin muotoiltuna ja tarjoaa linkit lähteisiin – siis hieman samalla tavalla kuin miten Bing jo tällä hetkellä poimii hakutulosten keskeistä sisältöä, lisänä tietysti keskustelevuus. Vaikka Bingillä ei ole yhtä paljon hävittävää kuin Googlella, en silti jaksa uskoa näin lyhyellä varoitusajalla mihinkään kovin radikaaliin, ja tällaistahan uutisessakin uumoiltiin:
Silti The Informationin mukaan Bing luottaa jatkossakin toistaiseksi pääasiassa omaan teknologiaansa useimpien hakutulosten tuottamiseksi
Raportti: Microsoft tuomassa kohutun ChatGPT-tekoälyteknologian pian osaksi Bing-hakukonettaan | Mobiili.fi
Mielenkiintoista silti nähdä, millaiseksi titaanien taisto tästä kehittyy. Microsoft haluaa luonnollisesti takoa, kun rauta on kuumaa, vaikka kyseessä olisikin vain savua ilman tulta.
22 tykkäystä
Eikö tuollainen valehtelupalvelu pitäisi lailla kieltää? Yleissivistyneet nauravat sille, mutta kun enemmistö esim. suomalaisista ei ole saanut korkeakoulutasoista kykyä lähdekritiikkiin, menee moni valhe tietämättömille todesta. Samalla logiikalla toki pitäisi kieltää 99 % netistä. 
Kiitos hyvistä nauruista @HER_ARM
4 tykkäystä
Olemme tavallaan asian ytimessä. Valheet kelpaavat, kunhan ne tulevat itselle hyväksytystä lähteestä.
Toistaiseksi ChatGPT:n kaltaisten tekoälyn esiasteiden puolustukseksi voi todeta, että ne eivät valehtele tarkoituksella. Kyse on niille syötetystä aineistosta, jonka määrä ja laatu vaihtelee. Ainakaan suomeen ChatGPT:ssä ei ole erityisemmin panostettu.
Mutta onhan tässä vielä monia mutkia matkassa. Yksi merkittävä tavoite on ihmisen kaltaisen käyttäytymisen, luovuuden ja oppimisen, saavuttaminen. Onkohan tätä mietitty ihan loppuun asti?
7 tykkäystä
Laskennan määrää voidaan mahdollisesti huomattavasti vähentää kehittämällä parempia algoritmeja. Lueskelin AlphaGo toiminnasta tässä ja siellä oli aika mielenkiintoinen pätkä:
“During the match against Fan Hui, AlphaGo evaluated thousands of times fewer positions
than Deep Blue did in its chess match against Kasparov 4 compensating by selecting those positions more intelligently, using the policy network, and evaluating them more precisely, using the
value network – an approach that is perhaps closer to how humans play. Furthermore, while Deep
Blue relied on a handcrafted evaluation function, AlphaGo’s neural networks are trained directly
from game-play purely through general-purpose supervised and reinforcement learning methods.”
*unformatted_final_mastering_go.pdf (davidsilver.uk)
Go on huomattavasti monimutkaisempi peli kuin Shakki ja silti tilanteiden arviointeja tehtiin huomattavasti vähemmän. Jos jotain vastaavaa kehitystä tapahtuu niin laskennallinen puoli helpottuisi aika paljon. Nyt laadun kehittäminen tuntuu tärkeämmältä kuin nopeus, mutta ehkä tilanne voi joskus muuttua. Aika yksinkertaista menetelmää tuolla AlphaGo algoritmissa on taustalla, mitä on sitten kehitetty neuroverkkojen avulla. Hyvä luento MIT:llä aiheesta (1) Advanced 4. Monte Carlo Tree Search - YouTube
1 tykkäys