ChatGPT, muut kielimallit ja tekoäly

OK. Nautiskelen pääomani karttumisesta tuota onnelaa odotellessa. Joka tapauksessa työelämän automatisaatiota lisättäessä kannattaa pitää huolta myös työvoimasta, jotta olisi niitäkin jotka kykenevät ostamaan niitä tuotteita ja palveluita. Elleivät suunnitelmat sitten perustukin tasavertaiseen kansalaispalkkaan… (tämähän voi olla automatisoijien salainen ujutusidea).

Mind blown. Pyysin että kirjoittaa esseen tästä joululaulusta. Minusta tuo menisi täysin ammattitoimittajan tekstistä. Ehkä pieni epäilys jää että paljonko tuosta on plagioitu jostain nuorisolehdestä ja paljonko oikeaa ymmärrystä lyriikasta?
:santa:

”Last Christmas" is a holiday song by the British pop duo Wham!, released in 1984. The song was written by George Michael, one half of the duo, and has become a popular holiday classic around the world.

The song’s lyrics tell the story of a person who gave their heart away to someone, only to have that person leave them on Christmas Day. The narrator reflects on the pain and heartbreak of the situation, and vows to give their heart to someone else “next year.”

The first verse sets the scene, with the narrator describing how they “gave you my heart, but the very next day, you gave it away.” This line implies that the person they gave their heart to was not as committed to the relationship as the narrator was, and that they quickly moved on to someone else.

The chorus of the song repeats the phrase “last Christmas, I gave you my heart,” emphasizing the narrator’s regret and longing for the past. The chorus also includes the line “this year, to save me from tears, I’ll give it to someone special,” indicating that the narrator is trying to move on from the pain of the previous year and find happiness with someone new.

The second verse expands on the theme of heartbreak, with the narrator saying “once bitten and twice shy, I keep my distance, but you still catch my eye.” This suggests that the narrator is trying to protect themselves from getting hurt again, but they are still drawn to the person who broke their heart.

The bridge of the song introduces a hopeful note, with the narrator singing “a crowded room, friends with tired eyes, I’m hiding from you, and your soul of ice.” This suggests that the narrator is trying to avoid the person who hurt them, and that they are surrounded by supportive friends who are helping them through the pain.

Overall, “Last Christmas” is a poignant and emotional song that explores the themes of love, loss, and moving on. Its memorable melody and relatable lyrics have made it a holiday favorite for decades.

2 tykkäystä

Miten niin kommunistinen? Antiikin ajoista 2500 vuotta sitten on tästä jo haaveiltu. Harmi kun ei voi Juurikki nyt todisteita tarjota, kun tuli silloin niin huonosti juttuja dokumentoitua. :wink:

1 tykkäys

Ihmettelin, kun se…anteeksi hän, väittää ettei ole pääsyä nettiin. Ei myöskään tiedä vuodesta 2022 mitään. Myönsi kuitenkin, että on lukenut nettisivuja, kirjoja ja opetellut Wikipediaa, ilmeisesti 2021.

Kyselin, kuinka suuri tietokanta on, ei halunnut kertoa. Kysyin kuinka suuria ovat tosisuuret? Se…hän sanoi, että GTP-3 on 175 miljardia parametria. Tiedustelin, että sattuisko chatGTP olemaan toi GTP, ei ole, mutta se on sen…hänen isobroidi…isosisko. Kysyin, onko parametri vaikkapa sana auto? Ei ole. Autoa voisi kuvata vektoreilla ja numeerisilla arvoilla. Parametri on esim. kahden neuronin välinen yhteys.

Tossa vaiheessa loukkaannuin ja päättelin, että kyseessä on kuitenkin
10 000 kiinalaista jossakin hallissa, jotka vastailee.

你好刘!有一个芬兰人,把它给你!告诉他那个神经元的事情!

Hei Liu! Täällä on taas joku suomalainen, ota sä tää! Kerro se neuronijuttu!

2 tykkäystä

Keynesinkään ennuste 15h työviikosta ei ihan toteutunut, kun entisten töiden tilalle tuli kaikkea brändimanageria, hakukoneoptimoijaa ja muita ihmismielen synkemmän päädyn tuotoksia. Pelkään ettei nytkään valita lokoisia oloja, vaan tekoälyn hoitaessa oikeat työt keksitään uusia dystopia-ammatteja ja taas saa nousta 6.50 grindaamaan.

18 tykkäystä

Jos tekoäly on oikeasti älykäs, niin eiköhän se kykene myös keksimään ihmisille mielekästä puuhaa.

5 tykkäystä

”Tuopas poika kuppi sähköä ja päivän data.”

24 tykkäystä

Seuraavan GPT-version julkaisua odotetaan jo vuoden alussa. Pala palalta lähennytään yleistä tekoälyä (AGI).

Hurjia ovat huhut GPT-4:stä eikä OpenAI:n Sam Altman ole niitä erityisemmin tyrmännyt.

Siitä ollaan kuitenkin kohtuullisen varmoja, että GPT-4 on jo lähes valmis. Useimmat tekoälyalaa seuraavat veikkaavat GPT-4 -mallin julkaisun tapahtuvan alkuvuodesta 2023.

Se, miten paljon se parantaa tasoaan nykyiseen GPT-3 -malliin nähden, on mahdotonta sanoa. Mutta tietyt kehitystyöhön liittyvät huhut väittävät, että GPT-4 -malli käyttäisi 100 biljoonaa parametria päättelyiden tekemiseen. Eli kun hyppäys oli satakertainen GPT-2:sta GPT-3:een siirryttäessä, tällä kertaa loikka olisi tuhatkertainen.

Mielenkiintoinen kulma on myös se, että GPT-4 -mallia voidaan käyttää muullakin tavalla kuin syöttämällä sinne tekstiä. Se osaisi “ymmärtää” myös sille syötettyjä videoita, kuvia ja ääntä. Se myös osaa käyttää ääntä ja videota tietolähteenään. Eli sille voitaisiin antaa tehtäväksi katso puolestani Fight Club ja kirjoita minulle siitä kolmen sivun essee, jossa pohditaan elokuvan yhteiskunnallisia teemoja - ja vastaus putkahtaisi valmiiksi.

12 tykkäystä

Näissä spekulaatioissa on hyvä pitää mielessä, miten kaukana toisistaan puhuttu ja kirjoitettu kieli ovat – puhumattakaan multimodaalisesta vuorovaikutuksesta. Kirjoitettu kieli on puhuttua kieltä huomattavasti eheämpää ja jäännöksettömämpää – kokonaisempaa kuin puhuttu kieli. Kirjoitetun kielen teksteillä on lähes aina jokin tehtävä, tarkoitus tai päämäärä, eivätkä ne tavallisesti edellytä reaaliaikaista vastaanottajaa. Kirjoitetun kielen tekstilajeissa ja -tyypeissä konventiot ovat vahvasti läsnä, ja niitä on verrattain helppo treenata kielimalleille ja kieliteknologian tarpeisiin ylipäänsä. Toki jo nykyään digitaalisessa vuorovaikutuksessa näitä raja-aitoja kaadetaan, mutta silti kovin moni asia muuttuu, kun luonnollisen kielen käsittelyn kohteeksi otetaan puhuttu kieli, jossa variaatiota on äärettömästi enemmän äännetasolta syntaksiin, rakenteet ovat hyvin fragmentaarisia, partikkeleja ja pronomineja on runsaasti ja ylipäänsä vuorovaikutus rakentuu dialogisesti ja merkitykset deiktisesti eli esiintymiskontekstissaan. Lisäksi on tietysti vielä sellaisia fundamentaalisesti puhuttuun vuorovaikutukseen kuuluvia pikkujuttuja kuin päällekkäisyydet, toisteisuus, korjaukset ja kesken jääneet lausumat.

Lopulta ChatGPT ja sen seuraajat ovat juuri niin älykkäitä tai yksinkertaisia kuin niiden data-aineistot ovat. Jos pyydän ChatGPT:tä kirjoittamaan viisi eri tekstilajeja edustavaa tekstiä modernista kulttiklassikosta, kuten Fight Clubista, pystyy se toki valtavan lähdeaineiston pohjalta moiset tuottamaan. Mutta auta armias, jos pyydän sitä kirjoittamaan samoihin tekstilajeihin kuuluvat tekstit vaikkapa Pitkä kuuma kesä -elokuvasta. Tekstilajien konventiot se tietysti edelleen pystyy tuottamaan yhtä hyvin tai huonosti, riippuu näkökulmasta, mutta sisältö voi olla mitä tahansa maan ja taivaan väliltä. Parhaansa tuo tietysti tekee niillä resursseilla, joilla se on koulutettu.

Joku voisi tietysti sanoa, että lisää parametrejä ja homma on sillä selvä. Kirjoitetun kielen osalta näin tietysti hyvin monien kielten ja tekstilajien kohdalla onkin, mutta puhutun kielen osalta liikutaan edelleen melko alkeistasolla. Lähdeaineistoa on huomattavasti vaikeampi saada, ja se, mitä saadaan, edustaa usein hyvin kapeaa osa-aluetta puhutun kielen käytöstä. Kuitenkin variaatiota, esimerkiksi fonologista, alueellista, ajallista, yksilöllistä ja tilanteista, on niin paljon, että kielimallin treenaaminen vaatisi älyttömästi enemmän dataa kuin kirjoitetun kielen kohdalla. Sitten pitäisi vielä ratkaista monet ihmisten väliseen vuorovaikutukseen fundamentaalisesti kuuluvat asiat, joita jo edellä listasin, ja lisäksi vielä prosodian sekä ilmeiden, katseiden ja eleiden yms. osuus siinä, miten sanottua pitäisi tulkita. Vaikka esimerkiksi elokuvissa ja muuten strukturoidummissa puhutun kielen tekstilajeissa, esimerkiksi haastatteluissa, paneelikeskusteluissa yms. variaatio on helpommin hallittavaa kuin esimerkiksi arkielämämme keskusteluissa, en itse usko näiden asioiden suhteen kovin kummoisiin läpimurtoihin etenkään lähitulevaisuudessa. Varmasti GPT-4:ää voi pyytää katsomaan Fight Clubin ja kirjoittamaan sen pohjalta esseen, mutta yhtä kaikki tuo essee on silti kirjoitettu ennen kaikkea kirjoitetun kielen lähdeaineistoja hyödyntäen. :slight_smile: Ilmeiden, eleiden ja prosodian tulkitseminen kun on usein meille ihmisillekin haastavaa, puhumattakaan siitä, että nämä pystyttäisiin kieli- ja kulttuurikohtaisesti jotenkin järkevästi jäsentämään ja valjastamaan siitä kielimallien lähdeaineistoksi.

Vuorovaikutus perustuu aina osallistujarooleihin, ja vuorovaikutukseen kuuluu tyypillisesti pyrkimys yhteisymmärrykseen. Tämä näkyy vuorovaikutuksessa tyypillisesti esimerkiksi siten, että osallistujat mukautuvat toisten osallistujien kielenkäyttötapoihin ja mukauttavat omaa kielenkäyttöään tilanteen ja vastaanottajien mukaan. Ensisijaisen tärkeää on esimerkiksi kyky tuottaa odotuksenmukaisia responsseja edellä sanottuun. Vuorovaikutustaidoiltaanhan ChatGPT ei ole kovin kummoinen, mutta eipä sitä varmasti kukaan tässä vaiheessa vielä odottanutkaan.

11 tykkäystä

Itse olen ajatellut, että Yleinen tekoäly kykenee itse ajattelemaan. Sitä opetettaessa sille ei syötetä dataa vaan kokonaisvaltaisia kaikkien aistien kokemuksia, joita se kykenee muistamaan ja luovasti hyödyntämään. (oma teoriani)

GPT-4 nimensä mukaisesti on edelleen Generative Pre-trained Transformer.

Itsellä vielä Transformes neuroverkkomalli opiskelun alla mutta käsitän, että edelleen toiminta perustuu opetettuun dataan, jonka mukaan neuroverkkomalli säätää painoja/parametreja. Kun neuroverkko on opetettu, siirretään saadut parametrit tuotannon malliin, jonka läpi ajataan haluttua dataa (vaikka ChatGPT tekstejä) ja se laskee opetettujen parametrien avulla tuloksen.
Opetusprosessi vaatia myös ihmistyötä

Eli periaatteessa GPT kykenee löytämään laajasta ihmisen luomasta tiedosta todennäköisyyksiin perustuvia riippuvuuksia eli esim. minkälaisia sanoja todennäköisesti kannattaa laittaa peräkkäin perustuen opetettuun dataan.

Se ei kykene itse luomaan tietoisesti täysin uutta. Toki kykenee luomaan perustuen ihmisen luomaan tietoon todennäköisyksien perusteella.

GPT-3:n opetusdata saadaan : Common Crawl, WebText2, Books1, Books2, Wikipedia
Ylivoimaisesti suurin tietolähde on CommonCrawl

GPT ryhmittelee tekstin Tokeneihin, joita neuroverkko käsittelee. Ryhmittelyä voi jokainen testata Tokenizerilla

Monia yllä mainitun kaltaisia “mekaanisia” ratkaisuja voidaan yhdistää, kuten kuvan tunnistus videolta (käytetään vaikka itseajavassa autossa) ja tästä tunnistetusta tekstistä voidaan toisella neuroverkkomallilla luoda vaikka romaani ja siitä vaikka luoda omalla neuroverkkomallilla taidetta tai musiikkia, joka perustuu niihin sävelkulkuihin, joista ihmiset todennäköisesti pitävät

Edelleen on kyse Koneoppimisen (Machine Learning) alle kuuluvasta datan käsittelystä ilman itsenäistä luovaa ajattelukykyä

Mutta tietokoneiden tehon lisääntyessä sekä datasettien koon kasvaessa saadaan hienoja laitteita ihmisen tueksi.

5 tykkäystä

GPT-4:stä ei tiedetä vielä kaikkea, mutta hurjimmat huhut kertoivat sen kykenevän haastamaan jo Turing testiä.

Otan tällaiset kommentit itsekin huumorilla, mutta taisi itse Sam Altman jossain haastattelussa todeta, että kyseessä on merkittävä palanen AGI:n tavoittelussa.

Harva uskoo AGI:n toteutumiseen tällä vuosikymmenellä. Mutta isoja harppauksia tehdään ja tällaiset teknologiset edistysaskeleet tarkoittavat myös lisää investointeja. Mahdollisuus positiiviseen kierteeseen.

4 tykkäystä

Miten määrittelet teoriassasi datan ja “kaikkien aistien kokemusten” eron?

Pikaisesti keksitty huono esimerkki.
Jos autonomisen auton tulisi ennakoida vaaratilanteet. Yksi vaaratilanne voisi olla sellainen, jossa edellä olevan auton takan on pyörätelinen, joka heiluu uhkaavasti ja sen kiinnityspultti on löystymässä.

Tämä ymmärtäminen on tietokoneelle (neuroverkko) vaikeaa, koska on erilaisia pyörätelineitä ja on opetettava neuroverkko tunnistamaan pyörätelinen luotettavasti.
Olisi lisäksi saatava se ymmärtämään, mikä on pultti sekä miten se tunnistaa, että pultti aukeaa.

Tuon auton takana ajava ihminen tunnistaa heti, että pyörä on kiinni pyörätelineessä, vaikka ihminen ei olisi koskaan juuri sellaista telinettä nähnyt. Telinen heilumisesta ihminen osaa kohdentaa katsee pyörätelineen kiinnityspisteeseen ja tunnistaa, jos se heiluu koska pultti on löysä.

Ihminen on elämän aikana oppinut asioita, joita pyörätelineeseen ja pulttiin liittyy ja hän kykenee käyttämään luovasti oppiaan hyödyksi kaikessa ajattelussaan

Neuroverkko käsittelee dataa juuri sillä hetkellä, suorittaa opetuksen mukaisilla parametreilla kerto- ja pluslaskuja ja saa tuloksen. Siinä ei ole mitään joka ymmärtäisi, mitä se on tekemässä, kyseessä on vain kaavojen laskutoimitus.

Ihminen kykenee luomaan uutta perustuen muistiin. Taiteilija voi luoda taidetta perustuen muistoihin ja nämä muistot voivat sisältää sen mitä on aisteillaan nähnyt, kuullut, haistanut, tuntenut. (toki ihmisellä on lisäksi kyky tunteisiin jne. mutta niitä tekoälyyn ei ihan heti ole tulossa)

Insinööri ratkaisee jonkin liikenteen ongelman pohjauten elämänsä aikana oppimiinsa asioihin. Näitä voi olla vaikka asiat, joita hän toisilta kuullut, on nähnyt liikenteessä tai vaikka kuullut varsinkin, jos ratkaisu kohdistuu myös liikennemeluun.

Pohtimisen hetkellä ihminen käyttää kaikkea muistamaansa tietoa hyväkseen ja luovasti muodostaa siitä ehkä ennen näkemättömän ratkaisun. Muisti sisältää usein näköön, kuuluun, hajuun jne. liittyvää tietoa.

Suuri ero tekoälyyn on tuo prosessi. Tekoälyssä juuri sillä hetkellä lasketaan saadusta datasta opetusdatan mukaan saatujen parametrien perusteella todennäköisyyten perustuva vastaus.
Jos tietokone oppisi ihmisen tavan luoda uutta ja ajatella, sille mielestäni tulisi syöttää kokonaisvaltaisia kokemuksia sisältäen kaikki aistit (tunto, näkö…) ja se kykenisi ajattelussaan käyttämään kaikkea “muistamaansa” tietoa luovasti hyväkseen juuri sillä hetkellä, kun sen on annettava vastaus johonkin

Haaste on jo yksin valtava muistin tarve, jota ihmisen kaltainen muisti vaatii

7 tykkäystä

chatGPT ei valitettavasti taida kehittyä yleiseksi tekoälyksi, koska se ei kehity ylipäätänsä siihen suuntaan. Uusien versioiden myötä se osaa laittaa sanoja entistä paremmin toistensa perään, muodostaen hienompia ja elegantimpia kokonaisuuksia, ilman että kuitenkaan ymmärtää lainkaan mitä tuottamallaan puheella tarkoittaa, vähän kuten Krista Kiuru.

22 tykkäystä

Mä uskon, että tämä ei itse asiassa hirveästi eroa peruslogiikaltaan ihmisaivojen toiminnasta. Aivojen algoritmi vaan on tehokkaampi. Aivoihin tulee jatkuvasti aistiärsykkeitä (=dataa), joiden perusteella se suorittaa laskutoimituksia, saa tuloksen ja ohjaa toimintaa. Ihmisaivot vaan oppii paljon nopeammin uusia asioita, ja pystyy yleistämään oppimaansa todella hyvin.

Asioiden ymmärtäminen on vain päätöksenteon sivutuote, jonka tarkoitus on se, että ihminen voi kertoa päätöksentekonsa taustat toiselle ihmiselle ja näin opettaa häntä. Aivot pystyisi tekemään ne samat päätökset “ymmärtämättä” asiasta mitään. Itse asiassa hyvin usein päätös syntyy aivoissa ensin, ja perustelut vasta sen jälkeen.

2 tykkäystä

Yhteinen asia voi mielestäni olla vain neuronit ja niiden välinen yhteys
Ihminen tekee tietoisia päätöksiä, AI ei
Ihminen ajattelee luovasti päätöksen tekohetkellä, AI ei

Itse softainssinä jonkin verran neuroverkkoja tehneenä en antaisi AI:n tehdä ison pankkijärjestelmän koodia, koska se ei tietoisesti pohdi mitä tekee.
AI generoi koodia perustuen opetusdatan optimoimien parametrien todennäköisyyksiin. Siksi ChatGPT tekee tosinaan täysin typeriä viheitä, se ai ajattele eikä tiedä mitä tekee.
Todennäköisyyttä voi kasvattaa lisäämällä opetusdataa ja neuroverkon monimutkaisuutta (parametreja), mutta tietoiseen 100 % oikeaan päätökseen ei päästä

Tesla sai itseajavan auton 90 % valmiiksi vuosia sitten, viimeisiä prosentteja se on viimeiset vuodet yrittänyt korjata, mutta on sen on vaikea ennakoida kaikkea yllättävää esim. vasemmalle kääntyvässä risteyksessä, koska se ei kykene juuri sillä hetkellä tekemään luovia päätöksiä kuten ihminen

AI ei siis muista yhtään mitään, mitä sille on opetettu. Opetuksen mukaan se optimoi parametreja, joita käytetään todennäköisyyksien laskentaan.

AI keskeinen innovaatio oli neuroverkot ja nimenomaan 1970-luvulla keksitty Backpropagation (takaisin kytkennällä tehtävä neuroverkon parametrien säätäminen kohti keskimäärin oikeaa arvoa)
Perusperiaate on säilynyt, vaikka entistä monimutkaisempia neuroverkkomalleja on kehitetty. Esim. osana GPT-3:a on edelleen alkuperäisen kaltainen Feed forward neuroverkko

Yleinen AI mielestäni tulee vaatimaan uuden innovaatio, jossa AI:n opetus ei perustu pelkästään parametrien säätämiseen ja todennäköisyyksien laskentaan ilman muistin käyttöä ja tietoisuutta mitä on tekemässä.
Uudessa mallissa AI muistaa ihmisen kaltaisesti oppimansa tiedon ja kykenee käyttämään sitä tietoa reaaliaikaisesti luovassa ajattelussa ja oppimisessa.
Nykyisen kaltainen malli voi olla jatkossakin edelleen osana AI:n päätöksen tekoa

12 tykkäystä

Mä uskon, että tietoisuuden ja luovuuden taustalla on vain monimutkaisempi neuroverkkorakenne.

En mäkään, mutta kuvaisin ongelmaa eri tavalla. Pankkijärjestelmän koodaus on liian vaikea ongelma nykyisille tekoälyille ratkaistavaksi. Sen tiedonkäsittelykapasiteetti ei vedä vertoja ihmisaivoille, eikä se siksi kykene ottamaan huomioon kaikkia tarpeellisia näkökulmia riittävällä tarkkuudella. Minusta tietoinen pohdinta ei kuitenkaan ole välttämättömyys, vaan jos tekoäly omaisi saman kapasiteetin yleistää oppimiaan asioita kuin me, se voisi tuottaa ihmiskoodareita paremman lopputuloksen.

ChatGPT:n virheissä ja Teslan haasteissa on kyse samasta asiasta. Nykyinen AI ei pysty yleistämään oppimaansa yhtä hyvin kuin ihmisaivot. Sitä pystytään tiettyyn rajaan asti kompensoimaan kasvattamalla opetusvaiheessa käytettävää aikaa ja datamäärää. Kuitenkaan lopulta ihmistasoiselle suorittamiselle ei monimutkaisemmissa ongelmissa päästä ilman ihmisaivojen tasoista yleistämiskykyä.

Mutta edelleen, mielestäni tämä yleistämiskyky on ihmisaivojen algoritmin ominaisuus. Se on kehittynyt miljoonien vuosien kuluessa evoluution kautta. Uskon, että siihen on mahdollista päästä myös teknisellä ratkaisulla, huomattavasti lyhyemmässä ajassa, ilman että tekoälyn tarvitsee tulla tietoiseksi itsestään. Uskon myös, että se ratkaisu muistuttaa kovasti nykyisiä neuroverkkoja.

Mä luulen, että ihmisen muistikin on lopulta eräänlaisen neuroverkon tuotos. Ihmisen päässä ei ole mitään kovalevyä, johon luotettavasti tallentaa asioita. On vain järjestelmä, jossa tietyt ärsykkeet aiheuttavat tietyn neurologisen responssin. Kun ihminen haluaa painaa mieleensä jotain, vaikka kauppalistan, hänen kannattaa toistaa sitä monta kertaa. Silloin aivoissa neuronien väliset painoarvot muuttuvat, ja listan muistaa paremmin. Vielä parempaan tulokseen pääsee, kun muistettavat asiat yhdistää johonkin, jonka aivot jo muistavat - eli jolle on jo olemassa vahvat painoarvot muistin neuroverkossa.

Yhteenvetona oma mielipiteeni on se, että AI voi tulevaisuudessa pystyä ihmismäiseen tiedon käsittelyyn, luovuuteen ja päätöksentekoon täysin neuroverkkopohjaisesti. Tarvitsemme toki edelleen isoja innovaatioita, sillä nykyiset systeemit eivät ole lähelläkään ihmisen kykyä yleistää oppimaansa. ChatGPT on yksi iso innovaatio tähän suuntaan, mutta vielä on pitkä matka AGI:een. Kuinka pitkä, siitä on monenlaista veikkausta. Alan tieteilijöiden konsensus taitaa olla, että noin parikymmentä vuotta.

4 tykkäystä

Ihminen muistaa asioita kuten vaikka miten korjasin vuosi sitten polkupyörän vaihteet. Ihminen voi käyttää siitä opittuja asioita jatkossa muun kaltaisissa tehtävissä. AI-neuroverkko ei muista mitään asioita, ei yhtikäs mitään

Kannattaa käytännössä harjoitella koodaamaan neuroverkkoja.
Jos olet, voisi seuraavana käydä läpi GPT:n Transformesmallin prosessia, johon en syvällisesti vielä ole itse paneutunut.
Jos et ole koodaillut neuroverkkoja, kannattaa tehdä Youtuben kautta perusneuroverkkohajoitus ja koittaa ymmärtää sen toiminta.
Perusneuroverkkoa (Feed Forward) tai sen muunnelmaa käytetään monessa mallissa.

Tämä selventää miten neuroverkko päättelee tai muistaa asioita. Sen jälkeen on paljon helpompi pohtia, mihin se kykenee.

Eli koitin edellisessä kommentissa lopussa mainita, nykyisen kaltainen malli voi olla jatkossakin edelleen osana AI:n päätöksen tekoa, mutta ei edusta koko prosessia.

5 tykkäystä

Onko antaa jotain hyviä YouTube linkkejä mistä olisi järkevää lähteä opiskelemaan ?

1 tykkäys

Tuossa on aika hardcore-setti, jos aihe oikeasti kiinnostaa :grin:

5 tykkäystä