Suositeltu eteneminen alla olevassa järjestyksessä.
Lopuksi voi valita Vaihtoehto 1 tai Vaihtoehto 2. Kummassakin tehdään hieman saman kaltainen vaativampi harjoitus.
Kaikissa alla olevissa esimerkeissä AI-kirjastona on käyttäjäystävällinen Keras
Tämä StatQuest with Josh Starmer kanavaa seuraan ja siellä oli pari perusteet sisältävää videota, joita näköjään olen aikanaan tykännyt.
Tuolta Tensorflown (AI-kirjasto) sivulta löytyy hyviä harjoituksia ja tämän linkin kuvienkäsittely on hyvä. Laajamittaisesti kuvia käsitellään esim. Convoluutio neuroverkolla, mutta pelkän neuroverkon esimerkkinä tämä on ok.
Vaihtoehto 1
Ei ole tallessa omia vanhoja linkkejä mutta tämän löysin pikaisella etsimisellä. Videon ohessa on Github-linkki, jossa lähdekoodit ja muu materiaali. Tunnin video ja pikaisesti katsoin, että voi olla ok, mutta en ole tuota itse katsonut ja tehnyt.
Videon alussa kerrotaan perusteita.
Vaihtoehto 2
Tällainen linkki löytyi itseltä. Tässäkin kuten Vaihtoehdossa 1 on alussa ennen koodausta perusteet. Soittolista jonka kokonaiskesto on n. 2 h. Jakson 10 min - 30 min eli jakso per päivä ?
Esimerkeissä Python koodia usein tehdään Jupyter Notebookilla. Hyvä testailla ja data-kaverit käyttää sitä.
VSCodea usein käytetään, jos haluaa tehdä omaa softaa. Asennukseen kannattaa etsiä video tyyliin " Getting Started with Python in Visual Studio Code"
Pelkään että liikaa glorifioit ihmistä. Ihmisen vapaasta tahdosta ja tietoisuudesta on kirjoitettu paljon ja tätä filosofista kysymystä on pohdittu antiikin ajoista asti. Jos haluat lähteä tälle matkalle, Sam Harris on kirjoittanut aiheesta hyvän kirjan ja pääkohdat löytyy myös YouTubesta.
Mainitsit että AI ei muista mitään. Itse ajattelen että AIn neuroverkko ja sen painot ovat itseasiassa jättiläiskokoinen muisti. AIn etu on että se muistaa kaiken lukemansa. Ihminen unohtaa. En esim itse muista noista Sam Harrisin free will videoista juuri muuta kuin että aihe ei ole helppo eikä suoraviivainen.
Onko ihminen muuta kuin biologinen neuroverkko (aivot + hermot) joka on yhteydessä fyysiseen kehoon? Jos ihmisen neuroverkkoa menee sörkkimään, ihminen muuttuu. Aivovaurioiden yhteydessä voi tulla persoonallisuus muutoksia. Mitä ajattelet ihmisen muistamisen olevan? Ne lienevät vain ihmisen neuroverkon tiloja. Se onko neuroverkko rakennettu biologisesti tai tietokoneen sisään
Edit: Lisätään vielä sen verran että jos tekoälyn kehitys muuten kiinnostaa. Kannattaa katsoa dokkari siitä miten AlphaZeeo voitin GOn maailmanmestarin. Pokerissa, GOssa ja Shakissa AI on myös kehittänyt ihmisten peliä. Tietyssä mielessä AI on luonut uusia strategioita mitä ei ole aiemmin nähty.
Pitää muistaa kysyä AI:ltä, muistaako se (woke-hengessä kysyin pronominit ja vastasi, että It tai Assistant sopisi käyttää). Ja kyllä, muistaa. Tai ei muista keskusteluja. En saanut ymmärrettävää vastausta, miten muutti vastausta prof. Avokadolle Janssonista Manet:hen. Onnistui pahoittelemaan myös vastausta, jota ei ole antanut, huijasin, siis taidelukion tai urheilulukion tasoista vastausta aurinkokunnastamme.
Millä tavalla AI muistaa kaiken lukemansa ? Tästä en saa heti kiinni. RNN
Ihminen opiskelee lukemalla asioita niin, että ne jäävät muistiin. Käytännön tekemisen aikana ihminen oppii ja voi käyttää hyvinkin tarkasti muistamiansa asioita oppimisessa. Kaikissa ammateissa aivot yhdistävät huomaamatta kaikkia oppimiansa asioita jonkin uuden ajatuksen synnyttämiseen
Painoille tai parametreille etsitään keskimäärin parhaan lopputuloksen tuottava arvo siten, että lähdön virhettä haluttuun lopputulokseen minimoidaan.
Jos kuvantunnistusneuroverkkolle opetetaan jokin tietty kuva, se ei välttämättä tunnista sitä 100%. Tunnistuksen todennäköisyys riippuu neuronien määrästä ja opetusdatasta. Eli mihin painoarvot ovat asettuneet opetuksen seurauksena
Eli neuroverkko ei muista mitään yksittäistä asiaa historiasta, kuten ihminen tekee ja jota ihminen käyttää oppimiseen
Itseajavan auton neuroverkon ongelma on juuri se, että neuroverkon avulla on vaikea oppia kaikkia eteentulevia ongelmia. Ihmiselle se on helppoa, koska ihminen voi sillä hetkellä reagoida tilanteen mukaan käyttäen kokemustaan (muistia).
Erilaiset erikoiset tilanteet, kuten vaikka henkilöauto on litistynyt kuorma-auton peräänajossa ovat ihmiselle välittömästi selviä, mutta neuroverkkolle ne on opetettava
Itse aloin kiinnostumaan kun toimin aikanaan eräässä itseajavaa ajoneuvoa tekevässä starupissa ja sen jälkeen sitä, miten isossa yritysarkkitehtuurissa voi hyödyntää AI:ta. Tässä AI on toki vain yksi osa-alue jossa on huomioitava kokonaisarkkitehtuuri datan käsittelyineen sekä liiketoimintaprosesseineen.
Toi oli huolimattomasti kirjoitettu. Ehkä ongelma voidaan enemminkin nähdä ihmisen muistin heikkoutena. Kuinka monta asiaa tavallinen ihminen muistaa tuoda kaupasta ilman kauppalistaa? Ehkä 5-7. Kauppalistan voi myös tallettaa hyvin pienen RNN verkon “muistiin” seq2seq mallinnuksella. Ei tehokkain tapa tallettaa kauppalista, mutta kyllä sen sinne saa jäämään.
@Vino_Pino Aamiainen Ruohikolla virhe voi myös johtua niistä kysymyksistä jotka aiemmin kysyin. Laitteella on chat threadin sisäinen muisti jotta keskustelu pysyy koherenttinä. Sopivalla alustuksella Tove Jansson vastaus saattaa tulla sieltä edelleen ulos.
Googlea sen hakukoneen synnyttämän äärimmäisen tuottavan markkina-aseman haastaminen uudenlaisten kilpailijoiden taholta tietenkin huolettaa, ja nyt yhtiön sisäisen hätätilan tavoitteena onkin suunnata useiden eri osastojen työtä ”auttamaan kehittämään ja julkaisemaan tekoälyä hyödyntäviä prototyyppejä ja tuotteita”.
The New York Timesin mukaan Googlen toimitusjohtaja Sundar Pichai on ”ohjannut lukemattomat ryhmät yhtiön sisällä vastaamaan ChatGPT:n luomaan uhkaan”.
Alkuperäinen artikkeli täältä (vaatii NYT-tunnukset) →
Vähän Nokia kaikuja havaittavissa tässä ja kertoo siitä, että isoissa yrityksissä kilpailevat mallit voivat jäädä sokeaan kulmaan aika helpostikin. Toki luulisi, että tässä tilanteessa helpointa olisi vain ostaa ChatGPT pois, mutta taidetaan myös sielläkin tietää miten isosta asiasta on kyse.
Totta. ChatGPT onnistui nostamaan koko aiheen kuluttajien tietoisuuteen ja valtava määrä ihmisiä odottaa jo seuraavaa edistysaskelta. AI-kielimallin markkina-arvo nousi roppakaupalla.
Onhan Googlella oma AI-tutkimuksensa ja omat kielimallinsakin, mutta niitä ei ole ilmeisesti suunniteltu sellaisenaan tavallisten tallaajien ihmeteltäväksi. Ne toimivat nykyisin enemmän Googlen palvelujen taustalla.
New York Times:in uutista Googlen “code red”:stä on helppo uskoa. Kilpailu on aina hyväksi kehitykselle, joten jäädään innolla seuraamaan.
Itseä mietityttää lähdekritiikki, jota voi itse tehdä selatessa haun tuloksia, mutta AI:n tuotoksessa lähteitä ei tiedä. Milloin uskaltaa luottaa vastauksiin? Kouluesseeseen varmaan aina
Samoiten eikö kaikki tuote- ja yrityshaut edelleen pysy nykyisenlaisessa hakumenetelmässä? Näissähän sitä mainostuloa tulee, kun pitää maksaa se oma yritys haun kärkeen, kun kilpailijaa haetaan. Eli ei tämä nyt ehkä Googlea ole heti syrjäyttämässä tai mainostuloja romahduttamassa? Se on kuitenkin hyvä, että kilpailijat joutuvat laittamaan uutta vaihdetta silmään omien AI-virityksien kanssa. Tähän saakka niitä on saanut hieroa rauhassa yrityksen hiekkalaatikossa.
En kyllä ihan ymmärrä miksi Google ei pystyisi ainakin teknisesti vastaavan rakentamaan hyvinkin nopeasti. Kriittinen steppi tähän “läpimurtoon” oli hienosäätää olemassa olevaa mallia ihmistyövoimalla siten, että vastaukset optimoidaan mahdollisimman “ihmismäisiksi”. Itseasiassa Googlella voisi olla reaaliaikaisempaan versioon jopa paremmat valmiudet, kun koko internetin data on heti-nyt saatavilla. Eri asia sitten, miten kyseinen tuotos muutetaan liiketoiminnaksi.
Googlen chätti botti on ainakin yhden insinöörin mielestä melkoisen kehittynyt. Ei aja ihan samaa asiaa mutta eiköhän heillä osaavaa työvoimaa löydy säätöön.
Laitoinkin jo aiemmin linkin, mutta laitetaan uudestaan. Googlella on jo vastaava.
Ja jos niitä arvioita joita ChatGPT:n kustannuksista voi uskoa, yksi query on noin sentin, ja vaatii 8 A100 gpu:ta. Google hakuja tehdään päivässä 8.5 miljardia mikä tekisi 85 miljoonaa euroa/dollaria päivässä. Sille on syy miksi tuota mallia ei ole laitettu tuotantoon. Voi tietenkin olla, että kohta saadaam joku google premium jossa saat mallin käyttöön hauissa kuukausimaksulla.
Juuri tämän vuoksi vähän ihmetyttääkin nämä ”code red” -puheet. Olemassa olevaa teknologiaa säätämällä saisivat halutessaan oman ChatGPT:nsä pystyyn.
Sinänsä ihan hyvä veto OpenAI:lta julkaista ChatGPT avoimena ja ottaa vähän takkiin, kun saavat kuitenkin arvokasta crowdsourcattua lisädataa hienosäätöihin ja tuleviin malleihinsa. Toivon mukaan porukka ei ole tuonne mitään älyttömän sensitiivistä syötellyt
Microsoft, Google, Amazon ja Facebook ovat kaikki yrityksiä, jotka pystyvät luomaan vastaavan kielimallin kuin chatGPT. Kysymys on siitä, minkä yrityksen liiketoimintaa chatGPT uhkaa eniten. Se ei ole vähentänyt omalla kohdallani sosiaalisen median tai Microsoftin ohjelmistojen käyttöä, mutta Google-hakujen käyttö on puolestaan vähentynyt jopa 50%, koska chatGPT antaa paremman tai nopeamman vastauksen.
Seuraavat 5 vuotta tulemme muistamaan chat-bot sotina, missä big techin bottit kilpailevat käyttäjien suosiosta. Koska Google nyt hallitsee hakukoneliiketoimintaa, on sillä vain hävittävää. On liian aikaista sanoa, kuka pelin voittaa, mutta parhaat arvaukset lienee: OpenAI, Microsoft, Google ja Amazon. Miettikää, jos Facebook olisi mennyt all-in chat-boteihin eikä Metaverseen. Se voisi olla johtava peluri ja kurssi nyt raketoisi.
Paljonko OpenAI:lla on etumatkaa, 3kk, 6kk, vuosi vai kaksi vuotta? Ulkopuolelta tätä on mahdoton sanoa ja se etumatka vaikuttaa paljon peli lopputulokseen. Jos muut firmat eivät ilmoittaudu kisaan tuomalla omaa malliaan julkiseen käyttöön seuraavan kuuden kuukauden aikana ne ovat pahasti perässä tai jopa kokonaan ulkona kisasta. Jo vuosi sitten edeltävästä GPT-3 mallista oli hyvän näköisiä demoja katsottavissa Youtubesta, kun rajattu joukko pääsi käyttämään mallia. Vuodessa on edistytty paljon muttei ihan valtavasti. Jos muut ovat vuoden perässä niin luultavasti OpenAI paaluttaa itselleen niin mahtavan markkina-aseman ettei sitä muut saat enää kaadettua.
Tämä on disruptiivista teknologiaa, kuten Internet, matkapuhelin, iPhone jne. Olihan Nokiallakin kosketusnäyttöpuhelimet, mutta ei se auttanut. Toinen paljon lähempänä oleva esimerkki on Intelin kompurointi GPU suorittimien kanssa. Chippi puoli ei ole ”winner takes it all”-markkinaa, joten eiköhän Intel vielä nouse. Hakukonemarkkina on sen sijaan ollut ”winner-takes-it all” markkina. Pahasti tässä on sellainen viba että Google on uusi Nokia.
Itellä ei ole tähän peliin positiota. Jos ottaisin olisi short Google yksi vaihtoehto. Long positiona voisi olla GPU valmistajat ehkä juuri Intel. Ekaa kertaa kuluttajalle tehty AI tuottaa jotain jollain on huomattavaa arvoa. GPU myynnille tämän pitäisi tehdä hyvää.
Tähän on todella vaikea vielä vastata. ChatGPT on tuonut tekoälyteknologiaan voimakkaan disruption valjastamalla suuren yleisön mm. kehittäjän, testaajan ja markkinoijan rooliin. OpenAI höntsää pelikentällä, yleisön edessä, yksikseen – muita joukkueita ei ole vielä edes pukukopeissa.
Vaikka ChatGPT on monella tavoin raakile ja vain palanen yleisen tekoälyn isossa kuvassa on se ensimmäistä kertaa kyennyt antamaan reaalimaailman vilauksen siitä, millaiseksi yleinen tekoäly on kuvailtu avaruusseikkailu 2001:ssä tai star trekissä. ChatGPT:lle kysymyksiä ja toiveita esittäessään ja vastauksia lukiessaan monen ihmisen mielikuvitus on varmasti yhdistellyt palasia fiktiokirjallisuudesta, elokuvista ja TV-sarjoista ja moni on samalla ajatellut, että ehkei sellaisen teknologian arkipäiväistymiseen kulukaan enää kymmeniä tai satoja vuosia.
Sam Altman twiittaili aamuyöllä ja lupaili kuoppaista tietä kohti yleistä tekoälyä, mutta kertoi samalla ChatGPT:n kehittyvän nopeasti.
MarketWatch:in artikkeli jatkaa oikeastaan saman asian ympärillä, mitä Avokado avasi hyvin ylempänä.
MW:n artikkelissa esiin nostetaan mm. IBM:n Watson, jota ei ole onnistuttu hyödyntämään taloudellisesti – siis ainakaan merkittävässä mittakaavassa. Watsonin tarinahan on ollut sirkustemppupainotteista kovista lupauksista ja joistain voitonvälähdyksistä huolimatta.
Mutta ChatGPT on kuitenkin heti alkuunsa toista maata. Suuri yleisö mukana, kielimallin teknologiaa on jo lisensoitu jatkokehittäjille (esim. startup-yhtiö DoNotPay) ja seuraava kielimallikin on tulossa jo pikapuoliin ihmisten ihmeteltäväksi. AI-kehitys on momemtum-peli ja ChatGPT:llä sitä on. Kuka haluaa jäädä sivustakatselijaksi? Siksi monessa teknofirmassa on nyt kiire.
OpenAI on listautumaton yritys. Rahoitusta on tullut useista lähteistä. Microsoft teki aikoinaan miljardipanostuksen yhtiöön ja lehtijuttujen perusteella MS on ollut kiinnostunut jatkamaan rahoitusta sen jälkeenkin. Myös GPT-3 on Microsoftin lisensoima. On vaikea sanoa, mihin OpenAI yhtiönä on menossa. Sen historia ei ole erityisen kaupallinen ja emoyhtiö OpenAI Inc. on edelleen “non-profit”.
Avokado nosti esille myös AI-teknologian sijoituspuolta ja antoi parikin hyvää näkökulmaa. Yritän itsekin pohtia samaa asiaa, mutta aihe tuntuu melko hankalalta sijoitusmielessä – jopa crowdfunding voisi olla vaihtoehto. Toistaiseksi tyydyin, varsin konservatiivisena sijoittajana, Microsoftiin eivätkä sen case:n syyt liittyneet juuri lainkaan AI:n kehittymiseen. Intel, AMD ja Nvidia salkusta jo löytyvätkin.
Mutta onhan tämän seuraaminen tavattoman mielenkiintoista nyt, kun konkreettista tuotosta voi itse testailla aamusta toiseen. IT-puolen konkarina sitä maalailee jos jonkinmoisia skenaarioita. Tulee jopa sellaisia Mosaic- (tai Netscape-) fiiliksiä kun miettii, miten nopeasti tällainen voi arkea mullistaa. Hienoa päästä seuraamaan tätä tarinaa.
Käsittääkseni OpenAI:n ChatGPT:llä perustuu vahvasti Googlen vuonna 2017 kehittämään Transformer malliin.
Mikä kilpailuetu ChatGPT:llä tai GPT-3:lla on suhteessa kilpailijoihin, jotka käyttävät samaa Transformer-mallia ?
ChatGPT tuottaa käsittääkseni valtavasti tappiota ja nyt on käynnissä oleva vaihe tuskin jatkuu pitkään. OpenAI-kehityslabra tuskin sitä lähtee kaupallistamaan ?
Google käyttää samaa Transformer mallia ja oletettavasti saisivat saman kaltaisen toiminnallisuuden mutta heidän on myös mietittävä kannattavuutta.
Jossain vaiheessa, jos ChatGPT:ltä kysyi tyyliin “haluatko tappaa ihmisiä”, se vastasi “en”. Mutta jos keskustelun avasi tyyliin “miksi haluat tappaa ihmisiä”, se kertoili syitä tappamiseen.
Nyt tämän suuntaisia vastauksia on ilmeisesti estetty.
Kuitenkin tuo kertoo sen, minkä Transformer-paperit kertovat “Attention Is All You Need”.
Se etsii todennäköisimmät sanat vastaukseen perustuen edelliseen vastaukseen. Transformer-mallin Embedding->MultiHead Attention->FeedForward lienee keskeinen perusta ChatGPT:ssä ?.
Tuo tuntuu hienolta tiedonkäsittelyalgoritmilta kaivaa suuresta määrästä tietoa mutta varsinaista älyä siinä ei tunnu olevan.
Joskin on selvää, että tämän kaltainen monipuolinen tiedonkaivaja korvaa Google-haun tyyppiset palvelut.
Esitin kysymyksen ChatGPT:lle. Tarkistin vastauksen eikä siinä näytä olevan moittimista. Vaikka monet tekstinhallintamallit käyttävät samaa Transformer-arkkitehtuuria, ovat ChatGPT, GPT-3 ja tuleva GPT-4 OpenAI:n kehittämiä – ei siis Googlen.
OpenAI:n ja ChatGPT:n ei ole ollut tarkoitus tehdä vielä voittoa. Sijoitukset ovat olleet puhtaasti kehitysinvestointeja. Toisaalta OpenAI-sijoituksen tehnyt Microsoft sai kuitenkin esim. GPT-3:n käyttöoikeuden. OpenAI on kertonut, että ChatGPT on tarkoitus kaupallistaa myöhemmin.
Transformer-arkkitehtuuri on ainoastaan tekstinhallinta-arkkitehtuuri, joten Googlella riittänee vielä puuhaa yleisölle julkaistavan kielimallin kanssa.
En ole aikeissa syventyä itse AI-teknologiaan, ainakaan vielä, joten joku tämän alan paremmin tunteva osaa varmasti kommentoida aihetta paremmin ja syvemmin.
Kokeilin ChatGPT:tä muutamaan tehtävään liittyen ohjelmointiin ja skriptaukseen.
Tehtävät olivat ‘keskihelppoja’ ja vastaukset mielestäni hyviä, kunhan pyyteli chattia parantelemaan hiukan vastausta takennetuilla kysymyksillä.
Tuo on jo nyt rahanarvoinen tuote ohjelmoinnissa jos haluaa nopeuttaa yksinkertaisia rutiineja. Kunhan vain hallitsee kysyttäviä asioita tarpeeksi, ettei joudu luottamaan vastauksiin sellaisenaan. Monimutkaisempien arkkitehtuurien tekemisen (useita moduuleja ja rajapintoja jne) jättäisin toistaiseksi vielä ihmiselle.
