Onhan tässä monenlaista pelkoa monella taholla sen suhteen, miten AI muuttaa maailmaa.
Kuunnelkaapa tämä tuotos. Hyvää settiä. Kyseessä artistien Drake ja The Weeknd yhteisprojekti, jota ei koskaan ole oikeasti ollut. Biisi on siis AI-työkalujen tuotos.
Ymmärrettävästi musiikkiteollisuus on varpaillaan ja yrittää parhaansa mukaan suojella, mitä suojeltavissa on. Tätä kuvattiin jossain uudeksi “Napster-hetkeksi” ja onhan tällaisten työkalujen levitessä ja yksinkertaistuessa mahdollisuudet vaikka mihin. Mitä lähdet kieltämään ja miten, jos jokainen voi tuottaa kohta haluamaansa musiikkia itse kotikoneilla? Jotenkin artistienkin asema pitäisi varmasti turvata, mutta se muuttuu koko ajan vaikeammaksi. Mikä osa musiikin fanittamisesta on artistien persoonan fanittamista, jos kyvyt pystytään kloonaamaan? Tätähän olisi hauska miettiä – joskus toiste.
Juttu lähti aika tavalla rönsyilemään kommentistani – eikä oikeastaan liittynyt siihen enää lainkaan. Tarkennan siis sen verran, että tekoälyn aikakaudellakin tekijänoikeudet ja aineettomat oikeudet ovat edelleen perusoikeuksia läntisissä maissa. Niistä tuskin kukaan haluaa eroon ja niiden kohdalla törmäyksiä tekoälyn kanssa tulee alvariinsa oli kyse oikeastaan mistä tahansa taiteenlajista.
Itse ajattelen, että pop-musiikki (tai miksei vaikkapa mainstreamiksi muotoutunut taide muutenkin lajista riippumatta) on aina seurannut ”algoritmeja”. Joku jossain (yleensä marginaalissa) keksii uuden hienon jutun tai suuntauksen, joka poikkeuksellisuutensa ansiosta nousee uudeksi trendiksi ja mullistaa maailman. Sitten tätä uutta trendiä aletaan eri tahojen puolesta kopiomaan ja siitä aletaan ottaa vaikutteita, kunnes aihe alkaa olla todella loppuunkaluttu. Lopullisen kuoliniskun suuntaukselle antaa seuraava uusi ja mullistava trendi, jonka mukana kuljetaan taas seuraavat vuodet. Aiemmin tämä algoritmi muodostui ihmisten ja pääasiassa taidelajeja kaupallistavien tahojen toimesta, 90-luvulla mukaan kuvaan astui valtavat levy-yhtiöorganisaatiot ja heidän musiikkipäälliköt sekä kykyjenetsijät, sittemmin avuksi on tullut tietokoneanalytiikka ja nyt sisällöntuottamiseen kykenee jo suoraan tekoäly.
Musiikki on jo pitkään monissa nykygenreissä toistanut itseään, enkä oikeastaan ihmettelisi vaikka tällaista taustamusiikkitasoista sisältöä jatkossa tuotettaisiin aivan sujuvasti AI:n toimesta. Kuka tietää, vaikka vahingossa saattaisi syntyä muutama uusi hittikin - ehkä jopa kokonaan uusi alagenre! En kuitenkaan usko, että AI tulee tuhoamaan taidetta kokonaan. Luovan ihmisen mielikuvitusta on vaikea mallintaa saati samassa bändissä soittavan useamman taiteellisen henkilön keskinäistä kemiaa. Uusia ilmiöitä varten tarvitaan aina uusia inspiraatioita ja toisinaan todella poikkeuksellista mielenlaatua. Moni on halunnut olla uusi Lennon/McCartney, uusi Mercury, uusi Michael Jackson tai vaikkapa uusi Björk. Kovin moni ei kuitenkaan ole esikuvansa veroisesti onnistunut.
Stack Overflowssa Chatgpt ja vastaavat työkalut ovat olleet merkittävinä puheenaiheina jo joulukuusta lähtien, kun automaattisesti generoituja vastauksia alkoi kerääntyä sivustolle massoittain ja moderointitaakan takia Chatgpt:n käyttö kiellettiin.
Nyt kuitenkin toimitusjohtaja olisi muuttamassa suuntaa, mutta se miten asia ilmaistiin ei saanut kovin hyvää vastaanottoa lukijoilta (upvotet reilusti miinuksella). Oikeastaan on vaikeaa edes hahmottaa, mitä tuossa 1550-sanaisessa blogipostauksessa yritetään sanoa sen lisäksi, että otetaan AI käyttöön. Varmaan pääasia oli tuossa: “Incorporating generative AI technologies into the organizations using Stack Overflow for Teams will allow us to layer a conversational interface on top of this wealth of information.” Tämä kuulostaa vähän triviaalilta havainnolta, mutta muuten tuollaista tekstiä Chatgpt tuottaisi jostain satunnaisesta aiheesta, jos promptilla ei määritä tyyliä tarkemmin.
Ai StackOverflow on vielä olemassa . Tuntuu yhtä tarpeelliselta kuin puhelinluettelo Webin keksimisen jälkeen tai lineaariset tv-lähetykset striimauspalveluiden aikakaudella. Aiemmin hain tuolta ratkaisuja moneenkin tekniseen ongelmaan. Enää ei ole tarvetta
Blogipostaus henkii epätoivoa - kuin peura ajovaloissa, ei tiedä mitä tekisi tai minne menisi. No minäpä kerron, konkurssiinhan toi konsepti menee. Sinänsä sääli, koska varmasti tuoltakin on louhittu dataa ChatGPTn koulutukseen. Teknisten ongelmien ratkomisen ruokaketjun huipulla on uusi mestari.
@OldFeki kommenttiin artistien tukemisesta lisään että me kaikki kohta tarvitaan universal basic income. Voi silti olla että vastaan tulee joku seinä jota ei pystytä ylittämään. Mutta jos ei tule niin tekoäly hoitaa kohta kaikki hommat paremmin kuin ihminen.
Tuossa asiassa on monta näkökulmaa mietittävänä ja tilanne muuttuu nopeasti. Toisaalta jos Stack Overflow olisi muuttumassa täysin turhaksi, niin sama pätisi muihinkin keskustelufoorumeihin ja siten implikoisi AGI-tason saavuttamista. LLM:illä on kuitenkin tiettyjä rajoitteita, kuten asioiden toistuva hallusinoiminen ja kontekstin rajallisuus, jotka pitäisi ratkaista ensin. Samoin koodintäydennystyökalut pystyvät usein arvaamaan kontekstista jotain hyödyllistä, mutta silti niissä on usein jotain virheitä tai ne eivät osaa ottaa huomioon laajempaa kontekstia kysymyksessä.
Usein Stack Overflowssa voi olla sellaisia laajempia tekniseen arkkitehtuuriin liittyviä kysymyksiä, jotka eivät välttämättä taivu niin helposti bottien ratkaistaviksi. Voi olla, että niiden sivuston kannalta olisi järkevämpi vain kieltää sellaiset bottien generoimat vastaukset, joita lähettäjä ei ole itse tarkistanut tai edes ymmärrä. Sillä tavalla voitaisiin AI:ta hyödyntää niin, että siitä tulisi jotain lisäarvoa foorumille.
Vaikka julkisuuteen ei ole kerrottu mitään yksityiskohtia GPT-4:n opetusprosessista, niin varmaan voidaan päätellä, että siihen on käytetty niin paljon resursseja kuin suurimmilla organisaatioilla on vain mahdollisuus kuluttaa. Eli toisin sanoen tässä nähdään, kuinka paljon etua saadaan pelkästään lisälaskentatehon käyttämisestä, jos LLM:n arkkitehtuuriin ei tehdä oleellisia muutoksia. Tilanne voi tietysti muuttua vuoden mennessä, mutta kuitenkin arkkitehtuurissa on ainakin nyt tietyt rajoitteet, joiden ratkaisemiseen tarvitaan luultavasti jotain lisäinnovaatioita.
Siitä itse asiassa on vähän tullut vihjeitä että pelkästään laskentatehoa ja parametrien määrää lisäämällä ei enää päästä hirveästi eteenpäin. Law of diminishing returns.
Tässä oli ihan hyvää spekulaatiota asiasta myös. Arvioitu tiettyjen hypoteesien pohjalta miten paljon dataa tai laskentatehoa pitäisi lisätä jotta nykyisillä LLM arkkitehtuureilla saataisiin merkittävää lisähyötyä. Jos artikkelin olettamukset pitävät yhtäänkään paikkansa niin kehitystä tarvitaan nimenomaan parempien algoritmien kautta.
Ensimmäistä kertaa ihmiskunnan historiassa rakennetaan tietotekniikka jossa on emergenttejä ominaisuuksia. Emergentti ominaisuus on sellainen joka nousee esiin itsestään ja yllättäen. Alla oleva kuva selventää. Mallin saama laskenta-aika on X-akselilla, eri ruudut kuvaavat testejä jolla mallin hyvyyttä voidaan arvioda, Y-akselilla korkeammat arvot tarkoittavat parempaa suoritusta. Kuvista voidaan nähdä että emergentit kyvyt nousevat kun laskentateho kasvaa, mutta eivät lineaarisesti vaan yllättäen.
Open AI kertoo GPT4 rapparissa että he pystyivät ennustamaan suuren mallin käytöksen pienestä mallista. Näin olikin, mutta vain joidenkin testien kohdalla. Hindsight neglect tehtävässä nähtiin emergentti pomppu.
Tämähän tässä pelottaa. Uusia ominaisuuksia voi tulla kun
On isompi malli
Lisätään laskenta-aikaa
Keksitään parempi algoritmi
Löydetään lisää dataa
Löydetään parempaa dataa
Tulee parempaa rautaa
Tulee enemmän rautaa
Klassissen koneoppimisen kanssa oli nyrkkisääntö ettei kannattanut käyttää aikaa laskenennan lisäämiseen (kohdat 1 ja 2) tai algon asetuksen viilaamiseen tai algoritmin vaihtamiseen (kohta 3) vaan kannatti keskittyä kohtiin 4 ja 5 jos halusi parempia tuloksia.
Nyt kun Big Tech on herännyt ja suuntaa miljardiresurssit kohtien 1-7 parantamiseen niin voidaan sanoa tämän olevan vasta alkua.
Tässä pitää huomata että X-akseli ei ole myöskään lineaarinen vaan logaritminen. Toisaalta myöskään Y-akseli ei ole lineaarinen vaan accuracy/exact match. Toisenlainen esitystapa antaisi varmaan hyvin erillaisen kuvan.
Kaavio näyttää mielenkiintoiselta, mutta toisaalta esittämällä laskentateho logaritmisella asteikolla siinä voikin tulla tuollaisia hyppäyksiä. Tässä on siis tilanne viime vuoden elokuulta ennen kuin GPT-3.5/4 oli julkaistu. Onkohan tästä jossain päivitettyä versiota?
Saman mallin opetusta jatkaessa jossain kohtaa pitäisi tulla vastaan laskevat rajahyödyt, kuten esimerkiksi tuossa word unscramble -tehtävässä on saattanut käydä. OpenAI ei ilmeisesti edes ilmoittanut suoraan paljonko laskentakapasiteettia käytettiin GPT-4:n tapauksessa, joten suora vertailu taitaa vaikeutua.
Toki voi olla myös riskinä, ettei nähdä niin sanotusti metsää puilta. Stack Exchangessa noita laajempia keskusteluja kyllä riittää useammalla alasivustolla, niitä on ainakin parikymmentä melko aktiivista.
Kuitenkin nuo GPT-mallit ovat yleisluontoisia, ne eivät mitenkään rajoitu koodinkirjoittamiseen, vaan toimivat vähän kaikilla osa-alueilla. AGI-skenaariossa tuollainen muuttaisi ihan kaikenlaista tietotyötä ja niihin liittyviä foorumeita, jioten vaikutus ei mitenkään rajoittuisi Stack Exchangeen.
Luultavasti tuo GPT-kielto tuli alunperin siitä, että jotkut käyttäjät copypastettivat massoittain virheitä sisältäviä vastauksia, eikä niiden siivoamiseen riittäneet moderointiresurssit. Mitä enemmän koodia vastaus sisältää, sitä suurempi todennäköisyys, että AI hallusinoi siihen jotain olemattomia yksityiskohtia. Toimiihan ne apuna koodintäydennyksessä, jos joku korjaa jatkuvasti noita virheitä. Nykyisellä arkkitehtuurilla voi olla vaikeaa päästä eroon niistä hallusinaatioista, tosin eihän sitä voi tietää ennalta. Tietyssä mielessä nuo mallit sopivat paremmin osittain fiktiivisen materiaalin tuottamiseen, koska silloin ei ole niin paljon väliä, jos AI keksii jotain yksityiskohtia.
Yleensä varmaan jakaisin mieluummin artikkelimuodossa näitä juttuja, kun nopeampi käydä erilaisia pointteja läpi, mutta tässä on mielenkiintoisia asioita näihin teknologioihin liittyvistä riskeistä ja siitä mihin kehitys on menossa. Stuart Russell ja Gary Marcus olivat muuten sen Future of Life Instituren avoimen kirjeen allekirjoittajien mukana viime kuussa.
Pähkäilin tätä koulutusasiaa itsekseni virkistäessäni taannoin muistiani ChatGPT:n avulla viime vuosituhannen koodausharrastuksen osalta.
Koulutus tulee muuttumaan, kun koulutuksen eri osa-alueille astuu mukaan opiskelijoiden osaamiseen mukautuvia tutoreita, jotka eivät väsy tai turhaudu koskaan. Opettajiakin vielä tarvitaan, mutta joillain alueilla varmasti aiempaa vähemmän. Uuden koulutusteknologian nopea käyttöönotto ja omaksuminen voi olla kilpailuvaltti jo lähitulevaisuudessa.
Tästä tulikin mieleen Microsoft. Eilisen tuloksen jälkeen nousu jatkuu. Pilvi ja tekoäly vetävät edelleen.
Eikös kaikki kiva ole ainakin kertaalleen kielletty Suomessakin.
Ihan vakavasti. Ei EU ole tekoälyä tai ChatGPT:tä kieltämässä. Valtaosa tekoälykehittäjistäkin kannattaa sen sijaan jopa lainsäädännön alaista regulaatiota osana tekoälykehitystä. Kun säännöt ovat selvät on oikeastaan yksi ja sama, missä tekoälyä kehitetään kunhan kehitys tapahtuu näiden sääntöjen puitteissa. Teknojätit, nykyiset ja tulevat, tekevät tällä hyvää tiliä oli kotipaikka mikä hyvänsä (länsidemokratia). Todennäköisesti Yhdysvallat, sillä Eurooppa on teknopelissä jo nyt pahnan pohjimmaisia.
Suomen koulutusjärjestelmä tulee muuttumaan, mutta tuskin kaikesta turhasta päästään eroon. Koulutuspoliittiseen keskusteluun en tässä yhteydessä lähde, mutta olen melko pitkälle samaa mieltä Suomen jonkinlaisesta koulutusliikalihavuudesta, josta vieläpä halutaan pitää kynsin ja hampain kiinni. “Kun näin on aina tehty”. Koulutuksen laatu on monelta osin unohtunut määrää korostettaessa ja koulutukseen käytetystä veronmaksajien rahasta on tullut koulutuksen mittari. Mitä enemmän rahaa kuluu, sen parempi koulutus – eihän se näin tietenkään ole.
Jos tässä lähtisi vanhana herrana visioimaan, miltä tekoälyn avustama koulutuksen tulevaisuus voisi näyttää… Eikö olisi hienoa, jos esim. tutkintojen osia pystyisi suorittamaan kokonaan tekoälyn avulla ja myös sen valvonnassa? Tällainen kouluttautuminen voisi olla suomalaiselle vaikka kokonaan ilmaista. Tulokset ja pätevyydet olisivat samantien järjestelmissä, joista niitä voisi halutessaan todentaa ja liittää osaksi tutkintoja. Suorittaisin itsekin varmasti jotain – pelkästään huvikseni.
Tekoäly tuo valtavasti mahdollisuuksia. Kunpa ne osattaisiin käyttää.
Niin, mutta siinähän tulee se fundamentaali ero koulutuksen ja osaamisen välillä
Koulussa saa koulutuksen, mutta oppiminen ja osaaminen voi sitten tulla esim. ChatGPT:n kautta.
Hyvin tuttua varsinkin IT-alalla, jossa koulu on vain sellainen oman opiskelun ohessa tapahtuva side quest. Devauksen ja sellaisen oppii omissa harrastusprojekteissa, joita hurjimmat ovat tehneet parhaimmillaan jo 6-vuotiaasta alkaen.
Kyllä, tekoäly tulee mullistamaan opetuksen. Kaikki lapselliset tietävät, miten helppoa on antaa teinille iPad ja sanoa, että opettele tästä chattibotin avulla Pähkinäsaaren rauhaan johtaneet tapahtumat. Hän tietenkin keskittyy kiltisti keskusteluun ja esittää tuntikausia tarkentavia kysymyksiä tekoälylle motivoituneesti ja innostuneesti. Ja näin ChatGPT korvasi suomalaiset koulut
Totta tämäkin. Mutta eiköhän tekoäly sovellu molempiin avustajaksi. Osaamisen kehittäjänä se toimii varmasti laajasti jo nyt. Neljännesvuosisata sitten olisin ottanut auliisti tällaisen avustajan käyttöön kaikkine virheineen – siis jo tällaisenaan. Silloin ei ollut vielä edes internettiä nykylaajuudessa avuksi. Kirjoistahan kaikki piti kaivaa tai sitten vaan kokeilemalla kunnes onnistuu.
Devaaminen on aina ollut hieman oma juttunsa. Jos nyt ajattelee vaikka tietotekniikan yliopistokoulutusta, saahan sieltä eväät paljoon muuhunkin kuin pelkkään devaamiseen, mutta halutessaan erityisosaamista siihenkin. Tein itse aikoinaan – pitkälti viime vuosituhannella – muutamia konekielisiä ohjelmanpätkiä ja sain siitä ihan kuukausipalkkaa. Oppi tuli yhdeltä yliopistokurssilta, jolla tehtiin hiirellä käytettävä piirrosohjelma assemblerilla. Hyviä muistoja.
Mutta etenkin nuoruudessaan koulusta vähemmän kiinnostuneita voisi päästä työelämän syrjään kiinni, jos osaamista voisi kerryttää ja todistaa myös työnantajille nykyistä joustavammin.
Niin noh, eihän ChatGPT koskaan kotikasvatusta korvaa tai tee lusmuista maistereita. Jotain jää vielä meidän ihmistenkin vastuulle.
Itse näitä yliopisto-opintoja parhaillaan datapuolella opiskellen olen saanut tekoälystä verrattoman tukiopettajan. Kursseilla tukiopetusta on pari tunnin aikaikkunaa viikossa ja niissäkin jonotetaan kahdenkeskistä aikaa. Alkuun kävin noissa kysymässä tyhmiä, kunnes kokeilin ChatGPT:tä.
Vähätkin epäselvyydet se oikoi sujuvalla suomella ja avasi pohjustaen teorialla käytäntöä eli hyvin kommentoitua koodia ja vielä loppukaneetteina lisäselvennöksiä käytetyistä työkaluista tarjoten.
Ymmärrän aiempiin viitaten tuon vastustuksen, että pakkoruotsia teinille tekoälyllä on aika vaikea pala nieltäväksi, mutta kääntäen - motivoituneelle aikuisopiskeijalle taas suoranainen oppimispotentiaalin maksimoija.
Varhaiskasvatuskin lienee ihan omaksuttavissa, omat muksut ainakin oppineet jo värit ja kirjaimet ja numerot eivätkä vielä eskariin mene pariin vuoteen, vanhempikaan joka jo vähän jo osaa lyhyitä sanoja lukea. Kasvatus on ollut kannustavaa kotona ja laadukasta päiväkodissa mutta kyllä väitän että noista tubevideoista ja lastenohjelmista on myös tullut hyvin opettavaisia ja selvästi toimiva alusta kehittyvälle naperolle.
Peruskoulumaailmassa näkisin tekoälyn myös ensisijaisesti tukiopetuksen mahdollistajana, en opettajan korvikkeena.
Tuoretta uutista. PwC pistää miljardin tekoälykehitykseen seuraavan kolmen vuoden aikana.
(Yhteenveto jutusta: ChatGPT)
Talous- ja konsulttiyritys PricewaterhouseCoopers LLP suunnittelee investoivansa seuraavan kolmen vuoden aikana miljardi dollaria generatiiviseen tekoälyteknologiaan Yhdysvaltain toiminnoissaan yhdessä Microsoftin ja ChatGPT:n kehittäjän OpenAI:n kanssa. Tämän monivuotisen sijoituksen tavoitteena on houkutella lisää AI-osaajia ja kouluttaa jo olemassa olevaa henkilöstöä AI-osaamiseen. Tämän lisäksi he suunnittelevat mahdollisia yritysostoja AI-ohjelmistovalmistajilta.
Generatiiviset AI-työkalut on suunniteltu tuottamaan luonnolliskielisiä vastauksia, kuvia tai tietokonekoodeja käyttäjän antamiin tekstisyötteisiin. PwC:n tavoitteena ei ole pelkästään kehittää ja upottaa generatiivista AI:ta omaan teknologia-arsenaaliinsa ja asiakaspalvelualustoihinsa, vaan myös neuvoa muita yrityksiä siitä, miten parhaiten käyttää generatiivista AI:ta ja auttaa heitä rakentamaan näitä työkaluja.
PwC maksaa päästäkseen käsiksi OpenAI:n GPT-4-kielimalliin, joka on ChatGPT:n takana oleva ohjelmisto, jotta he voivat rakentaa ja suorittaa sovelluksia Microsoftin Azure-pilvessä. Vaikka ChatGPT on ilmainen verkkotyökalu, OpenAI veloittaa kehittäjiä pääsystä sen kielimalliin ja oman ohjelmistotyökalujen luomiseen. Malli, joka on hiljattain päivitetty, on koulutettu massiivisilla kielidatan varastoilla, joita on kerätty verkkojulkaisuista, haastatteluista ja muista lähteistä ymmärtääkseen luonnolliskielisiä syötteitä ja tuottaa ymmärrettäviä vastauksia.
Kun mallit ovat täysin koulutettuja ja testattuja, Mohamed Kande, PwC:n varapuheenjohtaja ja Yhdysvaltojen konsulttiratkaisujen ja globaalin neuvonantoryhmän yhteisjohtaja, näkee teknologian käytön nopeuttavan raporttien kirjoittamista, vaatimustenmukaisten asiakirjojen laatimista, liiketoimintastrategioiden analysointia ja arviointia, tehottomuuksien tunnistamista toiminnassa tai markkinointimateriaalien ja myyntikampanjoiden luomista muiden sovellusten joukossa.
Kyseessä artistien Drake ja The Weeknd yhteisprojekti, jota ei koskaan ole oikeasti ollut. Biisi on siis AI-työkalujen tuotos.
. Tuntuu yhtä tarpeelliselta kuin puhelinluettelo Webin keksimisen jälkeen tai lineaariset tv-lähetykset striimauspalveluiden aikakaudella. Aiemmin hain tuolta ratkaisuja moneenkin tekniseen ongelmaan. Enää ei ole tarvetta
Aika… abstrakti.
