Pekka bulleroi AI:n kehityksen suhteen. Itse on usko, että muutos on näin nopea, vaan tuon suuntaiseen kehitykseen menee lähemmäs 10v.
https://x.com/vontuchman/status/1931396571553239239
En jaksa kopioida koko ketjua. Jos ette käytä X:ää, niin käskekää vaikka AI:n hakea teille loput. X on harvinaisen paska alusta tämmöisen sisällön jakamiseen.
Edit. Jaksan sittenkin kun löysin tähän työkalun.
https://twitter-thread.com/t/1931396571553239239
Teoriassa juuri noin kun Pekka sanoo, käytännössä ei. Esim projektipäällikkönä kun väännät maksueristä, aikatauluista, työmaan viivästyksistä ja siihen liittyvistä mahdollisista sakoista, kyllä siellä ihminen neuvottelee ihmiselle eikä tekoäly.
Moni ei julkinen projekti menee edelleen niin, että hinnan lisäksi siellä halutaan suosia niitä hyväksi todettuja kumppaneita, niitä joiden kanssa asioista neuvotellaan ja ratkaisuja haetaan yhdessä.
Sitten tuohon toimariin, yleensähän kyseessä on varsinkin pienessä firmassa myös yrityksen keulakuva, joka vastaa omalla toiminnallaan firman ilmapiiristä.
Minä näen tekoälyn enemmän raportointi kuin johtamistyökaluna, niin kauan kuin tekoäly ei omaa pelisilmää ja ihmissuhdetaitoja.
Niinhän tuo Pekkakin sanoi. Yhdelle miehelle enemmän projekteja kun assarina on tekoäly.
Itse olisin excelin-pyörittäjistä huolissani. Puhuin juuri aiheesta erään talouspäällikön kanssa ja kyllä siellä oli pelko perseessä. Kovapalkkainen, korkeasti koulutettu mies mutta hommat pääasiassa numeroiden pyörittelyä. Sama toki koskee kaikkia palkanlaskijoita yms. tiliniiloja.
Oikeasti ammattilainen Excelin pyörittäjä voi korkeintaan joutua vaihtamaan firmaa tekoälyttömyyshömpottäjistä sellaiseen joka oikeasti välittää onko numerot Excelissä oikein. Odotan jännityksellä ensimmäistä tarinaa kuinka tekoälyn Excelit kaatoivat jonkin ison projektin tai veivät firman konkkaan.
Luonnollisesti tällaisen ammattilaisen pitää opiskella alaa ja ottaa hyöty irti työkaluista joita tämä murros tuo hänen tontilleen, mutta edelleekin väitän että siinä vaiheessa kun pyöritellään numeroita jotka oikeasti ovat tärkeitä, ihmisen pitää katsoa perään tai sitten firma on lirissä tekoälymokan kanssa ja sen jälkeen se ihminen pistetään katsomaan perään.
Projektit vaativat palavereja, edistymisen seurantaa ja raportointia. Kuka näissä istuu? Ihmiset. Kuka siellä raportoi? Ihminen. Kuka tekee päätökset, ihminen.
En näe edelleenkään, että tuossa hirveästi saadaan mitään tehostettua. Palaverimuistiot, varmasti onnistuu. Jälkilaskenta, valmiista tiedoista varmasti myös, kunhan taas joku katsoo perään.
Pekka puhuu kuin henkilö, joka ei ole koskaan tehnyt oikeita töitä. Ei projektipäällikön ydintehtävää ole raportointi tai hankkeiden seuranta, vaan muiden ihmisten luomien ongelmien ratkaisu hankkeissa missä aikataulu, resurssit ja laatu eivät saa joustaa. Siis sitä, että Alihankkija-Anssi toimitti vääränlaiset marmorilaatat työmaalle ja siksi Putki-Paten firma ei pääse asentamaan putkia ja pian on juhannus ja kesälomakausi jonka jälkeen miehiä ei enää saa paikalle, miksi vuoksi aikataulu meinaa paukkua ja pitää selvittää, että tilataanko sopivat laatat lentorahtina Kiinasta vai otetaanko riski sopimussakosta viivästysten kasautuessa. Noi rapsahommat ja projektin viikkoseuranta on se duunin helpoin juttu, vaikka ovatkin usein turhan työlästä.
Lähtökohtaisesti kaikki hommat, missä tuotetaan merkittävää lisäarvoa luovalla tai syvästi henkilökohtaisella toiminnalla ihmisten parissa, ovat turvassa. Ei ole vielä tullut ainakaan minulle vastaan selvää reittiä, että miten AGI tai edes lapsen tasoinen tekoälymalli luotaisiin. Ongelman mittakaavaa voi hahmottaa miettimällä miten vaikeata olisi luoda lapsen aivoihin verrattavissa oleva malli. Kaikki se korkealaatuinen data, mitä 10-vuotias lapsi on kerännyt silmillänsä, korvillansa, nenällänsä, ihollansa, sekä omilla ajatuksillansa koko elämänsä ajan, pitäisi saada koulutuskäyttöön ja vieläpä tehdä mallista jatkuvasti itseoppiva, jotta se voi järkeillä koulutusdatan ulkopuolisia asioita.
Internet on niin nuori, että maailmassa ei vielä vaikuta olevan riittävästi käyttökelpoista dataa (erityisesti muussa kuin tekstimuodossa) riittävän monipuolisen mallin luomiseen, eikä nykyinen propabilistinen lähestymistapa taivu enempään ilman uutta dataa. Synteettinen data on roskaa, joten kehityksellä on selkeät rajat. Nyt vielä hetken aikaa poimitaan matalalla roikkuvia hedelmiä ja koitetaan kuratoida yhä korkekealaatuisempia datasettejä nykydatasta samalla kun matriisialgoritmeja ja käytössä olevaa parannellaan kasvattamaan laskentatehoa, mutta kyllä se kehitys lopahtaa kauan ennen Terminaattori-skenaariota.
Ei kehitys siihen pysähdy, että joku firma menee nurin tekoälyn tehdessä virheen. Esimerkiksi aika monessa firmassa on ERP-hanke mennyt pieleen ja jopa vienyt firman konkkaan, mutta eipä niistä ERP-softista ole siltikään luovuttu, vaan käyttö pikemminkin lisääntynyt. Tehokkuushyödyt ovat kokonaisuuden osalta niin mittavia, että kyllä ne Excelin pyörittäjät tulevat ajan myötä korvautumaan tekoälykätyreillä 
Allekirjoittaneella on vanha hieman autistisia piirteitä omaava tuttu, joka aina muisti muistuttaa että “IT ala olisi muuten helppoa, mutta kun on noi ihmiset”. Vaikka alun perin tarkoitus ei varmasti ollutkaan, tuo on yllättävän tarkkanäköinen tiivistys ydinongelmaan.
Esim. projektipäällikön palli on vaarassa vasta siinä kohtaa kun tekoäly on korvannut kaikkien muiden ihmisten työt. Vasta sen jälkeen ei tarvita kaikkea sitä Ekankin mainitsemaa ongelmanratkaisua ja erikoistilanteiden hoitoa joihin joudutaan kun asiat eivät menneetkään putkeen.
Hyvä viesti, vaikka AGI-uskovainen olenkin.
Esim. Yann LeCun (Metan Chief AI scientist) on puhunut paljon siitä, ettei transformer-LLM:t ole tie laajempaan (loogiseen) ymmärrykseen saati tietoisuuteen, vaikka monet tällaista trajectorya haluavatkin extrapoloida. Esim. neljävuotias lapsi on pelkän näköaistinsa kautta ottanut 50 kertaa enemmän tietoa kuin internetissä on dataa ylipäätään olemassa LLM-malleille opetettavaksi.
Ja vaikka data (esim. mainitsemallasi synteettisen generoinnin avulla) ei muodostuisikaan pullonkaulaksi, puhutaan lineaarisen skaalauksenkin näkökulmasta (olettaen että neural scaling laws ei muutu vähenevän rajahyödyn funktioksi), malleista, jotka ovat ainakin noin 100x nykyistä isompia, ennen kuin tuollainen 10-vuotiaan antropomorfistinen, geneerinen älykkyystaso on mallinnettu.
Kiitos linkin kaivamisesta. Taidetaan olla jo siirtymässä hypestä sitä väistämättä seuraavaan krapulaan, tai ainakin siitä on viitteitä. Tekno-optimisti Jon Krohn jopa nimesi podcastinsa lyhyen jakson Gartnerin termein:
SDS 892: We’re In The AI “Trough of Disillusionment” (ja optimistina lisäsi perään “and that’s Great!”), mutta ennemminkin taidetaan olla vasta luisumassa pohjaa kohti. Linkin takaa löytyy transkriptio jos ei halua kuunnella. Jää nähtäväksi miten pitkä tästä montusta tulee, mutta näköjään en ollut ihan väärässä reilut 1,5 vuotta sitten viitatessani mahdolliseen kolmanteen AI:n talveen 
Olen myös itse harrastusmielessä (kun asiakasprojektien rajoitteet ei oo sitä sallineet) testannut “agentic AI”:tai pienessä sovellusprojektissa, ja törmännyt teknologian rajoihin. Kyllä se agentti touhukkaasti työskentelee, mutta ehdottomasti tarvitsee valpasta kaitsijaa. Keskimäärin se on parhaimmillaankin kertaluokkaa heikompi kuin yksikään juniorikoodari jonka kanssa oon tehnyt töitä. Projektin tavoitteena on tehdä monen pelaajan web-pohjainen versio Mustasta Maijasta, jota lapsena pelattiin perheen parissa. Säännöt ei siis ole vaikeat, ja annoin alussa netistä löytyvät pelin säännöt speksiksi, mutta kovin vaikea tuntuu olevan noinkin yksinkertaisen kokonaisuuden muuntaminen toimivaksi koodiksi. Sitä ns. boilerplatea syntyy ihan hyvin ja se on hyödyllistä kun luodaan uutta tyhjästä, mutta kun tarvittaisiin loogista päättelyä, tai edes vähänkään monimutkaisemman logiikan hahmottamista (esim. tuon pelin sääntöjen mallintamista koodiksi), homma lähtee lapasesta. Ja sitten kun kielimallia yrittää opastaa korjaamaan puutteita, se tekee jotain oikein ja sitten jatkaa taas väärällä polulla. Tosin osan huonosta kokemuksesta voi laittaa sen piikkiin että Windsurfin SWE-1:llä on välillä ruuhkaa ja Cascade ilmeisesti siksi hiljaisesti vaihtaa ilmaiseen köpömpään malliin, joka ei yhtään pysy kärryillä siitä mitä pitäisi tehdä. Ja varmaan joku tietää jonkun toisen kielimallia joka olisi paljon parempi, mutta kyllä niillä kaikilla rajat tulee vastaan aika nopeasti.
Jatkoa välissä nukutun yön jälkeen:
Otetaan esimerkkitapauksena Microsoft. Julkisuudessa CEO Satya Nadella on julistanyt miten Microsoftin koodista 20-30% tuottaa AI. Totta kai Nadella puhuu tuollaisia, koska MS on kaatanut rahaa aivan hirvittävästi tekoälyyn, ensin ostamalla OpenAI:n, sittemmin rahoittamalla sen tappiollista liiketoimintaa ja vielä kehittämällä erilaisia copiloteja liukuhihnalta jokikiseen omaan tuotteeseensa. Minkään muun sanominen tarkoittaisi epäonnistumisen myöntämistä ja todennäköisesti potkuja. Microsoftin todellisuutta voi arvioida julkisen .NET-viitekehyksen koodirepon kautta hakemalla Copilotin avaamat pull requestit (muutosehdotukset koodiin). Itse katselin näitä .NET Runtimen osalta (sama komponentti, josta oli kyse muutama viikko sitten paljon ainakin koodaajayhteisössä julkisuutta saaneessa Reddit-julkaisussa): Pull requests · dotnet/runtime · GitHub
Tossa Reddit-julkaisussa linkitetyt PR:t muuttuivat meemisisällöksi, AI:n surkeudesta, mikä ei ollut täysin rehellinen tulkinta, koska (kuten niissä Microsoftin Stephen Toub mainitsee, ja sittemmin ilmeisesti myös Githubin käyttöliittymä ilmaisee) Copilotilla ei ollut pääsyä kaikkialle mihin se pääsyn tarvitsisi voidakseen onnistuneesti kääntää ja testata koodia, joten se ei (olettaakseni) myöskään pysty sen takia itsenäisesti korjaamaan tuotostaan. Kuitenkin noista vuorovaikutuksista ihmiskoodaajien ja tekoälyn kanssa voi miun mielestä hyvin vetää samoja johtopäätöksiä mitä edellä sanoin paimennettavasta apurista. Selkeä esimerkki, joka on ymmärrettävä niillekin, jotka eivät ymmärrä koodia on tämä kommentti, jossa .NET-kehittäjä toteaa viitaten PR:n taustalla olevaan Github issueen (bugiraporttiin):
This is only a good issue for copilot if we are fine fixing the code so it has the right pattern, but without looking deeper and trying to understand/test the scenarios.
Vapaasti suomentaen: Copilot kannattaa laittaa hommiin vain, jos halutaan pinnallinen korjaus koodin rakenteeseen, mutta ei jos halutaan selvittää ja ratkaista syvemmällä olevia ongelmia. Ja kuitenkin nämä jälkimmäiset ovat niitä mihin (ihmis)koodaajilla eniten menee aikaa, ja joihin tekoälynkin pitäisi pystyä voidakseen oikeasti olla kelvollinen kehittäjä. Jos edes nämä järkeilevät kielimallit (joiden pyörittäminen on poskettoman kallista) eivät kykene ratkomaan monimutkaisia ongelmia, en usko että ratkaisun skaalaaminen vielä kalliimmaksi ratkaisee mitään. Tämä teknologia ei riitä, ja oma (vain jossain määrin valistunut) mielipiteeni on, että se ei tule tänä vuonna, eikä ensi vuonnakaan. AGI on edelleen vähintään “muutaman vuoden” päässä.
Tuli taas vertailtua tekoälyä kun optimoin vesikiertoisen lattialämmityksen säätökäyrää. Chat gpt laski K-arvon, kävimme keskustelua siitä miten tehdä säätöjä, kun kosteat tilat ovat samassa piirissä ja mietittiin siinä vähän talven säätöjäkin. Energian kulutustakin oltiin valmiita laskemaan uusilla säädöillä, kunnes päivän ilmaishupi oli ohi.
Koetin jatkaa copilotin kanssa, enkä tiennyt itkeäkö vai nauraa. Samoilla lähtötiedoilla osattiin kertoa mikä se vesikiertoinen lattialämmitys on ja ehdotetut lämpötilat olivat aivan liian korkeita. Kun keskustelua yritti jatkaa, alkoi linkkien tarjoilu eri foorumeille.
Itse käytän Copilotia nopeisiin kysymyksiin, lyhyt kysymys ja lyhyt vastaus. Ärsyttää sen viljelemät hymiöt. Asiakeskeisenä tosikkona en myöskään kaipaa tsemppausta “hyvä kysymys, olet aivan oikeassa, hienoa pohdintaa”. Vähän sama kuin aamulla unisena menee keittiöön ja laittaa leivän paahtimeen -“Hieno valinta, moniviljaleipä!”. Ottaisin töpselin pois seinästä ja söisin leivän kylmänä.
Perplexity on ajaa nykyään lyhyiden kysymysten asiaa paremmin. Perplexityyn olen myös kehitttänyt keskustelua tiedostoliitteineen, jossa pyrin ajan kanssa kasvattamaan sen kykyä vastata paremmin otsikon aiheeseen.
ChatGPT on minulla kirjallisuuden lukemisen apuna. Se keskustelee kirjallisuudesta ilman, että se olisi lukenut kirjaa, lukuisien muiden lähdetietojen perusteella. Tästä erilliseen keskusteluun, Perplexityyn, olen ladannut saman kirjan e-kirjana ja pyytänyt sen käsittelemään kirjaa vain ja ainoastaan lataamani lähdeaineiston perusteella. Ei hassumpi lukupiiri.
Grok palvelee sijoitusasioissa, Mistral AI tekee kuvaajia, Deepseek laskutoimituksia, Claude käännöksiä.
Geminille en ole keksinyt mitään käyttöä. Onkohan se vahva jossain?
Tämä vastaa varsin pitkälti myös omia kokemuksiani. Edelleenkin koen, että AI on ollut parhaillaan jossain sellaisessa tilanteessa, jossa pitää laatia joku yksinkertainen esimerkkiohjelma jonkin tietyn spesifin asian demonstroimiseksi. Jos testiin liittyvä ympäristö / framework on sellainen, että siitä on paljon esimerkkejä ympäri nettiä muutenkin tarjolla, niin AI:lla saa kasaan jonkinlaisen rungon, josta sitten pienen parsimisen jälkeen saa kääntyvän ja tämän jälkeen voi sitten rakentaa demonstroitavalle asialle sen toteutuksen tuon AI:n generoiman boilerplaten pohjalle.
Jos kuitenkin pitäisi esimerkiksi tulkita jotain speksiä ja tehdä vähänkin monimutkaisempaa asiaa, niin ei siitä oikein mitään tunnu tulevan. Tässä hetki sitten esimerkiksi oli tarve rakentaa tietynlaisia kustomoituja enkoodereita spesifissä käytössä olevalle vähän harvinaisemmalle, mutta kuitenkin tarkasti määritellylle julkiselle kuvaformaatille. Kuulustelin Copilotia ensin tuosta formaatista ja sen määrittelystä. Varsin korkealla tasolla AI osasi vastata formaatin kuvausta koskeviin kysymyksiin, mutta tarkemmalla (koodaamisen kannalta merkityksellisellä) tasolla oli jo havaittavissa haparointia, joka jossain määrin oikeni tarkemmilla prompteilla.
Kokeilin, saisiko tuolla AI:lla tuotettua yksinkertaisen referenssienkooderin edes kyseisen formaatin yksittäisen erikoistapauksen käsittelyä varten. No, tuotoksella oli lähinnä huumoriarvoa. Ensimmäisillä prompteilla AI arvaili jotain aivan kummallista käsienheiluttelua, jonka lopputuloksena aikaansaatu ei tehnyt mitään oikein. Ei ollut edes yritystä siihen suuntaan, että algoritmin lopputuotoksena vaadittava yksittäinen pikseliblokki olisi edes jotenkin etäisesti määritelty speksin mukaisesti. Eikä enkooderi mitään enkoodausta tehnyt: se lähinnä täytti väärin määriteltyä lopputulosdataa jollain käsittämättömällä sisällöllä.
Jonkinlaisen promptiketjun jälkeen saatiin aikaan lopulta rajapinta, jossa oli edes oikea määrä dataa. Missään vaiheessa en kuitenkaan onnistunut tuottamaan AI:lla sellaista toiminnallisuutta, joka olisi järjellisesti enkoodauksen suorittanut. Erilaisia viritelmiä sain ulos, mutta prompti toisensa jälkeen homma eskaloitui jotenkin kauheampaan suuntaan, vaikka yritin paimentaa lopputulosta paremmaksi. Aihetta paremmin tutkimalla havaitsin, että AI:n yritteet olivat ainakin osin jonkinlainen koodikatkelmien hybridi parista GitHubista löytyvästä kyseisen kuvaformaatin encoderin toteutuksesta. Nopeasti tuo AI tietysti koodia tuotti, mutta eihän sillä mitään tehnyt juuri tässä yhteydessä.
Manuaalisesti tekemällä saman AI:lta kysytyn erikoistapauksen referenssienkooderin sai toteutettua n. parilla sadalla rivillä ja siihenkin oli jo sisäänrakennettu mahdollisuuksia yleistää toimintaa erikoistapauksen ulkopuolelle.
Tässäkin tapauksessa siis tehtävä oli hyvin rajattu ja käytännössä oli olemassa bittitarkka speksi siitä, millaista ohjelman tuottaman lopputuloksen pitäisi olla, ja selvästi AI oli speksin jossain koulutuksensa vaiheessa lukenut. Lisäksi tarjolla oli jonkinlaisia esimerkkitoteutuksia GitHubissa ja mitä ilmeisimmin AI:lla on koulutusvaiheessa ollut noihinkin pääsy. Ja lopputuotokseksi ei tarvittu mitään isoa ohjelmakokonaisuutta vaan parin sadan rivin koodinpätkä ratkaisi tilanteen. Ei se homma vaan silti lähtenyt.
Kyllä Geminilläkin voi tehdä yhtä ja toista. Tässä esimerkiksi sen tekemä webbisivu. Pyysin Gemini Canvasia tekemään esityksen aiheesta “Johtavat tekoäly-yhtiöt ja niihin sijoittaminen”. Tämä syntyi alle minuuutissa.
Vaikuttaa hallusinoinnilta. LLM:llä ei nimittäin ole varsinaista pitkäaikaismuistia olemassakaan.
Niissä on n-tokenia sisältävä konteksti-ikkuna, josta tippuu tavaraa pois sitä mukaa, kun uutta tietoa syötetään ikkunaan - ts. keskustelu etenee.
Toki näissä on ratkaisuita - kuten system promptien dynaaminen muuttaminen (esim. vastaa suomeksi) - jolloin vaikuttaa siltä, että LLM muistaa sinusta jotain
Hyvin hallusinoi muistaessaan viikon tauon jälkeen edellisen keskustelun pelihahmoista, perheenjäsenistä tai vaikkapa raveista. Tai sitten mä hallusinoin.
Siellä siis konteksti-ikkunaan tuutataan tietoa aiemmasta keskustelusta, jolloin LLM “muistaa”, mitä aiemmin on puhuttu. Sen kummempaa varsinaista pysyväismuistia nykyisellä tekoälyllä ei ole.
Jotkut RAG-vektoritietokannatkin yms. voi ehkä lukea “pysyväismuistiksi”. Mutta ei sekään muistia ole siinä mielessä, miten klassisessa tietojenkäsittelyssä tai antropomorfistisessa ajattelussa pysyväismuisti mielletään.
Eli tuolta osin LLM hallusinoi tarinoidessaan omasta pysyväismuistista.
Oon työhön liittyen teettänyt Gemini deep researchilla jonkun kerran selvityksiä itselleni jostain konseptista josta en tiedä sillä hetkellä riittävästi, tai joka on jo päässyt unohtumaan. Plussaa siitä, että mukana on linkit lähteisiin. En tiedä onko tuohon ehkä joku toinen vielä parempikin palvelu, mutta toistaiseksi oon ollut tyytyväinen tuotoksiin.
