ChatGPT, muut kielimallit ja tekoäly

Yleinen
,
686

Sääli ettei Linus kertonut paljonko laskentaa tarvittiin. Vilkaisin myös kommentit. Jos joku tietää dollarit, eurot tai flopit niin kertokaa.

Katselin videon jossa tekijä oli vahvasti sitä mieltä, että chatgpt on sieluton ja tylsä. Olen samaa mieltä. ChatGPT:n vastaukset on kuin tuottaisi fuusion juristien, viestinnän ja diversity & inclusion teamin teksteistä. Videossa ratkaistiin ongelma ja finetunetettiin lama malli käyttäen WallStreetBetsin tekstejä. Esimerkki lopputuloksesta.
User: What if I told you were an AI model?
Chat: What if I told you were a retard?

Pelkästää se että syöttää yllä olevan ja pyytää kielentarkastuksen aiheuttaa sen että ChatGPT laskee allensa.

image
image845×295 8.86 KB

Asiasta kolmanteen. Mielenkiintoisia tulee olemaan muutokset softa-alalla. Tuottavuus nousee kuten GitHub pomo kertoi, mutta niin nousee myös laatu. Sitä ei jutussa taidettu mainita. ChatGPT on varsin näppärä refaktoroimaan koodia. Tämä on usein se kohta missä laiskuus iskee monelle. ChatGPT:llä on helppo tuottaa muutama uusi design variantti ja voi keskittyä pohtimaan mikä niistä olisi tarkoituksenmukainen. Mitä tämä sitten tarkoittaa? Luulen että kaikki paskat legacy-järjestelmät tullaan korvaamaan paremmilla. Kuluttajapuolella softa on pitkään ollut ihan semi-OK laatuista. Enterprise puolella on sitten ollut käytössä ihan hirveää roskaa ja hintalappu ihan uranuksessa.

Alla pari paperia jossa GPT4 kompastelee. Osoittaa hyvin että kaikki ajatukset siitä että GPT4 olisi tietoinen voidaan laittaa roskakoriin. Ihan tunnetut AI nimet (Karpathy?) taisi tällaista soopaa jonkun aikaa sitten höpistä.

  1. “The Reversal Curse…” GPT4 osaa vastata kysymykseen kuka on Tom Cruisen äiti (Mary Lee Pfeiffer). Mutta ei tiedä kuka Mary Lee Pfeifferin poika (Tom Cruise).

    image
    image1071×398 73.7 KB

    https://owainevans.github.io/reversal_curse.pdf

  2. "Reasoning or Reciting?.."Jotain ulkoaopettelua on selvästi havaittavissa. Normaalista shakin avauskonfiguraatiosta saa oikein hevosen liikkeen, mutta jos hevonen ja lähetti vaihtaa paikka niin alkaa sekoilla ja biittaa just just randomin (viiva kuvassa). Jokainen ihminen joka osaa shakin säännöt saa oikein 100%. Paperissa myös muita esimerkkejä

    image
    image242×630 32.6 KB

    https://arxiv.org/pdf/2307.02477.pdf

4 tykkäystä
687

En ihmettele että ääninäyttelijöiden ammattikunta on huolestunut… World of Warcraftissa vain pieni osa tekstistä on puhuttu.

No, pelaajat fiksasivat addonilla jonka mukana tulee 1.1 gigaa äänitiedostoja jotka on AI-generoitu:

Toistaiseksi vain Classicciin, mutta enpä ihmettelisi jos kehittävät myös lisäosille. AI generoi juuri niin monta gigaa voiceovereita tekstistä kuin tarvitaan… eivätkä nuo kuullosta lainkaan hullummilta. Joo, ammatti-ääninäyttelijä ajan kanssa ja kunnon ohjauksella tekee vielä parempaa, mutta hinta/laatusuhde sanoo että edessä on kovat ajat…

Toisaalta tämä teknologia tarkoittaa että oikeastaan mikä vain peli voi tarjota täydet voiceoverit vaikka kuinka monella kielellä. Tähän asti moinen on vaatinut isoa budjettia ja paljon porukkaa.

7 tykkäystä
688

Oikeiden ihmisten kanssa on muitakin lakiteknisiä ja tuotannollisia ongelmia.
Saat valmiiksi voice overit ja sopimus sisältää tämän yhden pelin. Et saa käyttää samoja ääniä jatko-osassa. Halust lisää ääniä päivitykseen mutta näyttelijä on kiireinen, ahne tai jo kuollut. Tämä on yllättävän haastavaa ja kallista.
Ehkä tulevaisuudessa jonkinlainen hybdiridi malli missä näyttelijä vetää päälainit ja loput hoitaa näistä opetettu äänimalli näyttelijän suostumuksella ja siitä maksetaan korvaus.

Edit: Ja käännökset sitten alkuperäisen pohjalta.

3 tykkäystä
689

Vernerin vartit Arnoldin äänellä? Affirmative!

6 tykkäystä
690

Töissä otettiin tässä Github Copilot käyttöön (GPT-4, koodausfokuksella) ja ensivaikutelma on vähän ristiriitainen. Toisaalta se vähentää tietyissä jutuissa aika huimasti sellaista hermoja nakertavaa boilerplate-koodausta ihan lähes magian kaltaisella tarkkuudella (ChatGPT verrattuna tää siis tarjoaa koodirivin/pätkän tasolla ehdotuksia lennosta), mutta sitten toisaalta tää aiheuttaa uusia hermonakerruksia :smiley: Välillä generoi koodin sijaan uuden kommenttirivin, välillä ei generoi yhtään mitään, välillä tarjoaa aika jatsitupakan veroisia hallusinaatioita. Menee sitten aikaa kaiken maailman tuunaukseen koodaamisen sijaan.

Se mihin tää ei pysty on vähän suurempi zoomi eli esim. Poelle tai ChatGPT:lle kun kerrot että “Tee koodi, joka menee läpi näistä yksikkötesteistä [ja copypaste omat testikeissit]”, niin ne yleensä saa luotua suht vakuuttavan tuloksen, jota voi sitten työstää eteenpäin.

Mutta etuna on siis tuo integraatio IDE:en, eli ei tarvi erikseen hyppiä pois editorista, vaan tarjoaa ehdotuksia suoraan kun kirjoitat koodia.

Esimerkkinä vaikka Reactin (Native alla) useState. Tää on vähän “pöljä” esimerkki koodin puolesta, mutta tuon autocompleten demoon sopiva:

Eli sulla on tällainen koodinpätkä valmiina, mutta pitäisi vielä generoida state noille. Niin sehän vaatii melko paljon itseääntoistaavaa naputtelua, joka pitää kuitenkin tehdä tarkasti, eikä IDE/kääntäjä/linter auta siihen yhtään.

export const MyComponent = (): ReactElement => {
  return (
    <View>
      <Field label='Name' setter={setName} />
      <Field label='Email' setter={setEmail} />
      <TextBox label='Message' setter={setMessage} />
      <Checkbox label='I am a human' setter={setIsHuman} />
      <Button label='Send' type='submit' />
    </View>
  );
}

Niin Copilotilla ensin kirjoitat komponentin sisälle:

const [nam

Siis pelkästään tuo teksti, joka katkeaa kesken. Sen jälkeen se osaa automaagisesti tarjota koko heela settiä valmiiksi ja vieläpä oikein tyypitettynä, vaikkei tuossa ihan suoranaisesti viitata mitenkään mikä on sopiva tyyppi:

Generoi sen tälleen (livetapauksessa käytti vieläpä meidän sisäisiä custom-tyyppejä oikein eli se myös jotenkin tutkii muuta koodia projektin sisällä):

export const MyComponent = (): ReactElement => {
  const [name, setName] = useState<string>('');
  const [email, setEmail] = useState<string>('');
  const [message, setMessage] = useState<string>('');
  const [isHuman, setIsHuman] = useState<boolean>(false);

  return (
    <View>
      <Field label='Name' setter={setName} />
      <Field label='Email' setter={setEmail} />
      <TextBox label='Message' setter={setMessage} />
      <Checkbox label='I am a human' setter={setIsHuman} />
      <Button label='Send' type='submit' />
    </View>
  );
}

Toki siihen se ei taivu, että tarjoaisi vielä noiden esim. useState importtausta. Mutta se taas on mihin linter pystyy (klik + cmd + . → add import from…)

Ihan näppärä “arjen ajansäästäjä” :slight_smile: Mutta ei nyt ehkä niin tajunnanräjäyttävää, että voisi maksaa siitä :wink:

10 tykkäystä
691

GitHubin analytiikan perusteella ~30% copilotin ehdotuksista hyväksytään. Oletetaan että ehdotetun koodin oikeellisuuden tarkastamiseen menee puolet siitä ajasta mitä saman koodin kirjoittamiseen menisi → tuottavuus paranee 15%. Aika nopeasti on se $10 kuukausimaksu kuitattu… :wink:

No, todellisuudessa tuottavuus tuskin ihan noin radikaalisti paranee, mutta jo 1% parannuksella tuo $19/kk/hlö mitä se yrityksille maksaa on aika no-brainer sijoitus ainakin työnantajan näkökulmasta.

4 tykkäystä
692

Joo, ehkä tietynlaisessa se auttaa. Mutta vielä ei oikein mikään AI taivu sitten niihin oikeasti hankalampiin juttuihin, joissa ei käsitelläkään yhtä tiedostoa tai toimintoa, vaan vähän laajempia ominaisuuksia, joka kattaa monta eri osa-aluetta koko sovelluksesta (esim. Reactissa Context/Redux/Zustand tai vastaava + pääkomponentti+lapsenlapset + niille toimivat e2e-testit, tai sitten AWS-infran generointi uudelle ominaisuudelle, mukaan lukien Lambda-funktion koodi ja autentikointi, ja sopivan DynamoDB-skeeman generointi jne). Sitten kun sellainen kokonaisuus onnistuu, alkaa AI olla jo itselle mullistava lisätyökalu työn helpottamiseen :slight_smile:

2 tykkäystä
693

Meneehän siihenkin koodin lukemiseen aikaa mitä ei sitten hyväksykään. Näitä tapauksia on kuitenkin 70%.

1 tykkäys
696

AI-buumin alkuhuuma näyttää jo hyytyneen, mutta kehitysvauhti on edelleen kova.

Kielimallit saavat myös selvästi inhimillisiä piirteitä. Ex-Twitterissä Llama 2 70B pärjäisi jo varsin mallikkaasti.

Edit. Tähän sopii vielä toinenkin…

6 tykkäystä
699

Voi olla, että oikea Arska ärähtäisi, jos Inderes menestyisi käyttämällä Vernerin Vartissa Arskan ääntä ja tämä saisi kuulla siitä. :blush:

Arskan brändi!

Nih

700

Aloitin opinnot pitkänajan jälkeen ja enää se esseiden kirjoittaminen ei ole niin pakkopullaa, kuin ennen. Tekoäly laatii essee pohjat nopeasti, ja suomeksi. Pääsee tyhjän paperin kammosta. Kolmesivuinen essee stilisointeineen ja lisäyksinen valmiiksi alle puolen tunnin ja laatu huippuluokkaa. Ei ole aikaa vääntää esseitä, kun kokouksia viikko täynnä ja deadline alkoi uhata. Täysin uniikkia tekstiä, plagiatarism check tuli tehtyä. Mahtava apu. Myös SWOT-analyysi syntyi kivuitta.

7 tykkäystä
701

Eiköhän tuossakin suurin palkka tule oman osaamisen kasvamisesta. Hyvää koodia on netti pullollaan, mutta jos oma näkemys muodostuu pelkästään kopioinnista ja tekoälyn käytöstä, on oikeissa tehtävissä pian kuin peura pitkissä valoissa.

3 tykkäystä
703

Opintojen tarkoitushan on tosiaan täyttää checklist eikä suinkaan aivojen käyttäminen ja kognitiivisten prosessien muokkaus. Isot lihaksetkin saa treenaamisen sijaan pistämällä syntholia.

8 tykkäystä
704

Turha taistella kehitystä vastaan :slight_smile: Toki joudut itse tekoälyä käytettäessäkin hallitsemaan asiasisällön ja jäsentämään sen. Samat asiat sieltä suunnilleen tuli, joita olin pohtinutkin, lisäsin mukaan muutaman kansallisen piirteen ja lisäsin terästyksiä lainsäädäntöpuolelle.

Itseasiassa jos tarkkaan mietitään, lähes kaikki esseet ovat aikalailla kopiointia. Joudut ottamaan asiavitteet jostakin, kopioit ne ja liität omaan tekstiisi, onko silloin kyse enää omasta pohdinnasta? Lainailet lähteitä ja puet kirjoitukseksi omin sanoin. Jos taas et lainaa mitään mistään, niin aikalailla jonninjoutavaa jorinaa saat aikaan, joka ei kiinnosta ketään.

Tekoäly on jo työelämässä mukana ja on tärkeä taito osata hyödyntää sen tuomaa mahdollisuutta kehittää tehokkuutta. Omissa duuneissa sitä käytetään jo paljon, jotta saadaan enemmän suoritteita läpi ja asiakkaille edullisempia ja kilpailukykyisiä, mutta kuitenkin laadukkaita palveluja.

Voi vapaasti tehdä kaiken “käsin” ja jäädä jalkoihin. Ei sitä laskintakaan tarvitse käyttää, päässälaskua ja kynällä ja paperilla laskemista tulee jokaisen senverran osata :slight_smile:

7 tykkäystä
705

Tottakai koska kaikki muutkin ja kehitys ja ja ja. En usko hetkeäkään etteikö tekstin tuottaminen itse olisi kehittävämpää toimintaa kuin ”tekoälyn” peräkkäin asettelemien sanojen leikkaus ja liimaus.

Asiaviitteidenkin kanssa joudut perehtymään lainattuun tekstiin ja toivottavasti ymmärtämään lainatun pätkän lisäksi koko lähteen.

En kiellä etteikö tehokkuus varmasti lisäänny tekoälyn myötä ja vapauta aikaa johonkin tiktokin selailuun mutta esseetehtävässä (harjoitus) tuskin on ideana tuottaa joku tekele tehokkaasti vaan opettaa aivoja ajattelemaan, jäsentelemään ja tuottamaan.

Lasken muuten päässä kohtuullisen skaala prosentti- kerto ja jakolaskut huomattavasti nopeammin kuin porukka kaivaa puhelintaan esille :face_with_hand_over_mouth:

Varmaan väärä ketju toitottaa skeptisiä näkemyksiä, luulin että oltiin kaffehuoneessa :smile:

11 tykkäystä
706

Aikanaan jo opinnoissa ihmettelin jo, että miksi ihmeessä jokaisen oppilaan tulee hallita derivaatat, integraalit ja differentiaalit ja laskea niitä sivutolkulla ja käyttää asiaan puoli vuotta ja yksikin etumerkki väärin ja koko 8 sivuinen laskelma puihin. Miksi laskea käsin jos työelämässä kaikki tehdään koneella. Miksi ei suoraan kouluteta , miten käyttää tekniikkaa apuna ja vähemmän virheitä ja viedä osaaminen aina vaan korkeammalle. Hypätä kehittämään kehityksen huipulta koneiden avulla. Ei tuhlata resursseja paperilla laskemiseen, joka saattaa tiputtaa potentiaalista massaa pois kyydistä.

Black Box ajattelu eli ei kaikki keksitä pyörää uudelleen, vaan hyödynnetään jo saavutettu taso ja jatketaan kehitystä siitä. Tähän perustuu kaikki tieteen tekeminen. Ne tunnollisimmat pipertäjälaskijat, mitä olen kuullut, heistä tuli hyviä perussuorittajia, kun taas kehityspuolelle menivät poikkitieteelliset kaverit, jotka hyödyntävät tekniikan antamia mahdollisuuksia tehokkaasti. Tällainen on myös tekoäly, nostaa tyhjästä paperista tasolle X. josta voit jatkaa ja jopa keksiä uutta matkalla aina uusiin korkeuksiin. Tekoäly tuottaa välillä niin puutaheinää, että asia on toki osattava, mutta täyttää perusrutiinin tasolle X, josta voi jatkaa. Hyvä, että entistä useampi saa tekoälyä hyödyntämällä mahdollisuuden hypätä huipulle, kehittyminen vaatii massaa ja mitä useampi tekijä asiaa harrastaa, sen todennäköisempää on kehittyminen. Tekoäly tulee väistämättä kiihdyttämään kehitystä, vaikka muutosrintaa toki tulee olemaan, kuten kaikessa uudessa !

5 tykkäystä
707

Samaa mietin joskus itsekin 16-vuotiaana räkänokkana pitkän matikan tunnilla. Aika nopeasti se tarve selvisi ensin kaupallisissa opinnoissa mm. erilaisissa optimointitehtävissä ja myöhemmin tietoteknisissä opinnoissa esim. lukuisissa muissa sovelluksissa.

Opiskelun yksi keskeisiä funktioita on luoda kyvykkyys analyyttiselle ajattelulle. Tuon ajattelun ulkoistaminen tekoälylle tekee ihan vastaavia tuhoja kuin fyysisen suorituskyvyn ulkoistaminen koneille (mikä johtaa mm. lihavuuteen) tai laskukyvyn ulkoistaminen laskimelle (monella on uskomattomia ongelmia suoriutua ihan alakoulun aritmetiikasta).

15 tykkäystä
708

Ehkä olennaista on oppia toimimaan tekoälyn kanssa, se on tullut jäädäkseen. Itse tehostin opiskeluaikani suorituksiani koneiden avulla, tuloksena täydet pisteet mm. fys, kem, mat eikä vaikuttanut analyyttiseen ajatteluun. FEM analyysit tein miellään suoraan mallinnuksista, vaikka en koskaan niitä käsin laskenut. Perusstatiikan ja mekaniikan teoriat toki hallinnassa. Vaikka en käsin laskenut, olen ollut aina se, joka on vienyt yrityksiä uudelle tasolle koneiden voimalla. Koneita tulee osata käyttää, sitä tulisi opettaa. Me vanhat jääräthän kiellettäisiin internetin käyttö kokonaan, sillä kun minä olin nuori, luettiin kirjoja, kun muuta ei ollut. Nykynuoriso ei edes osaa lukea, ei keskittyminen riitä kirjan lukemiseen. Kehitys kehittyy, turha vastustella siis…

2 tykkäystä
709

Niin siis, kyllähän tekoäly on parhaimmillaan oppimista tehostava ja syventävä työkalu. Tähän tarkoitukseen käytän sitä itsekin lähes päivittäin. Siltä voi esimerkiksi saada kätevästi konkreettisia esimerkkejä abstrakteihin käsitteisiin tai sillä voi testata omaa tietämystään opiskeltavaan aihepiiriin liittyen.

Sen sijaan kuvaamasi käyttötapa, jossa kokonaiset oppimistehtävät (kuten esseiden laadinta) tai perustyökalut (kuten algebran perusmenetelmät) sivuutetaan tekoälyn avulla, on kyllä takuuvarma tapa pitää huoli siitä, etteivät opetukselle ja oppimiselle asetetut tavoitteet tule saavutetuksi.

Kaikki kehitys ei ole hyvää kehitystä. Esimerkiksi se, että kirjoitus-, luku- ja laskutaito rapistuu vuosi vuodelta ja ihmisten fyysinen suorituskyky katoaa, ei ole kehitystä vaan taantumusta.

11 tykkäystä
710

Ihan mielenkiintoinen väite. Omalla kohdalla tuo ei ainakaan toteudu. Juuri opetin omalle tyttärelleni lukion laajaa matikkaa vanhasta muistista vuosituhannen vaihteen opeilla, opetin sekä matemaattisen perusfilofian, että miten asioita oikeasti ratkotaan. Ei ole laskutaito, ei lukutaito, eikä se fyysinen aktiivisuuskaan kärsinyt. Aina löytyy jääriä, joiden mielestä kaikki kehitys on pahasta ja hoetaan kuvatunlaisia idiomeja, sitten löytyy toisia, joiden mielestä tekniikka tulee valjastaa hyötykäyttöön ja tehostaa tekemistä ja kiihdyttää kehitystä. Muistan kun navigaattorit tulivat, niin paljon kohkattiin, että navigaattorit tyhmentävät ihmistä, luontainen suunnistaito ruostuu, no herää kysymys, tuleeko kaikkien ihan välttämättä osata suunnistaa. Historiassa moni neroksi luokiteltu ihminen ei aina ole osannut edes kotiovelleen :slight_smile:

Absoluuttisesti kumpikaan ei varmasti ole oikeassa, vaan käytännön totuus löytynee jostain välimaastoista. Täällä huomaa hyvin, mikä on muutosvastarinnan voima. Tekoäly on jo täällä, eikä sitä enää voi pysäyttää, parempi vaan sopeutua ja käyttää sitä viisaasti. Joku perusesseen kirjoittaminen tekoälyllä ei varmasti tyhmennä ketään. Esseen elementit tai osiot tulee kuitenkin olla omassa päässä, jotta asiasisällön voi tarkistaa. Tekoälyllä voit päästä alkuu esim. miellekartoissa, jotka laaditaan ennen kirjoitusvaihetta, saadaksesi aikaan loogista, moniulotteista ja montaa eri näkökulmaa sisältävää pohdintaa. Samanlainen sparraaja se tekoäly voi olla, kuin kaveri, jolla testaat laatimaasi tekstiä.

Kaikki kehitys ei ole hyvää kehitystä. Esimerkiksi se, että kirjoitus-, luku- ja laskutaito rapistuu vuosi vuodelta ja ihmisten fyysinen suorituskyky katoaa, ei ole kehitystä vaan taantumusta.

Siinä olen samaa mieltä, että jos katselee ennen sota-aikaa ja sen jälkeen tehtyjä elokuvia, niin silloin miehet olivat teräsvartaloisia, hoikkia, lihaksikkaita ja sitkeitä verrattuna nykyajan pullamössö kaljamahoihin. Nyt 75 % suomalaisista on ylipainoisia. Voiko väite lihavuuden ja teknisen kehityksen korrelaatiosta sittenkään pitää paikkaansa, sillä tutkimusten mukaan kolmannes Suomen 7-vuotiaista ylipainoisia. Onko kehitys jo heidätkin ehtinyt pilata? ja voiko asialle ihan oikeasti mitään.

Voiko vaatia, että kaikki koneet ja muut tekniset laitteet kiellettävä ja tilalle agraarisen yhteiskunnan elämäntapa. Hiihdetään kouluun kesät talvet ja aikuiset tekevät metsätöitä metsäkoneen sijaan ja vaikka olisikin sitämieltä että kyllä, niin onko moinen ajattelu realismia vai pitäisikö vain sopeutua muutokseen. Kuvaamasi ongelmat ovat osa evoluutiota, heikot karsiutuvat ennenaikaisesti ja sopeutuvat menenestyvät. Itse urheilen, syön terveellisesti ym. ihan tekniikan tukemana. Saliohjelman luonut ja sitä päivittää tekoäly. Joka-aamuiset 15 mittauksen ohjelmat suorittaa kone ja vie pilveen, jossa tuloksia analysoidaan. Ruoka-aineita ja kaloreita laskee tekninen ohjelma ja tulokset erinomaisia. Treenattu ja kaikinpuolin hyvinvoiva tekniikan hyödyntäjä.

Itse väitän, että tekniikan hyödyntäminen kiihdyttää kehitystä ja varaa resursseja luovaan ajatteluun rutiinien pyörittämisen sijaan ja realistina totean, että vaikka kuinka moititaan tekniikan ajavan ihmistä turmioon, mikä on realistinen vaihtoehto? Vaikeaa on kehitystä pysäyttää, jos pyörä on jo liikkeellä, olisiko parempi oppia elämään uuden kanssa, muuttaa pedagogiikkaa uudet teknologiat huomioivaksi.

4 tykkäystä