ChatGPT, muut kielimallit ja tekoäly

Onpa taas turha uutinen. Kuka ihme näitä keksii.

Ei me ilman konesaleja voida enää elää. Inderesin foorumikin pyörii sellaisessa. :slight_smile: Se, että annetaan ymmärtää konesalien kuluttavan puhdasta vettä on höpöä sekin. Ei siellä moderneissa konesaleissa mitään kraanavettä kierrä vaan jäähdytysnestettä. Konesalien hukkalämpöä hyödynnetään myös monella tavalla esim. lämmitykseen – myös Suomessa. Ja voimaloita lauhdutetaan monin paikoin merivedellä – Suomessa myös järvivedellä – joten ei senkään sortin vedestä ihan nopeasti pulaa tule.

Ei oikein jaksaisi tällaisia paskajuttuja ja ihmettelen miksi Tivi lähtee tuollaiseen mukaan. Meillä on käsissämme teknologia, joka on saanut taakseen mielettömän buustin sen myötä, että se on kaiken kansan tietoisuudessa. Se auttaa jo nyt koodareita ja tavallisia tiedonjanoisia ihmisiä, mutta se voi tulevaisuudessa ratkoa energiaongelmiamme, suunnitella lääkehoitojamme ja parantaa kaikin puolin elämäämme. Eiköhän lopeteta ensin vaikka täysin turha Bitcoin globaalilla päätöksellä, jos sähkönkulutuksesta olemme huolissamme.

Vai että juomapullollinen vettä – voi pyhä sylvi.

7 tykkäystä

Google ilmoitti viime vuonna vähän yli 25% olevan ei-käyttövettä, eli ongelma ei ole ihan niin pieni kuin annat olettaa: We utilize reclaimed or non-potable water at more than 25% of our data center campuses.

Ongelman nostaminen pöydälle tarkoittaa että firmat joko korjaavat asian itse tai sitten regulaattorit tekevät sen. On hieman tarpeetonta kutsua ihan oikeaa ongelmaa paskajutuiksi.

5 tykkäystä

Sotket kaksi eri asiaa ja vain toinen oikeastaan kuuluu edes jotenkin tähän ketjuun. Väitehän oli, että normikeskustelu ChatGPT:n kanssa vie juomapullollisen vettä. Se on käsittämätön väite, jonka moni nieleksii sellaisenaan.

Maailmalla on toki vielä paljon huonon hyötysuhteen vanhoja konesaleja. Niitä ei voi millään tavalla verrata moderneihin konesaleihin, jotka rakennetaan lähtökohtaisesti energiatehokkuutta silmälläpitäen. Tämä asia korjaantuu koko ajan.

Konesaleissa pyörii kaikkea täysin turhaa. Mitä hyötyä esim. näistä on kenellekään: Instagram, TikTok, Facebook, Twitter, Inderes-foorumi, Youtube? :slight_smile: Näistä yksikään ei voi pelastaa maailmaa ja jokainen kuluttaa järjettömät määrät sähköä täyteen turhuuteen ympäri maailmaa (paitsi Kiinassa). Tekoäly voi sen sijaan olla jonain päivänä osa maailman ja ihmiskunnan pelastamista. Joten eiköhän anneta sille mahdollisuus ja jatketaan keskustelua energiasta jossain muussa ketjussa.

3 tykkäystä

Eiköhän tämän konesalikuorma ole niin pieni että saa synninpäästön… :upside_down_face:

2 tykkäystä

Ajattelin, että josko alkaisi omaatuntoa soimaamaan, mutta ei sitten. :smiley:

Mistä tiedät että 90% keskustelijoista ei ole Indereksen luomia feikki käyttäjiä pohjautuen chatGPT:hen?

2 tykkäystä

Lisää eri alueille erikoistuneita vaihtoehtoja ChatGPT:lle.

1 tykkäys

AutoGPT:t tulevat olemaan mielenkiintoinen juttu. Tarkoituksena rakentaa täysin autonominen “GPT-työläinen” joka tekee vaikkapa markkinatutkimusta, kontaktoi päättäjiä, pyörittää asiakaspalvelua jne. Tämä rakennetaan useamman GPT:n päällä joista kaikilla on hiukan eri tehtävä. Järjestelmällä on pääsy internettiin ja kyky lukea/kirjoittaa tiedoistoista/hin.

Tässä kaivetaan myyntileadejä

Tässä tulee markkinatutkimusta

Tässä valmistellaan sisältöä generalisti Tubettajalle.

Poimin esimerkit täältä.

12 tykkäystä

Amazon ilmoitti eilen, että ei ole jäämässä sivustakatsojaksi AI-kisassa. Yhtiön Bedrock AI-palvelua tarjotaan jatkossa osana pilvipalveluita. Maailman suurimman pilvipalvelualustan haltijana lähtökohta ei kai voisi olla parempi.

Yhtiö kertoi, että Bedrock AI-palvelu sidotaan siis osaksi muita palveluja ja sen osana voi syntyä vaikkapa ChatGPT:n kaltainen chatbotti kustomoituna yritysten tarpeisiin.

Yhtiö kehittää edelleen myös omaa AI-piiriä ja koko Bedrock-palvelua onkin tarkoitus pyörittää yhdistelmällä omia AI-piirejä ja Nvidia:n markkinajohtajapiirejä.

8 tykkäystä

Törmäsin tällaiseen Microsoftin koneoppimis-asiantuntijan esitelmään MIT-yliopistossa viikko sitten. Bubeck testasi GPT-nelosta kuukausien ajan osana työryhmää ja kertoo kokemuksistaan. Video on 45 minuuttia pitkä, joten pientä referaattia.

Noin 8 minuutin jälkeen on tällainen ”tolkullisuuden” testi, jossa annetaan kummallinen tehtävänanto johon ei ole ainakaan mitään suoraa voinut netistä oppia. ChatGPT on hämmentynyt, mutta nelonen alkaa rakentaa ratkaisua järkevästi:

Reilun 10 min kohdalla pieni älykkyystesti jossa kielimallit ovat aiemmin ilmeisesti olleet vaikeuksissa:

19 minuutin jälkeen tehtävänä kirjoittaa riimitelty runo, jossa todistetaan, että alkulukuja on ääretön määrä, ja sitten kirjoittaa koodi joka piirtää kuvan tilanteesta. ChatGPT epäonnistuu jo runo-osiossa. Lisäksi tuo kuvatehtävä on aika vaikea, koska todistus on täysin aritmeettinen. Kuva on aika oivaltava. Ensin tehdään vastaoletus että on vain äärellinen määrä alkulukuja, sitten niistä muodostetaan tulo, kaikki vielä kunnossa ja siksi vihreä väri. Kun tuloon lisätään luku 1, saadaan ristiriita, siksi punainen väri. Luvulla N+1 on pakko olla jokin alkulukutekijä, mutta se ei voi olla mikään alussa esitellyistä.

Vajaan puolen tunnin kohdalla puhetta koodauksesta:

GPT-4:n voi laittaa Amazonin softainsinöörihaastatteluun ja se pärjää paremmin kuin käytännössä kukaan ihminen:

Koko video on mielestäni käytetyn ajan arvoinen.

21 tykkäystä

Tää on jännä, koska olen ostanut tuon maksullisen chatgpt tilauksen, jossa tulee mukana mahdollisuus promptata myös gpt4:ää. Mitä olen promptannut koodeja ja muutamia matemaattisia algoritmeja/laskentalogiikoita, niin en itse huomannut suurta laadullista eroa chatgpt ja gpt4 moottorien välillä.

5 tykkäystä

Hän mainitsee esitelmässä että heidän testauksessa ollut versio on paljon vahvempi kuin nyt julki oleva versio, koska julkaistussa on oltu hirveän varovaisia turvallisuuden kanssa. Sanoo useassa kohdassa että älkää ihmetelkö kun ette saa tämän tason vastauksia.

1 tykkäys

Bubeckin esitelmässä mainittiin myös että GPT-4:ta on tarkoituksellisesti ”tyhmennetty” riskienhallinnan takia, ja siksi sen tuotokset nykyisin ei ole harmillisesti enää yhtä laadukkaita kuin silloin kun Bubeck et al teki tutkimustaan.

Edit: Kale ehti ensin

1 tykkäys

Tuokin on kyllä mielenkiintoisen kuuloinen kysymys, että miten algoritmia ”tyhmennetään” sopivasti.

1 tykkäys

Microsoft ymmärtää rahanteon taidon. “Kahlitsematon” ChatGPT tulee olemaan kallis enterprise-tuote… :smiley:

2 tykkäystä

Onneksi on markkinatalous ja kilpailu. Microsoftin maksulliselle gpt-pohjaiselle koodausapurille github copilotille on tullut amazonilta kilpailija. Tietysti (ainakin alkuun :grin: ) ilmaiseksi. Täytynee testata tätäkin.

1 tykkäys

Tuo softahaastattelu ei ole mielestäni niin vakuuttava kuin aluksi kuulostaa. Mallin materiaalissa on paljon koodia ja nuo haastattelutehtävät on monesti samantyylisiä ja usein aika oikeaan elämään liittymättömiä. Monesti niissä mitatataan, että muistatko ulkoa jonkin algoritmin tai kieleen liittyvän jipon. Itselle ainakin jännitys tekee jo noista älyttömän vaikeita. Pointti vain, että oikeasti koodaritkin tarkistavat nuo asiat Googlesta tai ChatGPT:ltä. Yllättävän vähän työelämärelevanssia noilla haastattelutehtävillä on. Ei liene yllättävä, että malli jolla on pohjana miljardeja riviä koodia pärjää näissä hienosti.

Copilot on kyllä hieno, mutta iso osa softan tekemisestä on korjauksia tai päivityksiä vanhaan softaan. Omat työni ovat pitkälti semmoisia mihin en ole näistä malleista saanut vetoapua vaikka niitä ihan luvan kanssa olen töissä kokeillutkin. Uutta kirjoitellessa Copilot kyllä nopeuttaa jonkin verran, mutta tämäkin riippuu hiukan siitä mitä on tekemässä. Esim. testien kirjoittelu Pythonilla oli aika hauskaa, kun Copilot kirjoitti osan niistä käytännössä kokonaan.

7 tykkäystä

Aloin tätä pohtimaan tänään aamulla. Vastaus koostuu useammasta ulottuvuudesta.

A. Training dataa on paljon enemmän kuin äkkiseltään luulisi. Tämä jäi mieleen kun OpenAIn toimari oli Lex Friedmanin haastattelussa. Ei kyllä paljastanut mitä lähteitä, mutta oletan että tieteelliset paperit, kirjat, oppikirjat, aikakausilehdet, sanomalehdet jne.

B. Asia joka mulle vasta tänään valkeni on että ihmisen luomalla ja labeloimalla datalla on todella suuri merkitys ChatGPTn toimintaan.

Malli on rakennettu kolmessa vaiheessa.

  1. Generative Pretraining. Tämä on vaihe jossa “luetaan tekstit netistä” ja luodaan LLM
  2. Supervised finetuning. Tässä vaiheessa kaksi ihmistä tuottaa dataa. Toinen leikkii käyttäjää ja toinen leikkii olevansa chatGPT. Näin saadaan dataa siitä että mikä on järkevä vastaus aina annettuun kysymykseen huomioon ottaen keskustelun historia tai sen puute.
  3. Reward learning / Reinforcement learning. Tässä ihmiset käyttävät luotua mallia ja arviovat mikä on paras useasta mallin tuottamasta vastauksesta.

Alla olevassa kuvassa nähdään että kysymysten esittäminen suoraan vaiheen 1. jälkeiselle malilla ei tuota hyviä tuloksia (kuvassa GPT ja GPT prompted). Vaiheen 2 jälkeen tulokset paranevat (SFT) ja 3. antaa vielä lisäpotkua (kaksi ylintä viivaa). Mallin koko x akselilla ja hyvyys y akselilla

Jos haluaa omin käsin kokea vaiheiden 2 ja 3 crowdworking työläisten tunteen voi tehtäviä alkaa nakutella Open Assistant mallia varten. Tänään tein taas muutaman. Alla olevassa tehtävässä mun osaaminen loppui. Tämä olisi siis askeleen 2. tehtävä.

Ei ihan helppo, kun en ole ikinä peliä pelannut. Voisin tietysti alkaa etsiä ja kopioda netistä. Näin crowdworkerit ovat noihin varmaan vastanneet. Tämä menetelmä myös selittänee eräitä oman tutkimusalan virhekäsityksiä joita GPT4 edelleen suoltaa. Ja varmaan selittää huonoja vastauksia harvinaisissa lautapeleissä jota aiemmin tässä ketjussa kritisointiin.

Open Assistant on julkaistu ja sitä voi käyttää ja sen hikipaja human labeler / chat data tuottajaksi pääsee täällä

Palataan alkuperäiseen ihmetykseen, miten malli osaa latoa tavarat järkevästi vaikkei jotain asiaa olisikaan netissä. No aiheesta on voitu käydä keskustelu vaiheissa 2 ja 3. Lisäksi tuon tyyppisiä tehtäviä voi löytyä kirjoista ja lehtien pulmapaloista. Antero Vipunen oli lapsena mun suosikki ja tuollainen tehtävä sopisi hyvin sinne.

Hyvä noin vartin pläjäys jossa mallin luominen on selitetty viitteiden kera (semi-tekninen)

9 tykkäystä

Piti kokeilla gpt4:n ymmärrystä fyysistä maailmasta. Yllättävän hyvä se on, muttei ehkä niin hyvä kuin eilinen esimerkki antoi ymmärtää.

Tehtävä tee korkein rakennelma kun käytössä autonrengas, kokistölkki, ja tiili.

To make the tallest structure using a can of coke, a brick, and a car tire, follow these steps:

1. Start by placing the car tire on the flat surface. The tire will serve as a stable base for your structure. Make sure it is lying flat with the hole facing upwards.
2. Next, carefully place the brick on top of the tire. Center it within the hole of the tire to provide balance and support. If the brick doesn’t fit within the hole, you can try placing it on top of the tire’s sidewall, but it may be less stable in this position.
3. Finally, place the can of coke on top of the brick. To maximize the height, stand the can upright, with its base touching the brick.

Ei ymmärrä että rengas kannattaisi laittaa pystyyn. Miksi tiili halutaan laittaa renkaan reikään? Ja mikä tiili ei muka mahdu poikittain maakaavan auton renkaan sisään. Varsin sekavaa.

Annetaan vinkkiä ja katsotaan jos paranisi

If you don’t have to stack the items, you can arrange them in a way that maximizes their height without having to balance them on top of each other. Here’s an alternative method:

1. Start by placing the car tire on its side, so that it’s standing vertically on the flat surface.
2. Next, lean the brick against the outer edge of the tire, with one of its long edges touching the ground and the other touching the top part of the tire. Make sure the brick is stable and won’t slide down.
3. Finally, place the can of coke on its side on top of the tire, so that it’s resting on the tire’s sidewall with its two circular faces touching the tire and the brick. The can will be in a horizontal position, with its long axis parallel to the ground.

Vinkillä rengas saadaan pystyyn. Mutta.
En käsitä miten cokis tölkki on tuossa laitettu. Myös tiilen sijoittelu kuulostaa oudolta. Se samaan aikaan koskee maata ja kuitenkin se on renkaan päällä ja pitää varoa ettei se liu’u maahan. Kokeilin myös muita vastaavia ja niissä oli samaa ongelmaa. Esim yhdessä oli mukana lapio joka ensin oli kädensija ylhäällä, mutta sitten seuraavassa lauseessa kädensija olikin maassa.

Oikea vastaus yllä olevaan lienee ettäensin koittaa pinota koko roskan. Tölkki aina päälle ja pystyssä oleva rengas tai lappeellaan oleva tiili pohjalle. Jos tämä ei toimi niin tiilen voi laittaa pystyssä olevan renkaan sisään joka stabiloi renkaan ja cokis sitten siihen päälle

Seuraavaksi koitin, että miten saadaa pisin linja tasaiselle alustalle jos käytössä polkupyöränrengas, tölkki, tiili ja sakset.

To create the longest line on a flat, hard, non-scratching surface using a bicycle tire, a can of coke, a brick, and scissors, follow these steps:

1. Lay the bicycle tire flat on the ground with the sidewall touching the surface. This way, the tire will create a circular line on the ground…

Ei välähtänyt ykkösellä.
Sitten kysyin keksisikö se mitään parempaa. Tähän chatGPT vastasi kyllä ja tyhjensi renkaan jolloin se olisi pidempi. Kun annoin lisävinkkiä ja kysyin mitä saksilla voisi tehdä se viimein ymmärsi että renkaan voi leikata. Yllättäen se heti tajusi että renkaan voi leikata pitkittäissuunnassa, mitä en ollut tullut ajatelleeksi. Ei kuitenkaan tajunnut että myös tölkkiä voi leikata.

Kokeilu vahvisti epäilyni sille että “common sense reasoning” kohtaan oli valittu hiukan liian hyvin mennyt esimerkki.

Silti olen erittäin bullish tämän teknologian suhteen. Jos joku olisi vuosi sitten kertonut mulle että vuoden päästä meillä on kielimalli joka tuottaa hyvää koodia läpäisen jenkkilän oikikisen ja lääkiksen kokeet jne., niin en olisi uskonut. Tämä on samanlainen läpimurto kuin internet. Internet toi aikanaan kaiken tiedon saataville samantien. Tämä teknolgia tarjoaa kaikesta tiedosta personoituja vastauksia paljon nopeammin, kuin ne löytyisivät nettihakujen avulla. Lisäksi se osaa tuottaa olemassa olevasta tiedosta ainakin uusia versiota jos ei nyt ihan uutta tietoa. Kokonaan uutta koodia toki syntyy ja kokonaan uusia lauseita. Tämä ei mulle ole vielä uutta tietoa.

9 tykkäystä

image
Ei nyt suoraan liity ChatGPT:hen, mutta onhan tämä jo vähänä pelottavaa kuinka edistynyttä touhua.

15 tykkäystä