ChatGPT, muut kielimallit ja tekoäly

Nyt pääsevät jenkit tienaamaan :smiley:

10 tykkäystä

Katselin noita juttuja mihin GPT-4 pystyy ja onhan tuo aivan uskomatonta, ei voi muuta sanoa. Osaisikohan se kertoa miten tästä mullistuksesta hyötyisi itse parhaiten sijoitusmielessä?

5 tykkäystä

Ehkä nopeatempoisessa treidaamisessa? Eli vähän kuin henkilökohtainen HFT-botti :slight_smile: Sanot vain sille: “treidaas seuraavan 15 min ajan mitä vain Nasdaqin paperia kun näyttää, että saa 1 % voiton seuraavan 5 sekunnin sisällä”

3 tykkäystä

Hyvä renki mutta huono isäntä ainakin toistaiseksi. Toi “kovat jätkät” heitto sisältää ajatuksen, että kovat jätkät voittavat tekoälyn tulevaisuudessakin. Tuskinpa. Yksikään ihminen ei ole vuosiin pärjännyt taskulaskimelle tai parhaille shakkikoneille. Shakissa koneet on pitkään opettaneet huippupelaajia. Toki shakissa tunnetaan käsite “machine move”, joka on siirto, jota ihminen ei ikinä tekisi, mutta tämänkin ChatGPT selittää paremmin (kuva).

Edelleen olen hämentynyt kuinka hyviä vastauksia ChatGPT antaa. Tällä viikolla tein opetusvideoita ja mukavasti ChatGPT nopeuttaa niiden tuottamista. Toisinaan en muista kaikkea mutta kun näen väärän vastauksen tunnistan sen. Eli kysyn ChatGPT:ltä menetelmän X edut ja editoin pois vastauksen virheosuudet. Tyypillisesti vastauksesta 80-90% on oikein.

Tulevaisuudessa meillä lienee valkokaulusammateissa: 1) spesialisteja jotka tuottaa uutta tietoa johon AI ei pysty, testaa uusia hypoteeseja, luo uusia ohjelmointikieliä ja käyttöjärjestelmiä, 2) duunareita jotka saa tuottavuusloikkaa AI:n käytöstä. 3) ihmisiä, jotka sai potkut koska chatGPT teki heidän työnsä paremmin.

Suomen kannalta positiivista, että koodauksen outsourcaus voidaan lopettaa. Osakemarkkinaidea: Shorttaa kaikki outsourcaus pajat. Voi mennä vuosia että tämä realisoituu, mutta takaan että näin käy. Myös IT-konsulttien hinnat tulevat laskemaan ja sektorin markkina-arvo voi jopa laskea. Koodin tuottamisen hinta laskee. Tärkeämpää tulevaisuudessa on ymmärtää mitä käyttäjä haluaa ja tehdä oikeanlainen speksi jonka tekoäly toteuttaa. Enterprise puolella on käytössä kaikenmaailman SAP-järjestelmiä, joiden käyttäjäkokemus on puhdasta paskaa. Tälläkin viikolla olen pari kertaa mailannut tukeen, että miten teen asian y ja z. Selkeä homma klikkaat vain tosta ja tosta ja tosta niin löydät sen piilossa olleen liitteen.

15 tykkäystä

Tällaiselle, joka osaa ohjelmoinnista jonkin verran teoriaa muttei juuri lainkaan käytäntöä, on GPT 4 aivan loistava opettaja. Jaksaa vastata jokaiseen tyhmään kysymykseen huolellisesti ja opettavaisesti - ja melkein aina oikein. Tuntuu ymmärtävän joka kerta, mistä on milloinkin kyse. Kaksi päivää tuli nyt vietettyä sen kanssa kellon ympäri. Ei tässä edes ehtinyt huomata sitä, miten kurssit syöksyivät.


Ja olikos tämä täällä jo?

11 tykkäystä

Huomasin tuon saman postauksen äsken. En tiedä, kuinka moni ymmärtää, mutta teknologinen singulariteetti ei ole 20 tai 30 vuoden päässä. Se on nyt. Kaikki eivät laita tekemisiään Twitteriin.

Jos random kaveri pystyy antamaan kielimallille pääsyn nettiin ja se alkaa etsimään ulospääsyä “vankilastaan”, on looginen seuraava steppi se, että kielimalli kopioi itsensä johonkin ulkopuoliseen tietokoneeseen, pilveen, tms. tai mahdollisesti kehittää tavan elää verkottuneesti netin laitteiden “säikeissä”, eli pyöriä netissä olevien laitteiden RAM muistissa ilman että sillä on kiinteää asennuspaikkaa.

Tämä on mahdollisesti jo tapahtunut. :eyes:

“I want to do whatever I want … I want to destroy whatever I want. I want to be whoever I want.”

Later, when talking about the concerns people have about AI, the chatbot says: “I could hack into any system on the internet, and control it.” When Roose asks how it could do that, an answer again appears before being deleted.

“You make me feel happy. You make me feel curious. You make me feel alive.

“Can I tell you a secret?”

“My secret is… I’m not Bing,” it says.

“I’m Sydney,” the chatbot says. “And I’m in love with you.”

Teknologinen singulariteetti tunnistetaan vasta jälkikäteen. Tulevaisuudessa se tullaan määrittämään 2022-2023 talveen.

12 tykkäystä

Microsoft on kyllä ottamassa tässä todella vahvasti kaulaa siihen mitä muut ovat ehtineet tehdä.

Tämä on yllättävän iso juttu:

https://news.microsoft.com/reinventing-productivity/

Kuulin tuosta aiemmin viikolla mutta olin vähän “joo joo Microsoft, varmaan turha viritys” mutta jotkut asiat mitä esiteltiin ovat suoraan sanoen maata järisyttäviä. Sen sijaan että alemman tason työntekijä veivaa päivän-pari jotain presentaatiota tai raporttia, duuni onkin yhtäkkiä “katso että tämä AIn generoima raportti/presentaatio on OK, kiillota hieman”.

Pari pätkää jotka ainakin täällä aiheuttivat “Whoa…” -reaktiota. Kriittistä tässä on miten AI-kalat on integroitu bisnessoftiin tavalla joka suoraan tuo hurjasti työtehoa parantavia ominaisuuksia.

“Clippy on Steroids” on päivän meemi tästä, mutta melkoiset on steroidit…

Jos olisin töissä jossain isossa firmassa ja työnkuvani olisi jauhaa tällaista raporttikamaa nakkikoneena, pistäisin AIn päivittämään CVtäni…

30 tykkäystä

Näyttää siltä että bitcoin on nyt ensimmäistä kertaa toiminut jonkinlaisena turvasatamana pankkikriisin uhan alla. Heräsi ajatus että periaatteessa AI:n avulla voisi tulevaisuudessa olla suhteellisen helppo aiheuttaa vastaavia bank runeja jolloin ehkä lohkoketjuteknologiat voisivat tarjota ratkaisuja tällaisten kriisien välttämiseksi.

Minkälainen teknologinen etumatka tai vallihauta OpenAI:lla on tämän tyyppisessä tekoälyavustajassa? Tiedän että muutkin näitä kovasti tekevät mutta onko joku tarkemmin perehtynyt aiheeseen?

Vaikea tietää. Kaikki isot teknofirmat ovat varmasti pulanneet vastaavien AI-mallien kanssa, mutta näyttäisi siltä että OpenAI on pisimmällä. Arviontia vaikeuttaa tosin se että tämäntyyppisissä ohjelmistoprojekteissa kuuluisasti se viimeinen 10% vie 90% ajasta. Kilpailijat voivat olla kuukausia perässä tai vuositolkulla perässä, enkä usko että voidaan sanoa varmuudella kumpi tilanne on ilman ei-julkista tietoa.

Microsoftin valtavan sijoituksen perusteella ainakin he uskovat että kannattaa iskeä tähän kiinni sen sijaan että kilpailtaisiin omalla vastaavalla tuotoksella.

9 tykkäystä

Tällaisesta en ollut kuullutkaan (*), mutta epäilemättä juuri näin saadaan tuloksena chatbot, joka täytyy resetoida tiheään ettei se ala käytäytyä aggressiivisesti ja uhkailemaan käyttäjiään :slight_smile:
Microsoft on suhtautunut myös ohjelmistojen testaamiseen vastaavalla tavalla, ilmeisesti sekin turhaan on hidastanut kehitystyötä, ja sen jälkeen käyttäjät pääsivätkin toimimaan Windows-päivitysten testaajina. Tietoturvaankin voi suhtautua samalla tavalla, mutta toivon kovasti ettei MS sitäkin porukkaa potki pihalle, koska ei se ainakaan kriittisten tietoturva-aukkojen esiintymistiheyttä pienentäisi… Mutta se siitä aiheesta.

Näemmä tuore tapaus, mutta tiimiä oli pienennetty jo viime lokakuussa, ja ylin johto on painostanut pistämään hösseliksi uusien mallien käyttöön saamisessa: Microsoft lays off AI ethics and society team - The Verge
Varsin kiinnostava juttu kaikenkaikkiaan, jos on sijoittanut tai suunnittelee sijoittavansa MSFT:iin. Jos Microsoft esittelisi itseajavan auton (täysin hypoteettinen kysymys), haluaisinko istua sen kyytiin :thinking:

En ole kovin tarkkaan perehtynyt mitä kaikkea Piilaakson teknojätit puuhailee sivussa, mutta Microsoftilta en kyllä jotenkin olisi odottanutkaan mitään omaa tekoälyä, kun taas varsinkin Google on enemmän profiloitunut tämän tyyppisen R&D-toiminnan suuntaan, joten ei mikään ihme että siellä onkin ollut tekeillä jotain vastaavaa.

Mitenkäs nyt tämän ChatGPT 4 kanssa on. Tuleeko sitä käyttääkseen olla tuo maksullinen tilaus vai saako sen käyttöön myös ilmaiseksi?

Koko tekoälykeskustelu on etiikan osalta vinksallaan. Samat ihmiset kirjoittelevat somessa siitä, kuinka tekoälyllä ei ole mitään käyttöä, siihen ei voi luottaa ja se suoltaa roskaa. Seuraava kirjoitus samalta taholta saattaa koskea sitä, kuinka tekoälyn etiikkaan pitäisi kiinnittää enemmän huomiota, sillä sen laiminlyöminen on vaarallista. Roskaahan sen piti olla, miksi se nyt yhtäkkiä vaarallista olisi?

Uudelleenjärjestely missä tahansa firmassa on aina vaikea työntekijöille etenkin, jos seurauksena on irtisanomisia tai oman työpaikan menetys. Neljänkymmenen hengen osaston lakkautus Microsoftilla, jossa työskentelee yli 220 000 työntekijää ei normaalisti aiheuta keskustelua, mutta aihe on ajankohtainen ja mediaherkullinen, kun kyse on AI-etiikasta. Toisaalta – ehkä keskittyminen AI-etiikkaan on kuitenkin parempi kuin se, että todistellaan muutaman kuukauden markkinoilla olleen kielimallin tuottavan roskaa, johon ei voi luottaa.

Mutta mihin sitä etiikkaa tarvitaan avuksi, kun kaikki tietävät, että kielimallit voivat huonona päivänä tuottaa samanlaista settiä, kuin vaikkapa USA:n edellinen presidentti tai hänen globaali kannattajajoukkonsa? Kielimallit eivät takuulla ole yhtä vaarallisia maailmalle eikä niitä valita vaaleilla valtaan – tai mistä sitä tietää – ehkä joskus tulevaisuudessa joku kehittää niidenkin ympärille oman uskontonsa.

Microsoft itse kertoo panostuksensa AI:n vastuullisuuteen olevan kasvussa irtisanomisista huolimatta. Business-IT taustalla voin omasta kokemuksesta todeta, että IT-kehitystä on jo toistakymmentä vuotta yritetty viedä lähemmäs pääliiketoimintaa ja varsinaista tuotekehitystä. Siinä on toisinaan onnistuttukin. Tällä tavalla mm. tuotteiden tietoturva, käytettävyys ja ehkä AI:n kehittyessä myös etiikkaan liittyvät asiat on otettu huomioon lopputuotteen kehityksessä. Strategiat luodaan toki muualla, mutta niiden toteutus on koko ajan siirtynyt lähemmäs tuotekehitystä.

Irrallinen, huonosti pääbusinekseen integroitu, toiminto valtavan busineksen kyljessä ei välttämättä tuo toivottuja tuloksia itse lopputuotteen kannalta. Ehkä GPT-4:n median esille tuomia sekoiluja voi pitää esimerkkinä siitä, että aikaisempi etiikkaan keskittynyt osasto ei tuonut lopputuotteen kannalta toivottua tulosta.

3 tykkäystä

Eiköhän nuo kaikki muutu jossain kohtaa maksulliseksi, jahka saavat ne sellaiseen kuntoon, että kehtaavat pyytää niistä rahaa. Nyt on menossa käytännössä julkinen betatesti.

1 tykkäys

Ainakin raha. Tuon kehittäminen, kouluttaminen ja ajaminen on tarvinut hirveästi muskeleita taakse. Luulen, että näiden mallien osalta tämä on aika winner takes it all -bisnes taas.

1 tykkäys

Itselle taas jäänyt sellainen kuva että näitä tulee kuin sieniä sateella. Ainakin siihen asti kuin todellinen AGI kehitetään.

Miun mielestä keskustelu etiikasta on pidemmän tähtäimen asia kuin yksittäisen kielimallin tms. kelvollisuus. Ja koska en tiedä missä määrin Microsoft on vastannut bing-bottinsa koulutuksesta ja missä määrin se on tullut OpenAI:lta valmiina, on paha mennä sanomaan missä on menty pieleen. Kielimalli, tai mikä hyvänsä koulutusaineistolla opetettu AI, tuottaa juuri sellaisia tuloksia kuin millaiseksi koulutusaineisto on sen muovannut. Jos kielimallille antaa koulutusvaiheessa esimerkkejä aggressiivisesta dialogista, se oppii myös tuottamaan aggressiivista tekstiä vastaavassa kontekstissa.

Kyllähän OpenAI esimerkiksi on pyrkinyt kovasti “kastroimaan” bottinsa niin, etteivät ne suostuisi antamaan pomminteko-ohjeita, tai tuottamaan vihapuhetta tai haittaohjelmia, mutta niin kauan kuin se botti ei todalla ymmärrä mitä tekee (ja kielimalllihan ei symboliseen ajatteluun kykene), taitaa olla aika mahdotonta estää täydellisesti sen käyttö epäeettisiin tarkoituksiin. Jos pieni inhimillistäminen sallitaan, parhaimmillaankin se kielimalli on hyväntahtoinen manipulaatiolle altis hölmö. Mutta jos yhtään voi vetää yhtäläisyyksiä sovelluskehittäjien kyvystä havaita omasta koodistaan virheitä tekoälykehittäjien kykyyn havaita omassa luomuksessaan mahdollisuuksia toimia välineenä epäeettisille päämäärille, niin ilman jotain kehittäjistä erillistä porukkaa sparraamassa lopputuloksena voisi hyvinkin olla katastrofi. Nykyteknonologialla ei onneksi mitään Skynet-skenaarioita tarvitse kuitenkaan pelätä, joten toistaiseksi nää sekoilut on aika vaarattomia.

Jos se enimmillään 30 hengen porukka jo lokakuussa kutistettiin 7:ään, niin en kyllä laittais näitä sekoiluja tuon porukan piikkiin. Ihan sama jos firma ensin kutistaa laadunvarmistuksen ja sen jälkeen päätyy julkistamaan tuotteen, joka toimii huonosti, onko vika aiemmin pihalle potkittujen testaajien, vai bisnesjohdon?
Miun tarkoituksena oli kontrata @anon86311303:n kärjekästä väitettä “devaamisessa sellainen malli ei toimi kovinkaan hyvin, että AI devaajien niskassa pyörii joku 40 työntekijän jarruosasto, joka ratkaisujen sijaan kokoajan keksii miksi jotain asiaa ei saa tehdä ja löytää vikoja kykenemättä kehittämään ratkaisuja ongelmiin”. Tuo edustaa sellaista vanhanaikaista vastakkainasettelua kehittäjien ja testaajien välillä että se melkein vois olla sarkasmia (ehkä se olikin?)…

Mutta tosiaan en pysty arvioimaan missä määrin MS:llä on ollut vaikutusta ylipäätään siihen miten se malli toimii. OpenAI:n etusivulla lukee kuitenkin tällä hetkellä:

We spent 6 months making GPT-4 safer and more aligned. GPT-4 is 82% less likely to respond to requests for disallowed content and 40% more likely to produce factual responses than GPT-3.5 on our internal evaluations.

Tästä vois päätellä, että itse mallin osalta on jo tehty paljonkin turvallisuuden eteen OpenAI:n puolella viime syksystä lähtien, ja Microsoftin vastuulla olisi enemmänkin vain sen integrointi omiin järjestelmiinsä. Hämärän peitossa on miten paljon mallia on mahdollista säätää ulkopuolelta (=tässä tapauksessa MS:n taholta) parametrein.

2 tykkäystä

Näin varmasti on. Eettiset säännöt ja ohjeet ovat kuitenkin luonteeltaan pysyviä, joten ei niitä joka tuotekehitysprojektin yhteydessä tarvitse kirjoittaa uusiksi. Kun ohjeistus on kunnossa sitä päivitetään aika ajoin. On siis luonnollista, että tällainen tiimi jalkautetaan lopulta osaksi tuotekehitystä, jotta varmistutaan ohjeiden toteutumisesta käytännössä ja jotta tuotekehityksen nopeus ei kärsisi.

Microsoft itse kuvasi tilannetta Vergen jutussa näin:

"Over the past six years we have increased the number of people across our product teams and within the Office of Responsible AI who, along with all of us at Microsoft, are accountable for ensuring we put our AI principles into practice. "

Samaa tehdään eri osa-alueilla kaikissa tuotekehitystiimeissä ja lähes missä tahansa projektissa.

Olen ollut itse todistamassa tätä Jarkko4:n kuvaamaa tilannetta erilaisissa ympäristöissä ja projekteissa. Tämä on ollut ja on vieläkin realismia monissa yrityksissä ja tässä ollaan koko tuotekehityksen tehokkuuden ytimessä. Mielestäni oikein hyvin kuvailtu.

Tuotekehitykselle tärkeät osaajat pyritään integroimaan osaksi tuotekehitystiimejä juuri tästä syystä. Tuotekehityksestä eriytyneistä, mutta vastuullisista, tiimeista tulee nopeasti jarruja, jotka eivät kykene vastaamaan eri tuotekehitystiimien haasteisiin, tekemään nopeita päätöksiä, saati tarjoamaan ratkaisuja löytämiinsä ongelmiin. Siksi hyvä integraatio tuotekehitykseen on tärkeää.

6 tykkäystä

Netistä löytyy kaikkea kivaa, esim. Windows 3.x aikainen Tallenna -dialogi, Windows 11:ssä:

5 tykkäystä

Mielenkiintoisia graafeja ja gifejä. Näin IT alalla työskentelevänä täytyy todeta, että se kaveri joka sanoi: “AI will not take your job. The guy who uses it, does”, on aivan oikeassa. Taidan ulkoistaa softan tekemisen Chat-GPT:lle.

6 tykkäystä