ChatGPT, muut kielimallit ja tekoäly

Käännösten tekeminen tietyllä tyylillä (asiallinen, muodollinen, ystävällinen jne) keskipitkiin viesteihin, tiedotteisiin on ollut todella kätevä apulainen. Selkeästi säästyy aikaa ja tulos on parempi.

3 tykkäystä

Latasin chatgpt 3.5 sovelluksen kännykkään, kun ilmainen on.

Ihan mahtava lelu, tosin vähän saa patistella. Esimerkiksi kysyin listaa 100€ ostoksille neljälle hengelle, tuloksena oli neljä ruokalajia ei muuta.

Keskusteltiin myös vivun määrästä sijoituksissa, pienen patistamisen jälkeen vastauksen sai siihenkin.

Mikä on riski tietojen vuotamisesta eteenpäin, jos chatgpt antaa esimerkiksi CV:n muokattavaksi?

1 tykkäys

Ymmärsin jostain että jo ChatGPTssä olisi ollut Mixture of Experts käytössä. Perinteisen koneoppimisen puolelle ensemble mallit ei juuri auta vaikka malleilla olisi eri vahvuudet, koska mallit vain tappelevat keskenään eikä ensemble usein voita parasta mallia. Mixture of expertissä on käytössä matemaattinen expert routing jonka avulla oikeat mallit osataan valita. Oli vähän turhan raskasta iltalukemiseksi, mutta näyttää toimivan

Onhan kaikki Mistraalia ja Euroopan nousevaa tekkiskeneä fanittavat muistaneet vaihtaa Googlen tilalle qwant.com hakukoneen joka niin ikään on patonkikansan luomus? Olen käyttänyt nyt puolivuotta. Yhtä hyvä kuin Google eikä ole Pohjois-Amerikkalainen datavamppyri. Jostain duckduckgo:sta ei sitten kannata mainita mitään, koska kotimaan haut on sillä ihan roskaa.

Kyllä perinteisen koneoppimisen puolella ”wisdom of the crowd” -tyyppiset ratkaisut lähes poikkeuksetta tuottavat parhaimmat tulokset (esim. Kaggle-kisojen top-ratkaisut), mutta käytännön sovelluksissa ne ovat usein haastavia vaikean selitettävyytensä vuoksi. GPT-mallit taas ovat muutenkin mustia laatikoita, niin samapa se on pinota niitä muutaman ja paketoida uuteen mustaan laatikkoon :slightly_smiling_face:

4 tykkäystä

Kiitos. Kiintoisa linkki. En lyhyellä selaamisella ole ihan samaa mieltä, mutta sample size vielä liian pieni. Toki sun lause “lähes poikkeuksetta” voidaan kääntää hyvinkin tiukaksi vaatimukseksi esim. 99% tapauksista :wink:

Kagglessä olikin aiemmin ongelma, että hyviä ratkaisuja oli mahdoton löytää. Esim katsomalla Titanicin leaderboadia ei voi oppia mitään. Titanic - Machine Learning from Disaster | Kaggle
Iso kasa aasialaisia on keksinyt jos reverse engineeraa testi datan saa tarkkuudeksi 100%.

Ainakin päälle kymmenessä kisassa, joihin tuli itsekin aikanaan osallistuttua, oli perinteinen ”viimeinen steppi” muutaman desimaalin parannukseen yhdistää useamman mallin tulokset. Top-tiimit saattoivat yrittää varmistaa voittonsa sulauttamalla tiiminsä yhdeksi ja yhdistämällä erillään kehitettyjen mallien tulokset. Tämä yhdistelykin on oma taiteenlajinsa, esim. termeillä bagging, blending, stacking, voting tai weight averaging löytyy lisätietoa :nerd_face:

2 tykkäystä

Saa aika kapeasti miettiä tekoälyä jos ei löydä miten mainosyhtiöt voisi tekoälystä hyötyä.
Kahden kaljan ja kolmen tunnin yöunien jälkeen voin pohtia asiaa minuutin.

  • Personoidut mainokset.
  • Mainonnan automaattinen kohdistaminen paremmin.
  • Mainosbudjettien tehokkaampi allokaatio hinnan ja tehokkuuden mukaan.
3 tykkäystä

Oletko koskaan klikannut mainosta netissä? Minä en ainakaan paitsi joskus vahingossa.
Varmasti sen osaavat mitä pystyvät mutta parhaillaan mainos myisi sinulle juuri sitä mitä et edes tiennyt haluavasi, sopivaan hintaan ja sopivassa kontekstissa. Ihmiset on myyjien vietävissä livenä niin miksei sama voisi tapahtua myös netissä.

4 tykkäystä

Kyllähän chatbot-tyyppinen tiedonhaku on etenkin Googlen hakupalvelun käyttämän mainoslogiikan kanssa pahasti ristiriidassa. Uskoisin, että käyttäjät vaihtavat välittömästi palvelua, jos chatbot alkaa työntämään vastauksien alkuun mainostajien tietoa.

Tosin en epäile hetkeäkään, etteikö google voisi keksiä uusia tapoja kompensoida uuden tiedonhakuparadigman aiheuttamat mainostulomenetykset (esim. juuri tekoälyn mahdollistamalla vielä paremmalla ja siten kalliimmalla personoidulla mainosmyynnillä).

En ole ihan samaa mieltä tästä. Esim äsken halusin tehdä arduinolla tekeleen jossa olisi pari erilaista sensoria. Olisin oikein mielelläni ottanut vastaan ehdotuksia valmiista shieldeistä yleisen tiedon sijaan, ihan vaikka osto linkkeineen.

Toki balanssi on hankala. Google on mielestäni hajottanut haun mainoksilla mutta esim Google maps:ssa mainokset on toteutettu niin, että ne eivät tunnu haittaavan ollenkaan.

1 tykkäys

Google korvaa mainosmyyjiään AI-automaatiolla:

Uusi start up, Perplexity AI, haastaa Google Searchin:

Joukossa todella nimekkäitä rahoittajia.

13 tykkäystä

On muuten aika pirun hyvännäköinen hakukone. Tarjoilee viitteet vastaukseensa.

Osaa myös suomea ja näkyy olevan ihan ajan tasalla (lähteet 2 & 3 hieman erikoisia, saattoi jäädä kummittelemaan edellisistä kysymyksistäni).

Ja koodiakin tuottaa.

18 tykkäystä

Google julkaisi Bardin korvaajan eli Geminin advanced version juuri. Tämän kehutaan peittoavan GPT4 monimutkaisissa taskeissa ja testeissä on pärjännyt jo melko hyvin.

Olen kymmenisen tuntia tuota testaillut ja vähän alkukankeuksia tuntuu olevan. Nopea se on, monipuolisia ja fiksuja vastauksia mutta ei tunnu pääsevän internettiin kiinni kunnolla, youtubesta kaivaa hienosti tietoa ja google drivesta, mutta ei aina. Kuvageneraatiot ei toimi lainkaan ja hyvin usein tulee “I’m only language model, can’t help with that” viestiä vielä.

Onko muut vielä testanneet uutuutta?

ps. Se Advanced on siis eri asia kuin perus Gemini ja pluginit (youtube, maps jne) saa käyttöön vain vaihtamalla käyttökieleksi englannin. Toki sen jälkeen puhuu suomeakin varsin mallikkaasti. Kannattaa myös harkita haluaako avata googlelle koko googletilinsä historian vai käyttääkö jotain toista accounttia, lähes kaikki data menee hyödynnettäväksi jatkokehitykseen ainakin keskusteluiden osalta.

5 tykkäystä

Hollywoodissa rytisee lähivuosina?

6 tykkäystä

Kantsii tosiaan katsoa lisää videoita tuolta tviitissäkin mainitulta kotisivulta Sora
Ihan ok :slight_smile:

Hurjaa on kehitys…

Menee kyllä monella alalla laskelmat aivan uusiksi jos/kun tämä tekniikka edelleen kehittyy ja mukaan tulee ääni. Elokuvat, mainokset, porno, onlyfans/instagram-keikistelijät… Mielenkiintoista nähdä onko aidoilla ihmisillä mitään kilpailuetua. Misinformaatio ja disinformaatio menee aivan uusiin ulottuvuuksiin. Totuuden etsintä tulee kaiken ytimeen jos ei se vielä siellä ollut.

12 tykkäystä

Ihan näin maallikkona tekoälynkin suhteen kysyisin, että painottavatko tekoälysovellukset lähteiden luotettavuutta? Siis pitävätkö ne yhtä luotettavana MIT:n tutkimusta kuin Russia Todayn artikkelia.

2 tykkäystä

Joo ja ei. Nykyisen kaltaisten LLM-mallien opetus ja käytettävät malliarkkitehtuurit eivät painota opetuksessa inputin luotettavuutta. Ne yksinkertaisesti oppivat saamastaan tiedosta luonnollisen kielen “kaavoja”, mutta samalla sisällyttävät sisäänsä kaikki mahdolliset vinoumat ja virheet, joita input saattaa pitää sisällään.

Virheitä ja vinoumia sen sijaan poistetaan ennen ja jälkeen opetuksen. Opetus-corpukset ovat käsin kuratoituja tietomassoja. Kuratointiprosessia itsessään ei taida olla esim. OpenAI avannut mitenkään ja avoimien mallien osalta en ainakaan itse ole opiskellut asiaa. Treenauksen jälkeen virheitä ja vinoumia poistetaan RLHF:llä ja fine tuningilla sekä eräillä muilla safeguard ratkaisuilla, joista OpenAI on julkaissut papereita myös ChatGPT:n osalta.

Jos asia kiinnostaa, kannattaa kuunnella tämä Herrasmieshakkereiden jakso, jossa haastatellaan yhtä AI Safetyyn erikoistunutta ja OpenAI:n lukuun näitä asioita pohtinutta asiantuntijaa: Herrasmieshakkerit: Tekoälyn jäljillä, Anna Katariina Wisakanto | 0x2b

Edit: jäi lisäksi mainitsematta se kaikkein yksinkertaisin kuratointitapa eli simppelisti jätetään web scraping vaiheessa scrapen ulkopuolelle ne kaikkein pahimmat disinformaatiolähteet, jolloin ne eivät päädy opetusaineistoksi. En osaa tosin sanoa, millä kriteereillä OpenAI esimerkiksi on scrapingin tehnyt.

7 tykkäystä

Ei taida mennä ihan hirveän kauaa, kun esimerkiksi videopeleistä voidaan luoda täysin realistisia. Se taas tulee varmaan hämärtämään elokuvan ja videopelivihteen rajaa myös.

2 tykkäystä