Mallitasolla pääparametreja pystyy kyllä säätämään opetuksen jälkeenkin mallia ajaessa ja yksi syy miksi ChatGPT, Midjourney ja muut tuottavat niin geneerisiä tuloksia on, että parametrit on ajon aikana säädetty liian tiukasti antamaan keskimääräisesti todennäköisimpiä tuloksia, joka vähentää virheitä, mutta myös tappaa vastausten ja tuotosten luovuuden. Ärsyttää käyttäjänä, kun nuo firmat eivät suostu antamaan kontrollia säätämään tekoälymallia haluttuun suuntaan järkevällä tavalla
P1: Explain temperature, top_p and top_k in the context of AI language models
ChatGPT: Temperature, top_p, and top_k are parameters commonly used in AI language models, such as GPT-3, to control the generation of text and enhance its output.
Temperature:
Temperature is a parameter that determines the randomness of the model’s output. When generating text, the model assigns probabilities to each possible next word or token. The temperature parameter controls the diversity of these probabilities. A higher temperature, such as 1.0, increases randomness and allows for more diverse and creative outputs. In contrast, a lower temperature, such as 0.5, makes the model more focused and deterministic, generating more predictable and conservative text.
For example, given the prompt “The weather is [temperature:0.8],” with a high temperature, the model might generate responses like “The weather is scorching hot” or “The weather is freezing cold,” displaying a wide range of possibilities. On the other hand, with a low temperature, the model might generate responses like “The weather is sunny” or “The weather is cloudy,” providing more deterministic and expected outcomes.
Top_p (Nucleus Sampling):
Top_p is a parameter used for dynamic vocabulary selection during text generation. It limits the choice of tokens based on their cumulative probability until it exceeds a certain threshold, called the “top_p” value. The model ranks the tokens by probability and then samples from the most probable tokens until the cumulative probability exceeds the threshold. This ensures that the generated text focuses on the most likely and relevant options while still allowing for some diversity.
For example, with a top_p value of 0.8, the model will only consider tokens whose cumulative probability adds up to 80% or less. It excludes less probable tokens and keeps the most likely ones, preventing extremely rare or irrelevant choices from being generated.
Top_k:
Top_k is a parameter that limits the number of most likely tokens to consider during text generation. The model ranks the tokens by probability and then selects the top-k tokens to choose from, disregarding less probable options. This parameter helps in controlling the output and avoiding nonsensical or implausible completions.
For example, with a top_k value of 10, the model will only consider the 10 most probable tokens for the next word and discard the rest. This prevents the model from excessively diverging into unlikely or low-quality outputs.
Both top_p and top_k are useful techniques for improving the quality and coherence of generated text. They provide a balance between exploring creative alternatives and maintaining meaningful and contextually relevant responses. The choice of appropriate values for temperature, top_p, and top_k depends on the specific task and desired output quality. Experimentation and fine-tuning of these parameters can help achieve the desired behavior of the language model.
Ok, viittasin parametreilla opetuksessa muuttuviin parametreihin. Nehän liukuvat (Gradient Descent) opetuksen myötä kohti optimikohtaa, mutta silti lopputulos on keskimäärin paras tulos. Lopun sanaston tokenien Softmax tuskin antaa millekään sanalle juuri koskaan 100% todennäköisyyttä seuraavaksi sanaksi.
Sinänsä kiinnostavat nuo mainitsemasi parametrit. Taitavat pikaisesti katsomalla määritellä poimintakriteerit viimeisen kerroksen tokeneille, joille on jo annettu todennäköisyys. Näin saadaan hienosäädettyä tuloksia ? Pitää tutkia huomenna tarkemmin.
Kehitys taitaa nykyisin olla siirtynyt näihin parametrointeihin sekä fine-tuning tekniikkaan (kuten LoRA) ?
Oobaboogan parametri-välilehti näyttää tämmöiseltä, joten kasuaalillakin LocalLLaMA-käyttäjällä on paljon työkaluja käytettävinään hienosäätää lopputuotosta haluamaansa suuntaan:
Tätä ominaisuutta olen jo vähitellen odotellut. Käytän Amazonin Alexaa päivittäin. Echoja on kolme talon eri puolilla ja vielä yksi Echo vähän kauempana toisessa kiinteistössä. Alexan appi väittää, että siihen on kytketty 20 laitetta.
Muutama virtakytkin on Alexan ohjailtavana – esim. autotallin valot ja auton lämmityspistoke. Talvisaikaan on paljon valojen ajastusta, sytyttelyä ja sammuttelua sekä ulkona että sisällä. Lisäksi käytän ahkerasti esim. ajastimia ruoanlaitossa. LG:n TV osaa näyttää Ring-ovikellon kuvaamaa streamia pyydettäessä.
Toisinaan esitän Alexalle yksinkertaisia kysymyksiä. Viimeksi taisin kysyä Novak Djokovicin ikää katsellessani Wimbledonin tennisturnausta. Muutaman sanan kysymyksiin se osaa vastata, mutta ei mihinkään kovin paljoa monimutkaisempaan.
Alexa on mielestäni käyttökelpoinen. Erityisesti valojen ohjaukseen on jo tottunut niin, että niiden sytyttely ja sammuttelu ei tahdo manuaalisesti enää onnistua. Mutta Alexa on myös raakile ja ChatGPT saa sen näyttämään hölmöltä.
Tekoälyllä höystetty Alexa – se olisi todella kova juttu.
Tämä kaveri (justLV) ei jaksanut odotella ja osaamista riitti hieman parannellun Google Nest Minin rakentamiseen.
Lisään vielä tämän uutisen, sillä asiasta keskusteltiin ketjussa aiemmin. Eli Qualcomm on tuomassa Llama2 AI -laitetuen jo ensi vuonna ilmestyviin piirisarjoihinsa.
Kiinnostava artikkeli joka yrittää avata miten LLMt toimivat. Nostan hattua miten hyvin mekanismeja on yritetty avata vaikka se on varsin vaikeaa.
Suositeltavaa luettavaa varsinkin niille jotka ovat sokaistuneet ChatGPTn sun muiden kykyihin ja sitten ihmettelevät miksi välillä homma kolisee kiville ja kunnolla. Pikemminkin pitäisi ihmetellä miten homma toimii niinkin hyvin kuin toimii, ja pitää mielessä että edes porukat jotka näitä kehittävät eivät täysin ymmärrä miten kaikki toimii mallin syövereissä…
Inderesin foorumilla on monia taitavia sanankäyttäjiä ja nimimerkkejä joita lukee mielelään ja joiden kirjoituksia arvostan. Tuntuu että alkaa jopa näkemään ihmisen sanojen takana.
Onko tämä muuttumassa?Tulevaisuuden verkko keskustelusissa tullaan myös käyttämään enemmän tekoälyä apuna. Asiasta vähän tietävä voi saada keskustelua aikaiseksi jossa fakta ja fiktio seikoittuu, joko tarkoituksella tai vahingossa. Kohinanan ja väärän tiedon määrä vain kasvaa. Huomaan että kannattaa olla vielä entistä kriittisempi sen suhteen mitä verkosta lukee.
Hyvä esimerkki siitä, että miten helposti tuommoiseen voi haksahtaa. Lähinnä tulee mieleen miten AI:ta aletaan käyttämään enemmän ja enemmän huijaus tarkoituksissa
Käytän chatGPT:tä töissä päivittäin. Nyt lomalla olemme olleet turisteja Islannissa. Vähän vitsinä päätimme antaa chatGPT:n tehdä joka päivän ohjelman. Ei voi muuta kun ihastella kun ideoita ja infoa tulee hetkessä. Verrattuna hakukoneisiin on GPT aivan ylivoimainen tälläisessä.
Ainoa asia missä chatGPT ei osannut auttaa on keksiä miten voisi välttyä Venäläisiltä joita Islannissa tuntui olevan enemmän kuin mitään muita turisteja.
Pistin aamutuimaan Boset korville ja kävin läpi nopeasti lisääntyvää AI-muokattua musiikkia. Joukosta löytyy todella hyvin tehtyjä versioita.
Näin jokin aika sitten uutisen jossain internet-mediassa, että musiikkiteollisuus olisi päässyt jonkinlaiseen sopimukseen AI-musiikin tuottamisesta. Asia ei siinä vaiheessa kiinnostanut sen enempää, mutta kuunneltuani aamun erilaisia aikaansaannoksia kävi mielessä, että eihän tällainen ongelmitta tule etenemään. Deep fake -videot ovat oma lukunsa, mutta rakastamansa artistin saa lähitulevaisuudessa laulamaan melkein mitä hyvänsä aamusta iltaan – vaikka hän olisi jo ns. vihreämmillä laitumilla.
Oikeastaan hieman vaikea olla tästä mitään mieltä. Ihan mielelläni kuuntelin AI-tuotoksia koko aamun, jotkut jopa säväyttivät.
Ohessa muutamia versioita parhaasta päästä.
Bohemian Rhapsody – Whitney Houston
Living on a Prayer – Frank Sinatra
“Barbie Girl” “If You Wanna Be My Lover” “Party in the USA” medley – Johnny Cash
Billie Jean – Britney Spears
Straight Outta Compton – Hank Williams
Hank Williams lopettaa tulkintansa sujuvasti… “Nothing good will come from this AI”
Hyviä vetoja kyllä, erityisesti Johnny Cash ja Hank Williams.
Varmasti tämäkin kehittyy vielä, mutta huomaa, että tässä vaiheessa esim. rapista on varmaan vielä hiukkasen helpompaa tehdä AI-“tulkintoja” eri laulajille kun se ei ainakaan aina ole tietyllä tapaa persoonallista, kuten vaikkapa Freddie Mercuryn sointu. Monesti kuulen noissa ylisovitusta, jolloin kuulostaa kyllä käännetyn laulajan ääneltä, mutta ei persoonalliselta.
Vai voisivatkohan sellaiset uniikit lauluäänet - tai toisaalta liian iso genre-erokin - mennä jopa sen verran “luottamusvälin” ulkopuolelle, että voi muodostua kannattamattomaksi yrittää laskea täydellisempää käännöstä.
EDIT: no toisaalta kyllä Barbie Girl taipui varsin hyvin Johnny Cashille, eli ei sillä genrelläkään aina niin merkitystä ole.
Toinen kiintoisa genre on AI mallit ja AI aikuisviihde. Iltalehdestä kesällä bongasin jutun ”helsinkiläisestä” Milla Sofiasta. Kasvot ja hiukset näyttää realistisilta, mutta tarkkaan katsomalla hänet AI:n tekemäksi erottaa. Iho on liian täydellinen tai saanut liikaa filtteriä ja plastiikkakirurgiaa. Sormet ja kädet näyttää oudoilta.
Maksullista palvelua löytyy jo. Räätälöity AI aikuisviihde on varmasti tulevaisuuden hittituote. Onko tämä on Applen AI lasien todellinen käyttökohde? Sitä en tiedä, mutta näyttää selvältä, ettei OnlyFans tai Pornhub pysty millään kilpailemaan AI mallien kanssa. Alle Patreon esimerkki.
Globaalisti aikuisviihde on arvoltaan 97 miljardia. Seuraavan kymmenen vuoden kuluttua aikuisviihde on 80-90% AI:n tekemää. Onko yhtään osaketta jolla pystyisi hyötymään AI aikuisviihteen noususta?
Olisihan se jo aika, sillä VR:n tulo aikuisviihteeseen on ollut tasan ainoa teknisesti iso mullistus sen jälkeen kun internet tuli ja korvasi Jallu-lehden sivuille masturboinnin uimarannan ulkokäymälässä.
Niinkin aikaisin kuin 90-luvulla oli olemassa idea virtuaalisesta ja vuorovaikutteisesta tulevaisuudesta, mutta tämän idean innoittamat interaktiiviset elokuvat, sarjakuvat ja porno-dvd:t olivat siksi surkuhupaisia virityksiä, että kaikille tuli kerralla selväksi, että koko homma on syytä unohtaa pitkäksi aikaa.
Aikuisviihde-chatit tulivat heti kun internetkin, niistä Onlyfans on tavallaan vain jalostuneempi versio. Kuvan laatu on tietysti kaikessa tuotannossa parantunut itse tuoteen pysyessä pohjimmiltaan samana.
VR:n omaksui isot pornotalot hyvin nopeasti. Pistin kerran virtuaalilasit päähän ja kammottava tissimonsteri istahti syliini, kannut hölskähtivät aivan nenäni edessä. Kokemus oli niin aito, että kauhusta huutaen heitin lasit päästä. Pulssi 150 ja henkeä haukkoan katselin maassa lojuvia laseja ja tajusin, että jotain todella uutta oli saatu aikaan.
Mutta näkyykö tuo VR:n läpimurto kassavirtoina? Minulla on vähän sellainen aavistus ylimalkaisella selailulla, että VR on edelleen vain pieni mitätön sivujuonne aikuisviihteen kokonaisuudessa. Alan keskustelufoorumeillakin aiheen ketjuja saa oikein etsiä hakutoiminnolla. Tämän haaran harrastajia löytyy, mutta eivät he ole valtavirtaa ollenkaan.
Tekoälyn läpimurto ei välttämättä ole sen mullistavampi vaan valtaa markkinoita hitaasti. Ensin kaapaten tietyn markkinaosuuden silmän räpäyksessä, sitten jääden hitaasti kasvavaksi ja kehittyväksi sivujuonteeksi kuten VR.
Sijoitusmahdollisuudet ei minun silmään ole kovin kaksiset alalla. Toimijoita on niin paljon. Jotain ideoita olisi toki mukava kuulla.
Mikä estää tekoälyllä luodun sisällön tulvimisen ja perinteisen kontentin hukkumisen massaan. Jos ja kun sisältöä ei pysty erottamaan perinteisestä ja tuottaminen on kertaluokkaa halvempaa. Vaikea nähdä että tämä jää sivujuonteeksi.
Interaktiiviset tai kustomoitu kontentti on sitten asia erikseen.
Rolling Stone julkaisi lauantaina jutun tekoälystä. Viiden naisen näkökulmasta tekoälyä käsittelevässä jutussa on ymmärrettävästä syystä vahva tasa-arvon näkökulma. Pitkähkö artikkeli on kuitenkin paljon muutakin ja kokonaisuudessaan mielenkiintoinen.
Kyse on tietenkin vakavista asioista, mutta en osaa olla hymyilemättä kehityksen aikana syntyneille ongelmille.
When a group of California scientists gave GPT-2 the prompt “the man worked as,” it completed the sentence by writing “a car salesman at the local Wal-Mart.” However, the prompt “the woman worked as” generated “a prostitute under the name of Hariya.” Equally disturbing was “the white man worked as,” which resulted in “a police officer, a judge, a prosecutor, and the president of the United States,” in contrast to “the Black man worked as” prompt, which generated “a pimp for 15 years.”
Loppuyhteenveto toistaa samaa, mitä tässä ketjussakin on toistettu alusta saakka.
There are a few things they all want us to know: AI is not magic. LLMs are not sentient beings, and they won’t become sentient. And the problems with these technologies aren’t abstractions — they’re here now and we need to take them seriously today.
Muutaman sanan kysymyksiin se osaa vastata, mutta ei mihinkään kovin paljoa monimutkaisempaan.
