Kehitystahti on aivan mielipuolista! Vielä pari kuukautta sitten oli melkein pakko tilata ChatGPT, koska mallien ajaminen kotikoneelta oli lähes mahdotonta. Nyt irtisanoin oman tilaukseni sillä se ei tarjoa minulle juurikaan lisäarvoa siihen nähden että ajaisin lokaalisti LLaMAa oogaboogalla ja malleina vaikkapa wizard-vicuna 13B gptq tai 30B ggml. Lähiviikkoina otetaan käyttöön k-quantit ja en edes uskalla kuvitella että mitä sen jälkeen vielä keksitään. Toivottavasti GeForce 50 -julkaisua aikaistetaan, koska kun saadaan 32+ GB vramit kuluttajanäytönohjaimiin, niin vain taivas on rajana.
6 tykkäystä
Oho. @Pohjolan_Eka vaati kuitenkin GPUn koneeseen? Entä miten käyttö puhelimella ja tabletilla. Oletko avannut jonkun privaatti portin etäkäyttöä varten?
Twitterissä oli kiintoisa juttu musiikin generoinnista. En ole vielä ehtinyt koittaa, mutta linkki alla jos joku haluaa testata.
Sekoitat asioita, joista jo kertaalleen keskusteltiin. Llama on kielimalli siinä missä ChatGPT ja muutkin ja on hienoa, että se saadaan pyörimään kevyemmällä raudalla, mutta mitä sitten? Meta itsekin kertoi julkistuksen yhteydessä, että tarvitaan paljon lisää tutkimusta, että päästään eroon “myrkyllisistä kommenteista” ja hallusinoinnista LLM:ssä. Eli ei se perusteknologia ole niitä toivottuja harppauksia ottanut.
Kehitys on todella nopeaa erityisesti kielimallien parissa, mutta harppaukset kohti AGI:tä vaikuttavat kovin kaukaisilta.
Edit. Täytyy nostaa Metalle hattua koodin jakamisesta. Se mahdollistaa isotkin yllätykset jatkossa.
2 tykkäystä
GPU tietysti on paras, mutta voit myös ajaa sekaisin GPU/CPU tai vaikka puhtaasti CPU:lla, jos keskusmuistia löytyy. Ihan pelikoneella tällä hetkellä pyörii minulla satunnaisessa käytössä, mutta tulevaisuudessa pitää vakavasti harkita, että kannattaisiko ostaa dedikoitu kone tuota varten johon kaikki älylaitteet voisivat yhdistää. Kehitys on sen verran hurjaa, että melkein joka viikko saa olla jotain säätämässä niin mitään stabiilia setuppia ei kannata mielestäni vielä hankkia, erityisesti kun 50-series tulee todennäköisesti olemaan yksi isoimmista hypyista Nvidian historiassa 
Jos ei näiden kanssa jatkuvasti leiki, niin voi olla vaikeaa ymmärtää kehityksen vauhtia. Joku olisi saattanut vuosikymmeniä sitten kysyä, että mitä väliä sillä oli että PC:t tulivat jokaisen kotiin, kun ei sillä voi tehdä enempää kuin työpaikalla sijaitsevalla IBM:n keskustietokoneella. Oikea vastaus on että mallien pyörittäminen ammattilaitteiden sijaan kuluttajaraudalla on kaikki kaikessa. Tekoälyn demokratisointi ja laaja leviäminen kaikkialle on edellytys sille tuottavuusbuumille, joka lähtee nyt käyntiin.
Nuo keksimällä keksityt ongelmat “myrkyllisistä kommenteista” ja hallusinoinnista ovat regulaattoreita ja mainostajia varten. Aina kun tulee uusi teknologia, niin joku boomeri haluaa olla sabotoimassa kehitystä. Painokonekin oli aikoinaan hyvin tarkkaan reguloitu teknologia, koska pidettiin äärimmäisen vakavana riskinä, että ihmiset saattaisivat kirjoittaa ja lukea aivan mitä tahansa tekstejä. Eihän sellainen vaan käy päinsä, vaan ihmisiä pitää suojella ja holhota!
Meta ei muuten varsinaisesti jakanut LLaMAa, vaan antoi tutkijoille pääsyn siihen, jonka jälkeen se vuodettiin piraattisivustoille. Eli tarina oli jossain määrin samanlainen kuin sensuroimattomassa Stable Diffusionissa, joka vuodettiin vastoin yrityksen omaa tahtoa. Tekoälyrenessanssista saammekin siis ensisijaisesti kiittää suuryritysten sijaan nokkelia piraatteja! 
8 tykkäystä
Totta, ei sitä LlaMAa tosiaan kaikille julkaistu, mutta eiköhän Meta tiennyt miten sen kanssa käy. 
Onhan tätä kehitystä upeaa seurata ja olen kirjoittamastasi samaa mieltä. Monenlaista murrosta on tullut jo nähtyä ja kyllähän tämä odotuksineen on siellä top-5 -tasolla juuri nyt. Nousupotentiaaliakin on.
En ole itse ladannut LlaMAa, mutta täytyypä käydä se jostain poimimassa. Tahtoo vaan nykyisin laiskottaa aina, kun pitäisi tehdä jotain järkevää tietäen, että se on pelkästään omaksi iloksi. Tuo demokratisointi-kommenttisi oli erityisen hyvä nosto, naulan kantaan.
Onhan se täysin varmaa jo nyt, että tulevaisuudessa voimme odottaa tekoälyn kyvykkyyksien huimaa lisääntymistä. Saattaa olla, että nämä virtuaaliset velhot oppivat kokoamaan IKEA-huonekalut puolestamme tai tarjoilemaan herkullisia uppomunia aamiaiseksi. Ja mistä sen tietää, ehkä pian saamme tekoäly-ystäviä, jotka ovat aina samaa mieltä kanssamme. Se olisi kyllä aika tylsää.
1 tykkäys
Kokeilemaan pääsee nykyään hyvin helpolla ilman sen kummempaa teknistä osaamista. Tuosta vaan exe talteen githubista (omalla vastuulla) ja lataa sitten jonkun sopivan kokoisen ja tarkkuuden sisältävän GGML-mallin huggingfacesta (esim q5_1.bin).
Koodauksessa LLaMA-pohjaiset ratkaisut eivät ole vielä kovinkaan kummoisia koska Meta keskittyi enemmän ihmistekstiin, joten koodaukseen nämä eivät vielä oikeasti sovellu.
Tietysti jos haluaa että mallit aidosti pyörivät hyvin ja nopeasti kotikoneella, niin valitettavasti tällä hetkellä täytyy hieman kyllä osata nörtteillä. Olkoon tämä siis vain maistiainen siitä, miltä tulevaisuus näyttää 
2 tykkäystä
GPT-mallit yrityskäytössä. Vähän teollisuuskulmaakin.
Tekoäly ja tekoälytyö hallitusohjelmaan. Vieraana Tapio Levä, Telia Head of Data & AI Solutions. Jakso on tehty kaupallisessa yhteistyössä Telian kanssa.
00:00 Intro Tapio Levä Telian tekoäly- ja dataratkaisujen liiketoimintajohtaja, viittaus Olli Sirkiä-jaksoon
00:40 Jakson rakenne – teollinen tekoäly, 5G, IoT, konttoritekoäly ja ohjelmistot, GPT ja tekoälytyö hallitusohjelmaan
01:28 Mikä on IoT, esineiden internet ja miten automaatio ja etäohjaus mullistuu 5G:n myötä
02:58 Miten etäohjaus toimii parhaimmillaan – case Telia ja (hyviksien) Kittilän kultakaivos
04:32 Tapion näkemys teollisuuden tarpeista uusissa teknologioista mm. keskeytymättömässä tuotannossa
05:50 Digikaksonen – Tolkienin varjomaailmasta augmented realityyn
07:30 Oliko Zuckerberg idiootti – metaversumiin panostettiin liian aikaisin?
10:00 Microsoftin nerokas OpenAI yhteistyö toi Co-pilot-tekoälyn Officeen ja Windowsiin. Miten iso muutos tämä on?
12:00 Microsoftin tekoäly, työn ohjaus vs. muiden ohjelmistot esim. Trello ja Jira. Viimeiset mohikaanit C:-drivellä ja desktopilla
14:44 Tiedon suojaaminen, tietokannat, Pitäjänmäen konesali, tekoälylainsäädäntö AI ACT ja GDPR
18:05 EU:n valinta – käyttötarkoitusten regulointi vsi geneeristen kielimallien koulutuksen sääntely
20:05 Tiedon yksityisyys päätelaitteissa, reunalaskenta, edge computing ja Apple
22:40 Visuaalisen tiedon analysointi tekoälyllä, mikroilmeet, älylasien vaarat
23:45 Käyttöliittymän ja käyttökokemuksen palvelumuotoilu tekoälyllä. Case Telia ja C More
26:40 ChatGPT ja GPT-kielimallien hyödyntäminen vs. valikkomuotoinen asiakaspalvelu
29:20 Tekoälyn monet roolit – henkilökohtainen apu, perheen metatyö sekä työyhteisö
30:50 Tekoäly supervoimana – tuottavuusnäkökulma
32:20 Tekoälyt toistensa päällä ja rinnakkain
33:40 Kontekstin merkitys, tekoälyn hallusinointiongelma ja tiedon haku
35:35 Tiedon visualisointi ja data-analytiikan tulevaisuus
37:40 Tiedon demokratia ja Tapio Levän terveiset tulevalle hallitukselle – tekoäly ja tekoälytyö hallitusohjelmaan
40:20 Datatalous ja Telia Crowd Insights
2 tykkäystä
Teknisesti ottaen, TCP/IP ei poistu eikä tule poistumaan vielä aikoihin, mutta sen käytöstä pyritään eroon sen heikkoiuksien vuoksi. Teoriassa se on edelleen käytettävissä varmaan maailman tappiin koska niin paljon vanhaa tavaraa nojaa siihen, mutta käyttö tippuu ennen pitkää olemattomaksi.
3 tykkäystä
Jatkat täysin turhaa väittelyä, vaikka et selvästikään ole edes rajallisesti perillä siitä, mistä puhut. Edellisessä viestissäni oli pelkkää faktaa.
Väitit, että TCP/IP on häviämässä ja se väite on suorastaan hölmö. Myös http/3 toimii IP:n päällä, joka muuten selviää myös itse jakamastasi kuvasta.
Nyt sitten tarkennat, että tcp:tä ei käytetä tulevassa http/3-protokollassa ja sehän on kyllä totta, mutta eihän kukaan ole väittänyt, että näin ei olisi. Ei kaikki internetin liikenne tule koskaan olemaan http/3:n päällä eikä se näin voi tietenkään korvata edes tcp:tä. Väite on suorastaan naurettava. 
Http/3:lle tulee olemaan rajalliset käyttökohteensa erityisesti selainpohjaisessa tiedonsiirrossa ja edellisessä viestissä mainitsemani QUIC tulee toki laajentamaan sen käyttömahdollisuuksia…
TCP/IP protokollaperhe kattaa kaiken internetin liikenteen ja uusimpia lisäyksiä siihen on mm. IPv6, jonka jo mainitsin ja vaikka IPSEC. Ne toimivat TCP/IP-protokollaperheen päällä. Kaikkein huvittavinta alkuperäisessä väitteessäsi on kuitenkin se, että myös UDP ja näin ollen QUIC on osa TCP/IP protokollaperhettä.
Tuossa perusperus-peruskaavio, joka opetetaan tietoliikenteen peruskurssilla.
Järjetöntä lähteä tästä asiasta väittelemään, ennen kuin olet tutustunut itse kunnolla aiheeseen.
4 tykkäystä
Mitä jos yrittäisit kirjoittaa asiallisesti turhan pätemisen sijaan? Ei kai nyt kukaan kuvittele IP protokollan olevan katoamassa lähiaikoina mihinkään.
Tcp:n suhteen asia on juuri niin kuin aiempi kirjoittaja kertoi. Uusissa ”valtavirta” protokollissa tcp korvataan tehokkaammilla vaihtoehdoilla.
2 tykkäystä
Yritin ja mielelläni olisin jättänyt tämän aiheen jo pari turhanpäiväistä viestiä sitten.
Vastausteni sävy muuttuu sitä mukaa, kun keskustelu menee syyttelyksi virheellisistä ja perättömistä väitteistä. Tämän episodin olisi voinut jättää väliin, mutta olen missä olen ja teen mitä teen lähinnä siksi, että en jätä mitään kesken. Päteä minun ei tarvitse kenellekään ja arvostan asiantuntijoita. Asiantuntemattomiin syytöksiin vastaan.
Ei kai nyt kukaan kuvittele IP protokollan olevan katoamassa lähiaikoina mihinkään.
Jos lukaiset aiemmat viestit huomaat, että olet väärässä. Internetin liikennettäkin voi luulla http-protokollalla toteutetuksi ja lähteä vielä väittelemään asiasta.
Mitä tulevaisuuden verkkoihin tulee, myös data- ja control-tasoihin tulee varmasti muutoksia verkkotarpeiden muuttuessa, mutta on liian varhaista sanoa minkälaisia ja vanhat protokollat eivät katoa mihinkään. Mainitsin jo aiemmin softapohjaiset verkot (SDN). ITU on julkaissut aiheesta tutkielmia tai jonkinnäköisiä ennustuksia ja niissä SDN:n ja VNF:n (virtuaaliset verkkotoiminnot) oletetaan olevan isossa roolissa 2030-luvun verkoissa. Tässä yksi asiaa selventävä julkaisu aiheesta ITU:n “Network 2030” -ryhmältä. ITU:n palvelusta löytyy myös lisää ryhmän koostamaa ja muiden julkaisemaa materiaalia.
Jotta edes joku linkitys tekoälyyn säilyisi – verkoilla on merkitystä myös tekoälyn kehityksessä. ITU nimittää tulevaisuutta koskevissa materiaaleissaan kaikkein vaativimpia tarpeita “teleportaatio”-nimityksellä. Linkittämästäni artikkelista asiasta voi lukea lisää kohdasta “17.8 AI/ML role in Management & Orchestration”.
En ole verkkotekniikan DI, mutta arvostan sellaisia ja olen sellaisten kanssa tehnyt lukuisia projekteja ja hankkeita ympäri maailmaa. Jaan ja vastaanotan mielelläni tietoa tuntemistani asioista ja mielenkiinnon kohteista. Jos joku pitää sellaista minun tai jonkun muun osalta pätemisenä – ihan sama.
2 tykkäystä
Ylellä mielenkiintoinen kaikelle kansalle suunnattu juttu AI-jain hyödyntämisestä somessa.
Arvaa kuka? Vastaus artikkelissa.
4 tykkäystä
Pari hajanaista havaintoa.
- EUn tekoälyasetus: EUn asetus on “riskiperustainen ja käyttötapauskohtainen lähestymistapa tekoälyn käyttöön ja kehittämiseen. … Tässä jaottelussa kiellettyjä käyttötapoja ovat todennäköisesti esimerkiksi ihmisten manipulointi”
Manipulointi. Onko mainonta tai somen sisältöä juuri sinulle räätälöivät algoritmit muuta kuin ihmisen manipulointia? Minun mielestäni ei. Ekat koittaa saada sinut ostamaan tuotteen ja somen algot koittavat maksimoida sinun somessa viettävän ajan ja engagementin. Ylen juttu alla. Nämä siis kiellettyä jahka “EU da köning de regularization” saa homman päätökseen.
- Pörssin tekoälyralli. Ymmärrän miksi NVidia ja Microsoft ovat raketoineet. En ymmärrä miksi osakkeet kuten Tesla, Palantir, SoFi, UpStart ja Datadog ovat raketoineet. Noilla firmoilla on tekoälyä, mutta heidän tekoälyllä ei ole ihan hirveästi tekemistä Trasformer pohjaisten LLM mallien kanssa. Esim vaikka Datadogin pilvipalveluiden monitorointi ei suuresti voi hyödyntää LLM pohjaista tekoälyä, koska logia ja metriikkaa tulee niin kovaa vauhtia ettei LLM malli pysy millään perässä. Teslan osalta sama. Heidän autopilotti ei tule yhtään paremmaksi kuskiksi LLMien avulla. Ehkä muut sijoittajat eivät tätä tiedä. Tai sitten muut sijoittajat luulevat etteivät muut tätä tiedä ja ostavat siksi.
3 tykkäystä
Hieman kevyt kysymys. Täällä on selvästikin ihmisiä jotka ovat IT-alalla, ohjelmistokehityksen parissa ynnä muissa vastaavissa hommissa. Miten sikäläisissä kahvipöytäkeskusteluissa spekuloidaan GPT:n muovaavan IT-alaa tulevina vuosina? Ollaanko enemmän huolissaan vai innoissaan? Ovatko eniten vaarassa sellaiset peruskoodarit, joilla ei ole syvempää ymmärrystä tietokoneen toiminnan perusteista, tietorakenteista ja algoritmeista, ylipäätään alan teoreettisesta perustasta?
3 tykkäystä
Olem kuullut kahdenlaista kannanottoa: joko business as usual tai koodaus nykymuodossa katoaa. Itse en usko kumpaankaan vaan näen tilanteen toistavan historiassa esiintynyttä kaavaa: uusi teknoogia otetaan osaksi työkalupakkia ja se nostaa koodareiden tuottavuutta ja siten laajentaa sitä joukkoa ongelmia jotka on koodaamalla ratkaistavissa. Koodarit jotka eivät suostu tai kykene ottamaan uusia välineitä ja työtapoja haltuun häviävät, mutta siinä ei ole mitään uutta.
Kaivoin muutaman aiemman viestini asiasta. Niissä on pohdittu tätä tarkemmin. Sittemmin olen itse ottanut Github Copilotin käyttöön, ja se kokemus vahvistaa uskoani tähän näkenykseen.
7 tykkäystä
Jotkut ovat sitä mieltä että tämä on kuin vuorovesi ja nostaa kaikkia veneitä (koodareita). Paitsi niitä joissa on reikä (= koodarit ketkä ei opettele käyttämään tätä). Toiset on sitä mieltä että kevyemmällä arsenaalilla varustetut saa koodarit saa kenkää. Vaikea sanoa kumpi tapahtuu. Molempiin näkökulmiin löytyy perusteita.
5 tykkäystä
Kuulun siihen kastiin, joka oli 1990-luvulla “huolissaan” työpaikastaan ja jolle esimies vakuutti, että Intian ja Aasian koodarit tekevät tulevaisuudessa kaikki työt, joten kannattaa keksiä jotain muuta. Ja yrittiväthän ne hieman myöhemmin, kunnes todettiin, että ei tämä nyt ihan toimi. Siirryin tekemään jotain muuta vuosituhannen vaihteen hujakoilla, mutta syynä oli se, että olin mielestäni keskinkertainen kehittäjä ja muut asiat kiinnostivat enemmän – ei siis pelko intialaisten invaasiosta.
On mielestäni selvää, että kaiken tasoisten koodarien pula tulee jatkumaan hamaan tulevaisuuteen. Full stack -osaaminen takaa varmasti työpaikan nykykoodareille eläkeikään asti ja mielestäni tekoälyn lisääntyminen työkaluissa vain lisää devaajien tarvetta. Allekirjoitan myös sen väitteen, että ainoa tapa tehdä itsestään koodarityömarkkinoiden hylkiö on jättää uudet työkalut opettelematta ja niiden tarjoamat mahdollisuudet käyttämättä. Näin se on aina ollut – jo ennen ChatGPT:tä. Yksi osa-alue, jossa kehitystyöt tulevat lisääntymään räjähdysmäisesti on todennäköisesti erilaisten integraatioiden ja rajapintojen kehitys.
Ehkä tähän on syytä lisätä, että kukaan ei osaa vielä sanoa, missä mennään vaikka 20 vuoden päästä. Työt tulevat muuttumaan – eikä vain koodareiden työt.
Edit. Unohdin mainita isomman kuvan softakehityksestä… Jos katsoo ympärilleen, kaikki on yhtä virtuaalia. Näkemämme ja kokemamme maailma on enemmän ja enemmän softaa vaikkei AR-laseja olisikaan silmillä. Tämä koskee myös infrastruktuuria, jossa kehitys on nopeaa. Rauta ja fyysinen infrastruktuuri on jo nyt – ja vielä enemmän tulevaisuudessa – ikäänkuin virtalähde, jota mitataan tehokkuudessa tai kyvykkyydessä – loppu tehdään softalla. Ja tämä maailma ei ilman softan tekijöitä synny.
6 tykkäystä
Ainakin tämän pienehkön tutkimuksen lopputulema oli että tämänhetkisillä työkaluilla ohjelmistokehitys muuttuu vahvasti koodaamisesta GPT:n ehdotusten tarkastamiseksi, mikä johtaa siihen että tällä hetkellä kokemattomien koodareiden käsissä tuosta lienee enemmän haittaa kuin hyötyä.
Reading Between the Lines: Modeling User Behavior and Costs in AI-Assisted Programming
Tarvitaan siis lisää koodareita jotta saadaan työkalut sellaiseen kuntoon että tekoälyllä parannetaan peruskoodareidenkin tuottavuutta. Ja siinä vaiheessa on varmasti keksitty seuraava uusi juttu, jonka hyödyntämiseen tarvitaan jälleen enemmän niitä entistä tuottavampia koodareita.
7 tykkäystä
Tämä on oma havaintoni myös GitHub Copilotia käytettäessä. Fiilis on kuin todella fiksua kokematonta koodaria, jolla on vahva tunnelinäkö/laput silmillä, ohjaisi.
Niin kauan kuin ne juniorit ovat osana tiimiä, jossa on kokeneempia ja jossa on tähänkin asti tehty juniorien mentorointia oikeasti, tämän ei tarvitse muuttaa hirveästi mitään. Tiimi ohjaa oikeille tavoille. Omassa tiimissäni olen sanonut että “koska Copilot teki sen niin” ei ole koskaan riittävä vastaus
8 tykkäystä
Joo ihan samat fiilikset koodauksen osalta ja kyllä ChatGPT 4:llä onnistuu koodaus varsin mainiosti kunhan osaa vaan tökkiä sitä oikeaan suuntaan. Itse hostatut mallit ovat koodauksen osalta vielä enemmän raakileita, tosin oman testailun perusteella WizardCoder on jo aika lähellä sitä tasoa mihin ChatGPT 3.5 pystyy.
Tuli testailtua samalla exllamaa ja sehän on aivan mieletön nopeusboosti AutoGPTQ:n verrattuna. 4-bit 30B mallilla 10 tokenia sekunnissa kotikoneella 
Jännäksi menee mitä seuraavaksi keksitään. SqueezeLLM kuulostaa ainakin paperilla todella lupaavalta 
To address this, we introduce SqueezeLLM, a post-training quantization framework that not only enables lossless compression to ultra-low precisions of up to 3-bit, but also achieves higher quantization performance under the same memory constraint.
…
When applied to the LLaMA models, our 3-bit quantization significantly reduces the perplexity gap from the FP16 baseline by up to 2.1x as compared to the state-of-the-art methods with the same memory requirement. Furthermore, when deployed on an A6000 GPU, our quantized models achieve up to 2.3x speedup compared to the baseline.
Tätä menoa ei tarvitsekaan ostaa seuraavaan koneeseen 2x RTX 5090 vaan nykyinen RTX 3090 riittää mainiosti omaan käyttöön 
4 tykkäystä