Tieteellisestä läpimurtopaperista menee muutamasta kuukaudesta vuoteen, että saadaan käytännön sovelluksia isommalle joukkiolle. Esimerkiksi QTIP-paperi julkaistiin 24 kesäkuussa ja Ekan kotikoneelle kelpaava variaatio ja työkalut julkaistiin 25 huhtikuussa. Tällä tavalla saadaan kvantisoitua (pienennettyä) mallit aivan uskomattoman pieneen kokoon viime vuoden parhaaseen yleisessä käytössä olevaan teknologiaan verrattuna:
https://arxiv.org/html/2406.11235v3
QTIP performs ultra-high dimensional (>100) quantization by using Trellis Coded Quantization, which has linear cost in dimension. This enables QTIP to outperform Vector Quantization-based approaches (QuIP#, AQLM) that are limited to low dimensions. With QTIP, 2 bit models scale better than theoretically optimal 4 bit models.
Eikä kehitys tähän tietenkään pysähtynyt, vaan tänä vuonna on jo tullut monta mielenkiintoista paperia, jotka toivottavasti poikivat loppuvuonna lisää parannuksia.
Mutta joo, konsoleille näitä ei todennäköisesti saada mitenkään toimimaan ainakaan ennen kuin niihin varta vasten laitetaan tekoälyä varten NPU-rautaa seuraavassa sukupolvessa. Tällä hetkellä jos haluaisit rakentaa LLM hyödyntävän pelin, niin peli olisi saatavilla vain peeceelle, linuksille ja mäkille. Konsolit muodostavat niin merkittävän markkinan peleille, että tokkopa monikaan valmistaja on tästäkään syystä kiinnostunut. Mutta kyllä nämä ovat peleissä 30-luvulla uskoakseni jo arkipäivää kunhan rauta nappaa softan kiinni.
Uskon myös, että kunhan Unreal Engineen seuraavan 5 vuoden aikana rakennetaan kyvykkyydet tehdä tekoälyn lisääminen peleihin kehittäjän näkökulmasta helpoksi, niin sen hyödyntäminen tulee leviämään räjähdysmäisesti 