Meta Is Developing a New, More Powerful AI System as Technology Race Escalates
Parent of Facebook and Instagram wants artificial-intelligence system to be as capable as OpenAI’s most advanced model
Sept 10 2023
The parent of Facebook and Instagram is working on a new artificial-intelligence system intended to be as powerful as the most advanced model offered by OpenAI, the
-backed startup that created ChatGPT, according to people familiar with the matter. Meta aims for its new AI model, which it hopes to be ready next year, to be several times more powerful than the one it released just two months ago, dubbed Llama 2
The planned system, details of which could still change, would help other companies to build services that produce sophisticated text, analysis and other output.
It is the work of a group formed early this year by Meta Chief Executive Mark Zuckerberg to accelerate development of so-called generative AI tools that can produce humanlike expressions.
Meta expects to start training the new AI system, known as a large language model, in early 2024, some of the people said.
Exllama2 julkaistiin uudella kvantisointiformaatilla, joka alustavissa testeissä mahdollistaa 70B parametrin mallien ajamisen yhdellä 24 GB kuluttajanäytönohjaimella. Tällä hetkellä pyörivät vain 34B mallit, joten ero laadussa potentiaalisesti mielettömän iso, mikäli perplexity ei kasva liikaa. Lisäksi Exllama2 on huomattavasti nopeampi kuin Exllama1, joten taas avoimet mallit ottavat hyvin pian suuren harppauksen eteenpäin, kunhan jengi saa otettua tuon käyttöön
Noniin, toiveeni ovat toteutumassa. Ikävä kyllä, tämä käynnistetään alkuunsa vain USA:ssa.
Alexasta on tulossa kielimallilla terästetty versio. Hinta vielä arvoitus.
Nyt Venture Beat kertoo, että Amazon herättää Alexan henkiin. Uusittu avustaja saa tuekseen laajan kielimallin, jonka luvataan antavan Alexalle kyvyn keskustella rennosti ja realistisesti kuin ihminen. Alexan kanssa voi esimerkiksi jutella resepteistä ja lomamatkaideoista, tai laatia sen kanssa yhdessä runoja.
Amazonin tekoälyjohtaja Rohit Prasad kertoo, että uusittu Alexa rakennettiin neljän peruspilarin ympärille: laajat kielimallit, reaaliaikaiset palvelut, räätälöity toiminta sekä vastuullisesti toimiva tekoäly.
Amazonin mukaan Alexa ohittaa ChatGPT:n kyvyt korkealta ja kovaa. Siinä missä ChatGPT:n tietokanta päättyy vuoden 2021 loppuun, Alexa tarjoaa reaaliaikaista tietoa. Sen lisäksi uutta Alexaa vaivaa pienempi viive kuin aiemmin.
En löytänyt ainakaan ketjuhaulla tietoa, että oliko se toiminnallisuus ChatGPT-pohjaisten PowerPoint-esitysten tekemiseen jo olemassa?
Muistelen, että jokunen kuukausi sitten oli demovideoita, joissa PowerPointiin syötettiin tehtävä (tai jopa erillinen dokumentti?), josta PP sitten laati valmiiksi visualisoidun nätin diashown.
Tietääkö joku, että onko tällaiseen tuotteeseen normikuluttajalla pääsyä?
Tarkoittanet MS:n copilottia PowerPointille ja muille Office-ohjelmistoille. Julkaisupäivää ei ole vielä tälle olemassa, mutta eiköhän se sieltä tule kuluttajalle.
Jos jollekin oli epäselvää niin ChatGPT parantaa tuottavuutta. Alla oleva kuva on Boston Consulting Groupin konsulteilla tehdyn kokeen tuloksista. Tehtävinä realistisia liikkeenjohdon konsultin tehtäviä:
Hahmottele jalkine idea erikoismarkkinoille ja määrittelemään jokainen siihen liittyvä vaihe, prototyypin kuvauksesta markkinasegmentointiin ja markkinoille pääsyyn
Liiketoiminnan ongelmanratkaisutehtävä käyttäen kvantitatiivista dataa, asiakas- ja yritys haastatteluja.
Githubin CEO Thomas Dohmke kertoi Yahoo:lle Githubin tehneen omia tutkimuksiaan, joiden mukaan Copilottia käyttävät kehittäjät olivat jopa 55% verrokkejaan nopeampia. Hän piti tätä ensimerkkinä koko sektoria odottavasta tehokkuuden lisääntymisestä AI:n myötä.
We actually did research to show that developers [who] use Copilot are up to 55% faster. That’s a massive productivity increase and probably one of the first use cases for AI, where a whole sector’s workforce becomes more productive through adopting AI.
Lisää tuolta →
Github (tai joku muu oikeinkirjoituksesta huolestunut) on muuten varmistanut, että huomaat kirjoittaneesi githubin osoitteen väärin. Harvalla on oma domain tällaista varten. →
Yksi lyhyt näkemys suljettujen mallien ja opensource AI kehittäjien kyvyistä.
Artikkeli ei edes maininnut että isot poikkeuksetta lobotomisoivat omansa käyttökelvottomiksi poliittisen korrektiuden nimessä.
Kiitos kaikille minunkin puolestani hyvästä keskustelusta. o7
Ruotsalaisten oma AI-guru, Linus Ekenstam, on leikkinyt HeyGen-softalla ja onhan tämä jälleen melko uskomatonta settiä. Dubbaus ja lipsync samassa paketissa.
AI on kiihdyttänyt uuden teknologian käyttöönottoa kaikessa julkaisemisessa ja kommunikoinnissa – ja se on hieno homma se. Mielestäni Linus esittää ihan uskottavan vision tulevaisuuden palavereista.
Lisäämäni (formerly known as)Twitter-linkin takaa löytyy täyspitkät videot eri kielillä.
Tekoälyn sensoroimattomuus on tärkeä asia myös tavallisille käyttäjille. Eric Hartford käy läpi hyviä esimerkkejä, että miten sensurointi rajoittaa tekoälyn hyödyllisyyttä:
Sääli ettei Linus kertonut paljonko laskentaa tarvittiin. Vilkaisin myös kommentit. Jos joku tietää dollarit, eurot tai flopit niin kertokaa.
Katselin videon jossa tekijä oli vahvasti sitä mieltä, että chatgpt on sieluton ja tylsä. Olen samaa mieltä. ChatGPT:n vastaukset on kuin tuottaisi fuusion juristien, viestinnän ja diversity & inclusion teamin teksteistä. Videossa ratkaistiin ongelma ja finetunetettiin lama malli käyttäen WallStreetBetsin tekstejä. Esimerkki lopputuloksesta. User: What if I told you were an AI model? Chat: What if I told you were a retard?
Pelkästää se että syöttää yllä olevan ja pyytää kielentarkastuksen aiheuttaa sen että ChatGPT laskee allensa.
Asiasta kolmanteen. Mielenkiintoisia tulee olemaan muutokset softa-alalla. Tuottavuus nousee kuten GitHub pomo kertoi, mutta niin nousee myös laatu. Sitä ei jutussa taidettu mainita. ChatGPT on varsin näppärä refaktoroimaan koodia. Tämä on usein se kohta missä laiskuus iskee monelle. ChatGPT:llä on helppo tuottaa muutama uusi design variantti ja voi keskittyä pohtimaan mikä niistä olisi tarkoituksenmukainen. Mitä tämä sitten tarkoittaa? Luulen että kaikki paskat legacy-järjestelmät tullaan korvaamaan paremmilla. Kuluttajapuolella softa on pitkään ollut ihan semi-OK laatuista. Enterprise puolella on sitten ollut käytössä ihan hirveää roskaa ja hintalappu ihan uranuksessa.
Alla pari paperia jossa GPT4 kompastelee. Osoittaa hyvin että kaikki ajatukset siitä että GPT4 olisi tietoinen voidaan laittaa roskakoriin. Ihan tunnetut AI nimet (Karpathy?) taisi tällaista soopaa jonkun aikaa sitten höpistä.
“The Reversal Curse…” GPT4 osaa vastata kysymykseen kuka on Tom Cruisen äiti (Mary Lee Pfeiffer). Mutta ei tiedä kuka Mary Lee Pfeifferin poika (Tom Cruise).
"Reasoning or Reciting?.."Jotain ulkoaopettelua on selvästi havaittavissa. Normaalista shakin avauskonfiguraatiosta saa oikein hevosen liikkeen, mutta jos hevonen ja lähetti vaihtaa paikka niin alkaa sekoilla ja biittaa just just randomin (viiva kuvassa). Jokainen ihminen joka osaa shakin säännöt saa oikein 100%. Paperissa myös muita esimerkkejä
En ihmettele että ääninäyttelijöiden ammattikunta on huolestunut… World of Warcraftissa vain pieni osa tekstistä on puhuttu.
No, pelaajat fiksasivat addonilla jonka mukana tulee 1.1 gigaa äänitiedostoja jotka on AI-generoitu:
Toistaiseksi vain Classicciin, mutta enpä ihmettelisi jos kehittävät myös lisäosille. AI generoi juuri niin monta gigaa voiceovereita tekstistä kuin tarvitaan… eivätkä nuo kuullosta lainkaan hullummilta. Joo, ammatti-ääninäyttelijä ajan kanssa ja kunnon ohjauksella tekee vielä parempaa, mutta hinta/laatusuhde sanoo että edessä on kovat ajat…
Toisaalta tämä teknologia tarkoittaa että oikeastaan mikä vain peli voi tarjota täydet voiceoverit vaikka kuinka monella kielellä. Tähän asti moinen on vaatinut isoa budjettia ja paljon porukkaa.
Oikeiden ihmisten kanssa on muitakin lakiteknisiä ja tuotannollisia ongelmia.
Saat valmiiksi voice overit ja sopimus sisältää tämän yhden pelin. Et saa käyttää samoja ääniä jatko-osassa. Halust lisää ääniä päivitykseen mutta näyttelijä on kiireinen, ahne tai jo kuollut. Tämä on yllättävän haastavaa ja kallista.
Ehkä tulevaisuudessa jonkinlainen hybdiridi malli missä näyttelijä vetää päälainit ja loput hoitaa näistä opetettu äänimalli näyttelijän suostumuksella ja siitä maksetaan korvaus.
