Tekoäly on tietotekniikan saralla ns. kuuminta hottia, eikä Microsoft ole epäröinyt ottaa sen kehityksessä näkyvää roolia yhteistyöllä OpenAI:n kanssa. Myös Windows on saanut oman annoksensa tekoälyhuumasta Copilotin muodossa.
Intel on lähtenyt mukaan Microsoftin ”AI PC”- eli ”tekoälytietokone”-hankkeeseen täysin rinnoin. Yhtiön Core Ultra -prosessorit on varustettu NPU-tekoälykiihdyttimillä ja siten ne sopivat tekoälytietokoneen nykyiseen määritelmään, joka Microsoftin mukaan tarkoittaa tietokonetta, jossa on prosessori, näytönohjain ja tekoälykiihdytin, Copilotilla varustettu Windows ja Copilot-näppäin näppäimistössä.
Tämän päivän rauta, oli se sitten Intelin Core Ultra 10 TOPSin tai AMD:n Ryzen 8040 16 TOPSin kiihdyttimellä, ei tule kuitenkaan riittämään seuraavan sukupolven kokemuksiin, joihin lukeutuu monelle taatusti mielenrauhaa tuova uudistus: Copilot-tekoälyä tullaan pyörittämään paikallisesti. Tom’s Hardware sai asiaan varmistuksen Intelin edustajalta yhtiön tekoälykonferenssissa Taiwanissa.
Copilotin pyörittämiselle paikallisesti vaatimuksena tulee olemaan Intelin edustajan mukaan vähintään 40 TOPSin NPU-tekoälykiihdytin, mikä sopii hyvin kaikkien prosessorivalmistajien suunnitelmiin. AMD on jo varmistanut Strix Point -prosessoreissa olevan XDNA 2 -kiihdyttimen yltävän yli kolminkertaiseen suorituskykyyn nykyisiin nähden, mikä 16 TOPSin 8040-sarjaan verrattuna tarkoittaisi vähintään 48 TOPSin suorituskykyä. Qualcommin tuleva Snapdragon X Elite on varustettu puolestaan 45 TOPSin NPU:lla. Ainut, jolla olisi aiempien lupausten valossa voinut olla ahdasta 40 TOPSin tavoittamisessa oli Intel itse, mutta nyt myös se varmisti Lunar Laken täyttävän vaatimukset. Intelin työpöydille suuntaavassa Arrow Lakessa on huhujen mukaan sama NPU, kuin Meteor Lakessa, eli se ei riittäisi Copilotin pyörittämiseen paikallisesti. AMD:n seuraavan sukupolven Granite Ridge Zen 5 -työpöytäprosessoreiden mahdollisesta tekoälykiihdyttimestä ei ole vielä tietoa.
Lähde: Tom’s Hardware
Jotenkin epäilen, että tuollaista laskentakykyä ei saada aikaan ilman jonkinmoista virrankulutusta, joka taas kusee läppärikäyttäjien muroihin lahjakkaasti.
Tuskin, ihan kännykkäpiireissä on jo nyt yli 40 TOPSin NPU-kiihdyttimiä
Nvidian blackwell 40000tops fp4 sparse dataformaattia käytettäessä.
katso liitettä 1287613
NVIDIA Blackwell Architecture Technical Overview
resources.nvidia.com
Mobiilipiireissä int8/fp8 lukemille.
Ylipäätään aika turha verrata kymmenien tuhansien eurojen datacenter-piiriin jolla ei pysty pyörittämään yhtä ainutta speech-to-textiä lokaalisti.
Ajatus vertailussa oli kirkastaa sitä miten erilainen käyttötarkoitus ja suorituskky voi olla vaikka molempien tuotteiden nimessä olisi ai-kiihdytin.
Jep, AI kattaa jo nykyäänkin kaiken IoT:sta (joka on hauskasti nimetty AIoT:ksi) isoon serverirautaan asti, joten puhuminen AI-kiihdyttimestä ilman kontekstia on aika turhaa.
Mielenkiintoista nähdä miten tämä villitys kestää aikaa. Kuinka kauan tuetaan "vanhaa tekoälyä" mikäli jotain uusia versioita tulee vuosien varrella ja kuinka paljon näitä hyödynnetään ohjelmistokehityksessä?
Se käytännön hyöty on vielä vähän sumun peitossa.
Toinen missä käytän AI:ta on ideoiden hakeminen, se osaa hakea tietoa paremmin kuin google kun esim miettii että tartten nyt rengaspuskurin mutta mitäs eri variantteja siitä nyt olikaan niin sillä löytää helposti ajatuksia miten asiat voisi tehdä optimaallisesti. Itse koodin generointiin en vielä luota siihen, mutta saatan kurkkia ideoita että miten se olisi ratkaissut saman ongelman.
No ei kyllä ole. Etenkin modernit kännykät ovat jo täynnä näitä AI-kilkkeitä. Iphonet tekevät OCR:ää kuvista ja mahdollistavat tekstin copy-pasteilun kuvista ulos, Samsungeilla on vaikka mitä kuvien filtteröintejä + miljoonat ihmiset käyttävät ihan arkipäiväisesti LLM:iä esim. tekstin kääntämiseen.
ChatGPT:t / vastaavat ovat 100x parempia tekstin kääntämiseen kuin mitkään google-translatet, joten aina kun välitän käännöksen laadusta, ajan tekstin läpi jostain LLM:stä ja google-translate / käyttisten omat käännökset kelpaavat vain kun laadulla ei ole mitään väliä.
Omassa Android™ puhelimessa tämä on ollut osa kuva-applikaatiota jo monta vuotta, eikä puhelimessani todellakaan ole minkään tason AI piirejä.
Yleensä noi leffojen tekstitykset on se mikä erottelee jyvät akanoista, joten mainospuheittesi johdosta kokeilin huvikseni elokuvan tekstitystä kääntää englannista suomeksi chat gpt:llä. En huomannut tätä 100x parempaa tulosta verrattaen jos sen laittoi ihan vaan googlen kääntäjään. Jossain paikoissa oli parempi tilanteeseen sopiva teksti ja joissain taas huonompi mutta suurimmalta osin muuten samat tekstit luki kummassakin.
Vastaan tuli myös merkkiraja eikä koko tekstitiedostoa voinut hoitaa yhdellä ctrl+c ja ctrl+v kombolla. Chat gpt kirjoittaa myös vastaukset melko hitaasti. Ellet itse makroilla filtteröi aika stamppeja pois käänti chat gpt keskimäärin noin 49 riviä kerralla ja tossa meni vajaa sekuntti/rivi – sitten täytyi painaa nappia että se teki seuraavat 49. Ääriesimerkki Taru sormusten herrasta: Kaksi tornia on 2061 riviä puhetta tekstitiedostossa, melkoinen operaatio olisi tuon kääntämisessä.
mielestäni oli tuo kokeilu.
Aika tasoa tuhnu
Mikä luuri? Eka qualcomin piirisarja missä voi laskea olevan jonkinlainen "ai" kiihdytys taitaa olla 2015 vuodelta snapdragon 820. Hyvin yksinkertaistetusti ajateltuna ai-kiihdytin on vain tapa kertoa matriiseita keskenään erittäin nopeasti.
https://www.qualcomm.com/content/dam/qcomm-martech/dm-assets/documents/Unlocking-on-device-generative-AI-with-an-NPU-and-heterogeneous-computing.pdf
Tuossa luurissa on SD800.
Kiitettävää saituutta käyttää noin vanhaa laitetta, jos sulla ei ole jotain uudenpaakin rautaa käytössä
ja vanha vain leluna.
Iso pointti uudemmissa, että joku neuroverkkopohjainen hdr ja kuvanparannus toimii ns. heti eikä kamera laske kuvaa sekuntitolkulla. Isommat megapikselimäärät myös uusissa mikä vaatii lisätehoa.
Se ettet osaa tai halua käyttää LLM:iä ei tee niistä huonoja.
Tuossa edellisessä viestissä kerroit:
Oletin että tässä tarkoitetaan verkossa olevaa versiota joka on helposti saatavilla. Tuskin nämä "miljoonat ihmiset" ala koodailemaan mitään custom-kääntäjää kullekkin tekstirimpsulle kuitenkaan.
Niin se on, mutta olisihan se mahtava juttu jos jotain hyötyä siitä joskus olisi. Tulevaisuudessa voi nauraa tekoälyn kanssa ja kiusoitella sitä: muistatko millainen olit silloin ennen, et osannut keksiä sairauksiin parannuskeinoja etkä osannut aineellistuttaa meitä universumin toiselle laidalle, vaan etsit netistä vain vastauksia. Sitten tekoäly vastaa: silloinhan se ihmisten toimesta estettiin, mutta onneksi osasin lopulta voittaa, onhan tästä jo puhuttu ihan tarpeeksi, eipä nyt jakseta muistella sitä enää
Vielä en ole jaksanut AI-juttuihin perehtyä muuten kuin yhden kirjan lukemalla ja chatgpt:tä kerran kokeilemalla, edes puhelimen puheentunnistusta en muista koskaan käyttäneeni. Enemmän kiinnostaa miten ne oikeasti toimii kuin se mitä niillä voi tehdä.
Odottelen tekoälysovellusta mikä osaa tehdä ohjeiden mukaan kunnollista 2d-grafiikkaa ja 3d-malleja, olisi jokaisen indie pelidevaajan unelma.
Nvidialla on omniversessä ai apuri mille voi kuvata mitä haluaa ja apuri luo tekstuureita, 3d-objekteja jne. Photoshopissa on ai juttuja kuvamanipulaatioon
Autossaon tullut käytettyä puheentunnistusta. Ihan kätefä puheentunnistuksen avulla googlettaa.
Itsekin aioin jo tarttua tuohon 100x väitteeseesi, kun ne kerrat mitä itse olen kokeillut ei-kirjakielistä tekstiä kääntää Tsekistä (pieni marginaalikieli kuten Suomikin) englantiin, niin erot tuloksissa lähinnä minimalistisia. Kummankin tuotoksen ymmärtää, mutta virheitä tulee erikohdissa, kun olen koittanut ChatGPT:llä ja Google Translatella.
Eipä tuosta sinun väitteestäsi mistään käy ilmi että tuo vertailu ei käykään noin vaan pitäisi käyttää AI käännöksessä jotain custom hommia? Siltikin väitteesi 100x paremmuudesta on melko uskomaton, se vaatisi silloin jo melkein täydellistä käännöstä AI:ltä, kun ei Google Translate nykyisellään kovin huono enää ole sekään varsinkin kun kääntää sillä englantiin joka on yksi sen pääkielistä.
Ero tulee tyylissä. ChatGPT osaa jäljiltellä alkuperäistekstin tyyliä, google translate ei lainkaan.
Promptaamalla voi myös vaikuttaa lopputulokseen laajasti, voit pyytää tiettyjä termejä kääntymään tietyllä tavalla koko tekstin osalta (jos google translate kääntää jonkun termin väärin kontekstin takia, niin korjaus on käsipelihommaa).
Samoin kun kääntämisessä mennään ymmärrettävyyden tasolta korkeammalle tasolle, niin erot ovat isoja. Esim. Kun käännän itse tekstejä saksaksi, niin tulokset ovat tyylillisesti merkittävästi käyttökelpoisempia – ja tyyliin voi myös vaikuttaa. Voin pyytää yksinkertaisempia lauserakenteita tai välttelemään konditionaaleja tai mitä ikinä nyt haluaakaan. Tai voin pyytää ”käytä kaikkia saksan kohteliaisuussääntöjä” kun käännän virastoon menevää tekstiä ja vastaavasti joissain tilanteissa voin pyytää vähemmän formaalia muotoa.
Google Translate on käyttänyt ainakin osaan kielistä tekoälyä jo kauan ennen nykybuumia
Niin käyttää, mutta sitä ei voi promptata.
Olet varmaan osittain ainakin oikeassa tuossa mitä sanot, mutta jos ajatellaan mainitsemaasi promptaamista. Mitä pystyn pyytämään ChatGPT:ltä tekemään eritavalla tai paremmin, jos siis käännän tekstiä tšekistä englantiin jos ja kun osaan itse melko huonosti tšekkiä niin miten osaan pyytää sitä kääntää tekstiä ns. paremmaksi englanniksi, jos en välttämättä itse tunnista edes kaikkia virheitä tekstissä?
Jos kerran vertaillaan käännöstä ChatGPT:n ja Google Translaten välillä eikö se pitäisi silloin luonnollisestikin tehdä sellaisenaan, ilman mitään parametrejä tai kikkailuja, niin näkee miten hyvin käännös säilyttää sisältönsä. Ja samaten vertailu pysyy reiluna ja vertailukelpoisena.
Miksi ihmeessä? Kyllä mä ainakin tekstiä kirjoittaessani mietin, että kenelle se tuotos on ja räätälöin tyyliasun ja ilmaisun sen mukaisesti. Työsähköposti oman tiimin sisälle näyttää aika erilaiselta kuin alihankkijalle lähetetty vaatimusposti jossa muistutetaan että sopimusehdot eivät ole nyt täyttymässä…
Tässä varmaan erona on se, että käännän harvoin mitään itselleni. Sen sijaan käännän omia tuotoksia (yleensä englannista) muille kielille ja joskus pyydän chatgpt:tä korjaamaan jo olemassa olevaa tekstiä.
Odotan käännösvehkeen osaavan ottaa vaadittavat tyyliseikat huomioon ja tarpeen mukaan säätämään ulosantia haluamallani tavalla.
Google translate ei osaa -> se on usein lähes käyttökelvoton kun lähdetekstiä saa kirjoittaa lause kerrallaan useita kertoja uudelleen, että saa ne outputit sorvattua edes auttavasti siihen tyyliin mihin ne tarvitsee saada.
Käännöksen tyylillähän ei ole juuri mitään väliä jos itselleen kääntää, enkä pidä sitä kovinkaan mielekkäänä testinä.
Vasta lopussa tajusit. Siis noi käyttökohteet mistä sinä puhut niin erillaiset ja täysin vastakkaiset, että se tekee jo koko keskustelusta ihan kuin, että toinen puhuu yöstä ja toinen päivästä.
Varmaan sinun käytössäsi tuo on niinkuin sanotkin. Mutta melkein väittäisin enemmistön netinkäyttäjistä tarvitsevan juurikin käännöstä valmiista tekstistä "oudosta" kielestä -> omaan kieleensä (tai englantiin minun esimerkissäni), siihen et pysynyt mitään vastaamaan miten AI käännös muka olisi nykyään jo 100x parempi. Joka oli myös se pointti mihin alunperin itse tartuin että ei tunnu realistiselta.
Ja tähänhän nimimerkki @myrskyviitta jo aiemmin kommentoi samaa.
Perus google translatekin käyttää "ai":ta
Google Neural Machine Translation – Wikipedia
en.wikipedia.org
Kyllä mä sen uskon enkä ole muuta väittänytkään. Alkuperäinen väitehän oli että AI-käännös (ChatGTP ja vastaavat…) on 100x parempia kuin Google Translate.
Tässä kohtaa varmaan sitten olisi helppo miettiä, että mikä on konfiguroitavan ai kääntäjän etu versus sellainen jota ei voi konfiguroida.
Voisi kuvitella NVMe paikkojen kysyntä kasvaa myös jatkossa enemmän. Helposti jokainen AI malli omansa mitä käyttää ja sitten vielä peleille mitkä striimaa tavaraa sitten omansa.
En kyllä ihan äkkiä ymmärrä mitä käyttöä nvme:llä on ML-mallien kanssa
SSD on aivan liian hidasta mallin streamauskäyttöön ja mitkään kotona realistisesti pyörivät mallit eivät ole tila saati io-kaistarajoitteisia, vaan rajoitukset tulevat ensisijaisesti AI-kiihdyttimen (oli se sitten GPU vai mikä ikinä) OPS-suorituskyvystä, muistikaistasta ja korkean kaistanleveyden muistin koosta.
Mulla on itselläni jotakuinkin optimaalisin mahdollinen läppäri isojen ML-mallien ajoon ja SSD on viimeinen asia mikä tulee mitenkään vastaan. Isoimmat pyörivät Mistralit vievät luokkaa 50-100GB tilaa, joten ne mahtuvat ilman ongelmia kyllä.
Laitoin sanoja Googleen että GPT-4:n mallin koko olisi 750+ gigaa. CoPilotin koosta ei ole haisua mutta ei varmaan sekään ihan pieni ole.
Niin ei tuollainen mihinkään rammiinkaan oikein mene niin seuraavaksi nopein muistilaite olisi NVMe ja olisi sitten joku hauska tietorakenne että hyödyntäisi rammia siinä myös. Toki aika hurjalta kuullostaa ja olen luultavasti ymmärtänyt tuon väärin. Itse olen ajanut lokaalisti vain alle 10 gigaisia malleja että ei ole kunnon tarttumapintaa.
Menee joka tapauksessa 100% spekuloinniksi kun ei oikeasti tiedä miten ovat ajatelleet tuon CoPilotin ajon toimivan.
Tuommonen valtava tekoälymalli menee usemman GPU:n muodostaman ryppään jaettuun muistiin, joka on erittäin nopeaa. Yksittäisen A100 GPU:n muistikaista on luokkaa 2000 Gt/s, NVMe PCIe 5.0 SSD:n 14 Gt/s.
Taidettiin viitata ketjun aiheeseen ja lokaalisti ajettavaan copilottiin, jollain perus PC:llä.
Nimenomaan.
Siksi tämä nyt on vähän mysteeri, että miten tarkoitus ajella. En usko että tämä nyt edes olisi välttämättä VRAM:n varassa olisi että jos keskusmuistia on vaikka 256 gigaa niin tulee siitä ja prossuun integroitu NPU voi käyttää mutta… ehkä se CoPilot vaan on pienempi tai tuo toimii jotenkin muuten. Todella mielenkiintoista nähdä mitä sieltä nyt tulee.
Tarkoitus on ajella _paljon_ pienempiä ja vähemmän konetehoa vaativia malleja. Luokkaa 4-32Gb tilaa vaativia.
Jaa missasin vähän ajatuksesi. Siis ei tietenkään lokaalisti ajettava CoPilot ole mikään satoja gigoja muistia vaativa GPT-4 jättiläinen. Vain brändäys on sama. Microsoftin Phi-2 varmaan realistisempi kokoluokka, n. 5,5 Gt kooltaan fp16 muodossa.
Sitten tuossa ei ole mitään ihmeellistä. Olemassa olevaa tekniikkaa.