![](\"https:\/\/images.cdn.yle.fi\/image\/upload\/\/w_205,h_115,q_70\/39-96921462a6f9dba2fe6.jpg\")
<\/p>\n<\/p>\n
Euroopan nopein supertietokone Lumi siirtyi Kajaanissa t\u00e4yteen tehoon viime syksyn\u00e4. Lumi p\u00e4\u00e4si heti mukaan teko\u00e4lybuumiin. Ensi t\u00f6ikseen supertietokone sai laskettavakseen t\u00e4ysin suomenkielisen GPT-kielimallin. Samanlainen malli, joskin huomattavasti isompi, l\u00f6ytyy ilmi\u00f6ksi nousseen Chat GPT -sovelluksen sisuksista.<\/p>\n
Lumi-supertietokoneesta vastaava Science and Technology -yksik\u00f6n johtaja Pekka Manninen<\/strong> Tieteen tietotekniikan keskuksesta kertoo, ett\u00e4 kajaanilaisella laskentateholla on nyt paljon kysynt\u00e4\u00e4. Syksyll\u00e4 k\u00e4ynnistetty FinGPT3 -hankkeen j\u00e4lkeen Lumi on ollut Mannisen mukaan t\u00e4ysty\u00f6llistetty. Nyt vastaavanlaisia hankkeita on k\u00e4ynniss\u00e4 monista muista eurooppalaisista kielist\u00e4.<\/p>\n \u2013 Voidaan luonnehtia, ett\u00e4 generatiivinen teko\u00e4ly on ollut korostetussa roolissa, Manninen muotoilee.<\/p>\n \u2013 Kone on l\u00f6yt\u00e4nyt k\u00e4ytt\u00e4j\u00e4ns\u00e4, Manninen jatkaa.<\/p>\n Lumin arkkitehtuuri on juuri sopiva kielimalleille, joiden kehitt\u00e4minen vaatii paljon grafiikkasuorittimilla teht\u00e4v\u00e4\u00e4 rinnakkaislaskentaa. Kajaanin supertietokoneen laskentateho pohjautuu juuri grafiikkasuorittimiin.<\/p>\n Manninen kertoo, ett\u00e4 kielimallit ja niiden mahdollistavat generatiiviset teko\u00e4lyj\u00e4rjestelm\u00e4t eiv\u00e4t aikoinaan nousseet t\u00e4rkeimmiksi huomioiksi, kun koneen arkkitehtuuria suunniteltiin.<\/p>\n \u2013 Luonnollisen kielen k\u00e4sittely oli siell\u00e4, mutta lopulta puoliksi hyv\u00e4n sattuman kautta koneen arkkitehtuuri on juuri sit\u00e4, mit\u00e4 generatiivinen teko\u00e4ly tarvitsee, Manninen toteaa.<\/p>\n Lumi sai FinGPT3:n laskuty\u00f6n valmiiksi tammikuussa. Luonnollisen kielen k\u00e4sittelyyn keskittyv\u00e4 TurkuNLP-tutkijaryhm\u00e4 julkisti mallin helmikuussa. Toisin kuin amerikkalaisen teko\u00e4ly-yhti\u00f6 OpenAI:n kehitt\u00e4m\u00e4t GPT-mallit, TurkuNLP:n malli on t\u00e4ysin avoin ja kaikkien k\u00e4ytett\u00e4viss\u00e4.<\/p>\n Manninen pit\u00e4\u00e4 t\u00e4rke\u00e4n\u00e4, ett\u00e4 kielimalleja kehitet\u00e4\u00e4n my\u00f6s akateemisessa maailmassa.<\/p>\n Viime vuosina kehitys on kuitenkin kulkenut toiseen suuntaan. Stanfordin yliopiston viime kuussa julkaiseman vuosittaisen teko\u00e4lyraportin (siirryt toiseen palveluun)<\/span><\/a> mukaan teko\u00e4lyn kehitysty\u00f6 on siirtynyt voimakkaasti akateemisesta maailmasta yritysmaailmaan. Raportin mukaan viime vuonna julkaistuista merkitt\u00e4vist\u00e4 koneoppimismalleista 32 oli kehitetty yrityksiss\u00e4 ja vain kolme yliopistoissa.<\/p>\n Samaan aikaan yritykset ovat alkaneet varjella tutkimustuloksiaan tiukemmin. Esimerkiksi Google (siirryt toiseen palveluun)<\/span><\/a> on lopettanut l\u00e4hes t\u00e4ysin kaiken tutkimustulosten julkaisun sen j\u00e4lkeen, kun OpenAI julkaisi Chat GPT:n.<\/p>\n Google tutkimuksesta on yleistynyt esimerkiksi muunnin, joka mahdollistaa nykyisten kielimallien pitk\u00e4n muistin. T\u00e4m\u00e4 muunnin merkitsee T-kirjainta GPT:ss\u00e4, joka on lyhenne sanoista generative pre-trained transformer.<\/p>\n \u2013 Generatiivinen teko\u00e4ly tulee olemaan yksi t\u00e4m\u00e4n vuosikymmenen keskeisimmist\u00e4 teknologinen l\u00e4pimurto, joten on t\u00e4rke\u00e4\u00e4, ett\u00e4 sen kehitys on selitett\u00e4v\u00e4\u00e4 ja l\u00e4pin\u00e4kyv\u00e4\u00e4. Siksi on t\u00e4rke\u00e4\u00e4, ett\u00e4 akateemista tutkimusta tehd\u00e4\u00e4n, Manninen sanoo.<\/p>\n P\u00e4\u00e4tt\u00e4j\u00e4t eri puolilla maailmaa ovat havahtuneet teko\u00e4lyn kehityksen nykytilaan.<\/p>\n Euroopan unioni rahoittaa kolmivuotista HPLT-hanketta (siirryt toiseen palveluun)<\/span><\/a>, jonka tarkoituksena on luoda avoimia kielimalleja, jotka kattavat kaikki EU-kielet. Viime viikolla Yhdysvaltain hallinto (siirryt toiseen palveluun)<\/span><\/a> ilmoitti 140 miljoonan dollarin, eli reilun 120 miljoonan euron, hankkeesta, joka synnytt\u00e4\u00e4 maahan seitsem\u00e4n uutta kansallista teko\u00e4lyn tutkimuskeskusta.<\/p>\n Britannian valtiovarainministeri\u00f6 ilmoitti aiemmin kev\u00e4\u00e4ll\u00e4 (siirryt toiseen palveluun)<\/span><\/a>, ett\u00e4 valtio investoi 900 miljoonaa puntaa, eli reilun miljardi euroa, supertietokoneen kehitt\u00e4miseen. T\u00e4m\u00e4 investointi on osa maan teko\u00e4lystrategiaa, jonka yhten\u00e4 tavoitteena on luoda briteille oma BritGPT-kielimalli.<\/p>\n Kuuntele Uutispodcastin jakso: Kohistu Chat GPT on tehokas arvauskone, jonka uskotaan mullistavan asiantuntijaty\u00f6n<\/strong><\/em><\/p>\n Suomen kielen suurimman kielimallin kehitt\u00e4neen TurkuNLP:n j\u00e4sen Turun yliopiston tietotekniikan laitoksen yliopistotutkija Sampo Pyysalo<\/strong> on samaa mielt\u00e4 avoimuuden t\u00e4rkeydest\u00e4. Avoimuus mahdollistaa mallien p\u00e4\u00e4lle rakentamisen aivan eri tavalla kuin avoimet rajapinnat, joiden kautta p\u00e4\u00e4see k\u00e4siksi tiettyihin toimintoihin, jotka ovat aina lopulta palveluntarjoajan, Chat GPT:n tapauksessa OpenAI:n, hallinnassa.<\/p>\n FinGPT3:n avoimuus onkin melkein t\u00e4rke\u00e4mpi seikka kuin se, ett\u00e4 se on suomenkielinen. Toki suomenkielisell\u00e4 datalla on merkitt\u00e4v\u00e4 rooli mallissa.<\/p>\n \u2013 Kun malli on koulutettu puhtaasti suomenkielisell\u00e4 datalla, niin sen parametriavaruudesta ja muusta kapasiteetista 100 prosenttia kuuluu suomelle. Mallit, joissa alle prosentti koulutusmateriaalista on suomenkielist\u00e4, pystyv\u00e4t tuottamaan hyv\u00e4\u00e4 suomenkielist\u00e4 teksti\u00e4, mutta ne eiv\u00e4t v\u00e4ltt\u00e4m\u00e4tt\u00e4 ole omaksuneet suomalaisia perspektiivej\u00e4, Pyysalo pohtii.<\/p>\n Puhtaasti suomenkielisi\u00e4 GPT-3-malleja pystyttiin kouluttamaan 13 miljardiin parametriin asti, mik\u00e4 karkeasti tarkoittaa 13 miljardia muuttujaa, joita kone oppii s\u00e4\u00e4telem\u00e4\u00e4n koulutuksen aikana.<\/p>\n T\u00e4m\u00e4 on varsin vaatimaton m\u00e4\u00e4r\u00e4, kun sit\u00e4 verrataan OpenAI:n alkuper\u00e4iseen GPT-3 -malliin, jonka parametrien m\u00e4\u00e4r\u00e4 on 175 miljardia. GPT-4:n kerrotaan olevan koulutettu yli biljoonaan parametriin asti.<\/p>\n Eik\u00e4 isompaa t\u00e4ysin suomalaista kielimallia ole tulossa ihan l\u00e4hiaikoina. Pyysalo toteaa, ett\u00e4 jo nyt suomenkielinen data on loppunut kesken. FinGPT3:a varten koluttiin kansalliskirjaston digitaaliset arkistot, kielipankkien uutisarkistot ja suurin osa suomenkielisest\u00e4 internetist\u00e4.<\/p>\n \u2013 Olemme tehneet suurimman mallin, jonka suomen kielell\u00e4 ei voi tehd\u00e4. Jotta meid\u00e4n kannattaisi alkaa tekem\u00e4\u00e4n suurempaa, niin pit\u00e4isi olla kymmeni\u00e4 miljardeja sanoja, jotta se tekisi jonkun eron, Pyysalo toteaa.<\/p>\n T\u00e4ss\u00e4 jutussa on t\u00e4h\u00e4n menness\u00e4 k\u00e4ytetty reilut 600 sanaa.<\/p>\n Mutta koolla ei aina v\u00e4li\u00e4, Pyysalo lohduttaa.<\/p>\n \u2013 Isot kielimallit itsess\u00e4\u00e4n eiv\u00e4t ole kovin hy\u00f6dyllisi\u00e4 mihink\u00e4\u00e4n, mutta jatkokouluttamalla niist\u00e4 voi saada kaikenlaisia luokittelijoita tai tekstigeneroijia erilaisiin teht\u00e4viin, Pyysalo sanoo.<\/p>\n TurkuNLP-tutkimusryhm\u00e4 on tehnyt n\u00e4in esimerkiksi 176 miljardin parametrin avoimelle BLOOM-kielimallille. Se jatkokoulutti monikielist\u00e4 mallia suomenkielisell\u00e4 datalla, jolloin mallin aikaisemmat kapasiteetit s\u00e4ilyiv\u00e4t, mutta se oppi rinnalle suomea.<\/p>\n My\u00f6s ty\u00f6 FinGPT3:n parissa jatkuu. Pyysalon mukaan mallin kanssa ollaan viel\u00e4 varhaisessa vaiheessa.<\/p>\n \u2013 Me olemme suurinpiirtein nyt siin\u00e4, miss\u00e4 OpenAI oli kolme vuotta sitten GPT3:n kanssa. Meill\u00e4 on hyv\u00e4 kielimalli, jota koulutamme parhaillaan seuraamaan ohjeita, mutta se ei tuota mit\u00e4\u00e4n, mik\u00e4 muistuttaisi dialogia, Pyysalo kuvailee.<\/p>\n Seuraavaksi TurkuNLP keskittyykin dialogimallin kehitt\u00e4miseen. Ja t\u00e4h\u00e4n tarvitaan dataa. Ryhm\u00e4 on k\u00e4ynnist\u00e4m\u00e4ss\u00e4 avointa joukkoistusprojektia (siirryt toiseen palveluun)<\/span><\/a>, jonka kautta ker\u00e4t\u00e4\u00e4n suomenkielist\u00e4 dialogia Lumin py\u00f6ritett\u00e4v\u00e4ksi.<\/p>\n Pyysalon mukaan Lumin rooli on ollut ratkaiseva suuren kotimaisen kielimallin kehitt\u00e4misess\u00e4.<\/p>\n \u2013 Aikaisemmilla koneilla emme olisi viel\u00e4k\u00e4\u00e4n lakanneet laskemasta n\u00e4it\u00e4 malleja, h\u00e4n toteaa.<\/p>\n Tulevaisuudessa laskentatehoa on viel\u00e4kin enemm\u00e4n, sill\u00e4 Bolognassa Italiassa ollaan paraikaa ottamassa k\u00e4ytt\u00f6\u00f6n Leonardo-supertietokonetta, josta tulee maailman nelj\u00e4nneksi tehokkain supertietokone heti Lumin j\u00e4lkeen.<\/p>\n Pyysalo ennustaa, ett\u00e4 kielimallien ja sit\u00e4 kautta teko\u00e4lyn kehitys jatkuu nopeana ellei viel\u00e4kin nopeampana my\u00f6s jatkossa, mik\u00e4li yll\u00e4tt\u00e4vi\u00e4 esteit\u00e4 ei tule vastaan teknologian, resurssien tai lains\u00e4\u00e4d\u00e4nn\u00f6n puolelta.<\/p>\n \u2013 Luulen, ett\u00e4 maailma jatkaa muuttumista aika nopeasti.<\/p>\n Kuuntele Uutispodcastin jakso: \u201dTeko\u00e4lyn kehitys seis!\u201d vaativat asiantuntijat \u2013 mit\u00e4 teko\u00e4ly uhkaa?<\/strong><\/em><\/p>\n <\/p>\nValtiot her\u00e4nneet yritysten ylivaltaan teko\u00e4lyn kehityksess\u00e4<\/h2>\n
Suomenkielinen data loppui kesken<\/h2>\n
Teknologinen kehitys ei osoita hiipumisen merkkej\u00e4<\/h2>\n