Tekoälytyökalut ovat nyt tapetilla. Teen väitöskirjatutkimusta pienistä kielimalleista ja agenteista, käytännössä edge-AI:sta.
En kirjoita tänään siitä, vaan hieman omista kokemuksistani Claudeen liittyen. Se on varmasti useimmalle tutumpaa kuin hienosäätö (fine-tuning), tislaus (distillation) tai kvantisointi ja muut optimointimenetelmät. Olen käyttänyt Claudea viime kesästä lähtien. Matkaan on mahtunut onnistumisia ja myös, sanotaanko vaikka, iterointia. Iterointia, sitä on ollut.
Onko kiire vai tehdäänkö tekoälyllä?
Päästän pitkän huokauksen, kun ymmärrän, että taas pitäisi tehdä töitä AI-pohjaisesti. Onko kiire, vai tehdäänkö tekoälyllä? Tai lähinnä, onko kiire, vai ehditkö ”iteroida” muutaman päivän. AI = Aina Iteroimassa. No ei aina. Vain joskus. Eli silloin, kun käytän sitä.
Olen koko syksyn leipaissut erilaisia työkaluja eri tarpeisiin tekoälyn avulla – ja joka kerta ”ihan vaan äkkiä”. Olen saanut aikaan raitaerottimen musahommiin, videostreamin hahmontunnistusta ”kärp… ihmispaperiksi” messustandin telkkariin, datanmurskaussovelluksen sijoitustoiminnan optimointiin (lue: rahan vastuuttoman törsäämisen edistämiseksi), puheen simultaanitekstaajan kuulovammaiselle äidilleni Android-kännykkään, demoja eri tarkoituksiin ja moneen muuhun työn tehostamisen tarpeeseen. Pari muutakin hanketta on tullut työn alle, mutta jätetään ne pois toiston välttämiseksi.
Claude-kokemus tähän asti
Lähdin alussa käyttämään ilmaisversiota ja rakensin raitaerottelijan musiikkiharrastustarpeisiini. Ensimmäinen versio tuli nopeasti melkein valmiiksi, mutta sitten tokenit loppuivat kesken ja joka päivä ilmeni joukko uusia ongelmia. Silloin tällöin tuli sellainen ajatus, että ”kävellen olisit jo perillä”, että noinkohan itse koodauksen kanssa olisi ihan näin tuskallista. Mutta olisi se, muistan turhan elävästi vieläkin esimerkiksi Symbianin ”hello worldin”. Se siitä, takaisin promptailemaan.
Lopulta sain parin viikon iterointikierrosten jälkeen ensimmäisen sovellukseni toimimaan omalla koneellani. Hurraa! Mutta, 50 uutta ongelmaa seurasi heti, kun sovelluksen asensi toiselle koneelle. Sitten tutustuin apuohjelmiin, jolla Claudelle sai projektimuistin. Heti perään ostin maksullisen lisenssin ja sain pääsyn sen tehokkaampiin kielimalleihin. Nyt homma alkoi rokata. Sain kaikki yhteensopivuusongelmat parissa päivässä kuntoon ja rohkeutta kokeilla muitakin, hieman tärkeämpiä sovelluksia.
Kuten aiemmin mainitsin, toteutin verrattain lyhyessä ajassa erilaisia mobiilisovelluksia, demoja asiakkaille ja sovelluksia Windows- ja MacOS-käyttöön ja oikeastaan kaikki menivät älyttömän nopeasti maaliin. Aika on rahaa. Myös tekoälyn käytössä. Palaan tähän vielä lopuksi. Ensin hallusinoidaan.
Hallusinointi
Tekoälyyn liitetään hirveän sinnikkäästi termi hallusinointi. Se johtuu siitä, että tekoäly tekee jonkin verran virheitä. Ei se nyt onneksi ihan Uuno Turhapuron pikakirjoitusta ole (elokuvassa Uuno Turhapuro armeijan leivissä), mutta on selvää, että mihinkään tuotokseen ei voi sinänsä luottaa, vaikka vastaus esitetään aina ”kunniasanalla ja kättä lippaan” -asenteella.
On ensiarvoisen tärkeää muistaa tarkastaa tekoälyn antamat vastaukset, tai sen kehittämät sovellukset, jotka julkaiset. Sama koskee päätösten tekemistä, erityisesti kriittisissä tilanteissa, mutta lähtökohtaisesti ihan jokaisessa tilanteessa!
Saamme siis tekoälyn avulla todella kätevästi esimerkiksi uusia työkaluja, mutta hallusinointia täytyy muistaa vähän varoa. Se voi yllättää pienissäkin asioissa tilanteissa, joita tuskin itse mokaisi. Alla esimerkki tällaisesta ”yllätyskyykystä”.
Esimerkkitapaus:
Erään tieteellisen artikkelin kirjoittajalla kävi hiljattain sellainen moka, että hän lisäsi pitkän monivaiheisen kirjoitustyön jälkeen lopulta lähteet tekoälyn avulla nopeuttaakseen viimeistelyprosessia. Tekoäly kirjasi lähdedokumenttien authoreiden nimiä tähän malliin (huom. nimet keksitty): P. Writer tekoäly avasi nimikirjaimen itse keksimällään etunimellä ja kirjasi ylös ”Peter Writer”. Kirjoittajan nimi olisi pitänyt olla vaikkapa ”Paris Writer”, tai mieluiten alkuperäisesti: P. Writer.
Tekoälyn tekemä muutos jäi huomaamatta ja artikkeli sai peer-reviewissä hylkäystuomion, jossa mainitaan ”hallusinoidut lähteet”. Oli kuulemma ”kiva hetki” lukea palaute. Kaikki pitää siis aina tarkastaa. Ihan kaikki, koska sinä tuotoksen julkaisijana olet vastuussa siitä, mitä olet tekoälyn avulla tuottanut. Siksi myös edelleen tarvitaan ohjelmistonkehityksen arkkitehteja ja kokeneita kehittäjiä ja testaajia, jotta osataan tarkastaa myös julkaistun sovelluksen tekoälyllä kirjoitutettu koodi.
Claudeamus Igitur: ”riemuitkaamme”
Tähän astisista kokemuksistani olen tehnyt itselleni muistiinpanoiksi ohjeet, että arvioi aina oma tarpeesi ennen tekemistä, suunnittele sitten vaikka tekoälyn avustuksella tapa, jolla voit toteuttaa mahdollisimman sopivan ratkaisun. Tällöin promptaaminen onnistuu paremmin ja iterointia tulee vähemmän. Ei se ole kovin paljoa sen monimutkaisempaa.
Jos kaiken pitää toimia asiakkaan private cloudissa omissa tiloissa bunkkerissa, selvitä tavalla tai toisella, miten saat omaan ympäristöösi riittävän tehokkaan edge-ratkaisun, joka osaa toimia juuri teidän ympäristössänne ilman nettiyhteyttä. Saattaa vaatia hieman alkupääomaa ja asiointia ”rautakaupassa”.
Jos sen sijaan pystyt esimerkiksi anonymisoimaan oman datasi ja sen jälkeen on suhteellisen samantekevää, mihin sitä dataa leviää ja käytetäänkö sitä tekoälyn koulutukseen, on aivan ok käyttää vaikkapa julkisia frontier -malleja eikä edes tarvitse ostaa kallista enterprise-lisenssiä.
Meneekö rahaa?
Riippuu täysin ympäristöstänne ja tarvetilanteestanne. Ota yhteyttä, niin keskustellaan!
Kustannusrakenne saadaan usein optimoitua hyvinkin matalaksi eikä alkuinvestointikaan ole kova. Kustannuksiin vaikuttavia tekijöitä on paljon ja niiden osuvuus kyllä selviää heti, kun tiedetään ratkaisutarpeen yksityiskohdista.
Jos sen sijaan kehitätte itse jo sovelluksia esimerkiksi Claudella tai Cursorilla ja olette tilanteeseenne tyytyväisiä, tuskin tarvitsette niiden käytössä kovin paljoa apuja, mutta toivottavasti blogi oli viihdyttävä ja samaistuttava.
Mitä seuraavaksi?
Edge-AI on tutkimuspöydällä. Kirjoitan siitä todennäköisesti seuraavaksi.
Joten: Pysykää kulholla! Palellaan! Ja niin edelleen.
Kirjoittaja on AtoZin Johtava asiantuntija ja tekoälyn väitöskirjatutkija, Tommi Tiitinen, MSc ja keittämässä kahvia.