Tekstitekoäly omalla koneellasi

Yksi tekoälyn suurimpia haasteita opetuskäytössä on digiturvallisten tekoälypalveluiden löytäminen. Valtaosa palveluista käyttää sinne syötettyä dataa tekoälyn jatkokouluttamiseen ja usein käyttöä on rajoitettu ikärajoilla. Monelta palvelut myös vaativat kirjautumisen ja kirjautumisehdoissa saatetaan vaatia paljonkin sellaista dataa palvelun käyttöön, minkä myöntämiselle ei ole mitään perusteita. Microsoft Copilot tarjoaa maksullisissa lisensseissään mahdollisuutta katoaviin keskusteluihin, mutta sekään ei mahdollista Lappeenranna kaupungin edellyttämää käyttöä opiskelija- saati oppilastunnuksilla - ainakaan toistaiseksi.

Yksi ratkaisu tähän ongelmaan saattaa löytyä omalla koneella käytettävistä tekoälypalveluista. ChatGPT, Copilot, Gemini ja muut toimivat verkon yli, jolloin itse kielimalli sijaitsee palveluntuottajan päässä ja siihen otetaan yhteys omalta koneelta. Luonnollisesti data kulkee tässä verkon ylitse ja aiheuttaa tiettyjä riskejä - ja varmaksi ei voi tietää mitä datalla tehdään. Kielimalleille on syötetty valtava määrä tietoa, joten niiden lataaminen tai käyttäminen omalta koneelta vaatii tehoja ja tallennustilaa laitteelta. Tähän kuitenkin löytyy ratkaisu, joka saattaa tarjota opetuskäyttöön lähitulevaisuudessa uusia mahdollisuuksia. LM Studio -niminen palvelu ladataan omalle laitteelle, siihen ladataan haluttu kielimalli ja tämän jälkeen palvelua voi käyttää vaikka ilman nettiyhteyttä.

Palveluun voi ladata esim. Metan Llama 3, Googlen Gemman tai minkä tahansa muun avoimen lähdekoodin kielimallin. Toistaiseksi kielimallit toimivat pääasiassa englanniksi - suomeksikin voi käydä keskusteluja, mutta niissä laatu on kaukana kaupallisista malleista. Jos lontoo taipuu, niin palvelun laatu oli hämmästyttävän hyvä! Monessa kohdassa saimme kokeiluissa laadukkaampia vastauksia kokeilemiltamme lokaaleilta kielimalleilta, kuin esim. Copilotilta tai ChatGPT:n ilmaisversiolta.

Jos haluat kokeilla LM Studiota, niin se on yksityiskäyttöön ilmainen ja lataaminen onnistuu täältä:
https://lmstudio.ai/ (aukeaa uuteen ikkunaan.

Käyttöliittymältään palvelu on selvästi suunnattu kokeneemmille propellipäille, mutta ei se myöskään ylitse pääsemättömän vaikea ole ottaa käyttöön - ja kielimallin asennuksen jälkeen käyttö onkin lähes kaupallisten palveluiden tasolla helppoudessaan.