Lohkoketju voi laajentaa tekoälyn koulutuksen saatavuutta DRL-palvelujen joukkoistamisella

Syvävahvistusoppiminen (DRL) yhdistää syvät neuroverkot vahvistusoppimiseen. Malli oppii toimintatapoja ympäristön kanssa käymänsä vuorovaikutuksen ja saamansa palkkion perusteella. Menetelmää käytetään vaativissa päätöksentekotehtävissä, mutta sen suunnittelu ja kouluttaminen edellyttävät usein huomattavaa asiantuntemusta ja laskentatehoa.

Tutkijat ovat ehdottaneet mallia, jossa DRL-palveluja hankitaan lohkoketjun avulla koordinoidulta asiantuntijajoukolta. Tavoitteena on helpottaa yritysten ja tutkijoiden pääsyä osaamiseen, laskentaresursseihin ja koulutettuihin malleihin. Kyse on tutkimuskehyksestä, ei valmiiksi laajasti käyttöön otetusta kaupallisesta palvelusta.

Mitä syvävahvistusoppiminen mahdollistaa?

DRL-mallit oppivat toimintastrategioita tiettyihin ympäristöihin. Aiemmin opittua voidaan joissakin tilanteissa hyödyntää uuden tehtävän koulutuksessa, mutta yleistyminen ei ole automaattista. Sovelluksia tutkitaan esimerkiksi ajoneuvojen ohjauksessa, robotiikassa ja lääketieteellisessä päätöksenteossa.

Lähde – Analyticsvidhya

DRL voi hyödyntää neuroverkkoja myös moniulotteisten havaintojen, kuten kuvien, käsittelyssä. Tavoitteena on kuitenkin oppia toimimaan ympäristössä, ei pelkästään tulkita havaintoja. Menetelmän mahdollinen rooli yleisessä tekoälyssä on tutkimuskysymys; DRL ei itsessään takaa ihmisen kaltaista yleistä oppimiskykyä.

Koulutusta voidaan jakaa useille laskentaresursseille, mutta tämä ei poista skaalautumisen ongelmia. Laskentakustannukset, tarvittavien kokemusten määrä ja ympäristön mallintaminen voivat edelleen rajoittaa käyttöä.

DRL:n haasteet

DRL-järjestelmän suunnittelu voi olla vaativaa. On määriteltävä ympäristö, havainnot, mahdolliset toiminnot, palkkiot ja optimointimenetelmä. Koulutus voi olla hidasta, vaikka koulutettu malli tekisi päätöksiä nopeasti. Kaikki vaiheet eivät siis tapahdu millisekunneissa.

Kehittäminen edellyttää usein asiantuntijoita, laskentaresursseja, testausta ja hienosäätöä. Virheellinen palkkiofunktio tai puutteellisesti mallinnettu ympäristö voi tuottaa tarkoitukseen sopimattoman toimintastrategian.

Miten DRL:n käyttöä voidaan helpottaa?

Asiantuntijatyö, ympäristöjen rakentaminen, datan keruu ja mallien kouluttaminen voivat nostaa aloituskynnystä. Palveluna saatava osaaminen ja laskentateho voivat auttaa, mutta sopivan ratkaisun tarve ja kustannukset riippuvat tehtävästä.

Lohkoketjun mahdollinen rooli

Lohkoketjua voidaan käyttää palvelupyyntöjen, tehtävien ja maksujen kirjaamiseen usean osallistujan järjestelmässä. Sen hyöty riippuu toteutuksesta; lohkoketju ei yksin paranna tekoälymallin laatua tai takaa palvelun turvallisuutta.

Koneoppiminen palveluna (MLaaS) tarjoaa käyttäjille malleja, kehitystyökaluja tai laskentainfrastruktuuria. MLaaS ei lähtökohtaisesti edellytä lohkoketjua. Lohkoketjupohjainen markkinapaikka on yksi tapa koordinoida palveluntarjoajia ja asiakkaita.

Tutkijoiden ehdottama syvävahvistusoppiminen palveluna -kehys (DRLaaS) laajentaa tätä ajatusta DRL-mallien koulutukseen ja jakamiseen. Se pyrkii yhdistämään palvelupyynnöt sopiviin asiantuntijoihin ja valmiisiin malleihin.

DRLaaS

DRLaaS-kehys mahdollistaisi DRL-palvelujen hankinnan ilman, että yrityksen tarvitsee rakentaa kaikkia tarvittavia valmiuksia itse. Käyttäjä määrittelee tarpeensa ja hankkii osaamista tai malleja niiden perusteella. Tavoitteena on alentaa käyttöönottokynnystä ja korvata palveluntarjoajien työ; kustannussäästöt eivät ole automaattisia.

Miten DRLaaS-kehys toimii?

Ehdotus käyttää konsortion hallinnoimaa, luvanvaraista lohkoketjua. Konsortiolohkoketju on verkon hallintamalli, ei tässä yhteydessä Consortium-niminen yksittäinen lohkoketju.

Älysopimukset koordinoivat palvelupyyntöjä ja tehtävien tai mallien jakamista. Koulutetut mallit tallennetaan IPFS-järjestelmään. IPFS on sisältöosoitteinen hajautettu tiedostojärjestelmä, ei lohkoketjun oma ominaisuustiedosto. Sisältöön perustuva tunniste auttaa havaitsemaan muutoksia, mutta ei takaa mallin oikeellisuutta tai pysyvää saatavuutta.

Käyttäjä voi pyytää DRL-ratkaisun koulutusta tai olemassa olevan mallin jakamista. Sopiva palveluntarjoaja valitaan muun muassa osaamisen, resurssien ja tehtävän vaatimusten perusteella, ja työstä maksetaan korvaus. Kyse on työn joukkoistamisesta, ei joukkorahoituksesta.

Miksi palvelumallia tutkitaan?

DRL-järjestelmien koulutus voi vaatia paljon laskentaa. Tutkimuksessa havainnollistetaan tätä Dota 2 -pelin laajamittaisella vahvistusoppimisjärjestelmällä. Se on vaativa yksittäinen esimerkki, ei kaikkien DRL-sovellusten vähimmäisvaatimus.

Tutkimuksen esimerkissä koulutukseen käytettiin noin 51 000 CPU:ta ja 512 GPU:ta. Tällaisten resurssien hankinta ei ole useimmille käyttäjille realistista. Tarvitaan myös ympäristön mallintamista, ohjelmistokehitystä ja arviointia. Palvelumalli voi tarjota yhden vaihtoehdon resurssien hankkimiseen; se ei ole ainoa tapa käyttää DRL:ää.

Yritys voisi hankkia tehtävään sopivaa asiantuntemusta ja laskentaa tarpeen mukaan. Näin se voisi vähentää oman infrastruktuurin rakentamista, mutta mallien soveltuvuus, kustannukset ja toimittajaan liittyvät riskit on edelleen arvioitava.

Tutkijat

Tutkimuksen tekijät ovat Ahmed Alagha, Hadi Otrok, Shakti Singh, Rabeb Mizouni ja Jamal Bentahar. He arvioivat kehystä tutkimussovelluksilla. Tuloksista ei voi päätellä, että palvelu olisi jo laajassa kaupallisessa käytössä.

DRL:n sovellusalueita

DRL:ää tutkitaan muun muassa robotiikassa, ajoneuvojen ohjauksessa, terveydenhuollossa ja peleissä. Tutkimustulos ja turvallisesti käyttöön otettu sovellus on erotettava toisistaan.

Terveydenhuolto

Terveydenhuollossa DRL:ää tutkitaan esimerkiksi peräkkäisten hoitopäätösten ja muiden toimintastrategioiden tukena. Kuvantamisen löydösten tunnistaminen voi puolestaan perustua muihin koneoppimismenetelmiin. Kaikkea lääketieteellistä tekoälyä ei siten pidä kutsua DRL:ksi, eikä tutkimuskehys osoita kliinistä turvallisuutta tai vaikuttavuutta.

Puolustussektori

DRL:ää tutkitaan myös autonomisten järjestelmien ja robottiparvien koordinoinnissa. Parvi tarkoittaa useiden laitteiden yhteistoimintaa, ei välttämättä fyysisesti suuria drooneja. Tutkimuksesta ei voi suoraan päätellä tietyn sotilasjärjestelmän käyttävän DRL:ää.

Tekoälyä voidaan tutkia myös havainnoinnin ja päätöksenteon tukena. Tästä ei kuitenkaan seuraa, että täysin automaattiset tappoketjut olisivat väistämätön tai hyväksytty lopputulos. Ihmisen valvonta, luotettavuus ja oikeudelliset velvoitteet ovat erillisiä kysymyksiä.

Vastaavia hajautettuja palveluja

Hajautetuissa laskentapalveluissa osallistujat voivat tarjota laskentaresurssejaan muille korvausta vastaan. Tämä on palvelujen ja resurssien joukkoistamista, ei sama asia kuin hankkeen joukkorahoitus. Seuraavat hankkeet havainnollistavat lähestymistapaa, mutta eivät ole sama järjestelmä kuin DRLaaS.

Golem (GLM)

Golem on hajautettu laskentaresurssien markkinapaikka. Resurssien tarjoajat voivat saada GLM-tokeneita tarjoamastaan laskentatehosta, ja asiakkaat voivat käyttää resursseja ostamatta omaa vastaavaa laitteistoa. Golem ei rajoitu tekoälyyn.

Sopivia tehtäviä voidaan jakaa useille palveluntarjoajille. Käytännön hyöty riippuu tehtävän jaettavuudesta, ohjelmistotuesta, saatavilla olevista resursseista ja hinnoittelusta. Hajautettu verkko ei takaa rajatonta tai aina edullisempaa laskentaa.

Render (RENDER)

Render on hajautettu GPU-laskentaverkko, joka tunnetaan erityisesti 3D-renderöinnistä. Se yhdistää grafiikkaprosessorien tarjoajat laskentaa tarvitseviin käyttäjiin. Verkko voi tukea myös muita laskentatehtäviä, mutta sen kapasiteetti ei ole rajaton.

Renderin renderöintipalvelut liittyvät muun muassa OctaneRenderiin. Verkko siirtyi Ethereumista Solanaan vuonna 2023, ja RENDER-token toimii Solanassa; vanha RNDR-token liittyy Ethereum-toteutukseen. Palveluntarjoajat tarjoavat GPU- eli grafiikkaprosessoritehoa, eivät tässä kuvattua CPU-renderöintiä.

Esimerkki pörssilistatusta tekoäly-yhtiöstä

Microsoft (MSFT ) on yksi tunnetuista tekoälyn kehittäjistä, mutta alalla toimii myös pienempiä listattuja yhtiöitä. Seuraava esimerkki liittyy tekoälylaitteistoon, eikä sen mainitseminen osoita yhtiön osallistuvan DRLaaS-hankkeeseen.

1. BrainChip (BRCHF)

BrainChip (BRN.AX ) kehittää neuromorfista tekoälylaitteistoa ja ohjelmistoja. Sen Akida-teknologia käyttää aivojen toiminnasta vaikutteita saanutta laskentatapaa. Yhtiön kohdemarkkinat eivät rajoitu terveydenhuoltoon.

BrainChipin teknologia on suunnattu muun muassa laitteessa tapahtuvaan reunalaskentaan ja älykkäisiin IoT-järjestelmiin. Mahdollisia käyttökohteita ovat havaintojen käsittely ja laitteiden valvonta. Tavoitteena on energiatehokas laskenta; suorituskyky ja ennakoiva ongelmien tunnistus riippuvat sovelluksesta.

DRL-palvelujen joukkoistamisen mahdollisuudet

DRLaaS tarjoaa tutkimussuunnan, jolla osaamista, malleja ja laskentaresursseja voitaisiin tuoda useampien käyttäjien ulottuville. Ehdotuksen arviointi tukee jatkotutkimusta, mutta laaja käyttöönotto, kustannustehokkuus ja mallien luotettavuus on vielä osoitettava käytännössä.

Tutustu myös muihin tekoälyhankkeisiin.