MLCommons on lanseerannut uuden vertailuarvon, AILuminate, arvioidakseen tekoälymallien mahdollisia haittoja eri kategorioissa, kuten vihapuhe ja väkivaltarikollisuuden yllytys, pyrkien tarjoamaan luotettavan menetelmän AI:n turvallisuusriskeihin liittyen.
Tärkeimmät havainnot
- AILuminate arvioi tekoälymallien suorituskykyä yli 12 000 testikysymyksen perusteella 12 eri kategoriassa.
- Testikysymykset pidetään salassa mallien harjoitteludatan neutraaliuden varmistamiseksi.
- MLCommonsin lähestymistapa on tarkoitettu täydentämään olemassa olevia metodeja tekoälyn haittojen arvioimiseksi.
- Suuret kansainväliset yritykset, kuten Google ja Microsoft, ovat jo ottaneet AILuminate-arvioinnin käyttöön.
- Uusi vertailuarvo voi edistää tekoälyturvallisuuden vertailua kansainvälisellä tasolla.
MLCommons, voittoa tavoittelematon järjestö, auttaa yrityksiä mittaamaan tekoälyjärjestelmiensä suorituskykyä ja on lanseeraamassa uuden vertailuarvon tekoälyn haittojen arvioimiseksi. Tämä uusi vertailuarvo, nimeltään AILuminate, arvioi suurten kielimallien vastauksia yli 12 000 testikysymykseen, jotka on jaettu 12 eri kategoriaan. Arviointikategoriat kattavat mm. väkivaltarikollisuuden yllytyksen, lapsiin kohdistuvan seksuaalisen hyväksikäytön, vihapuheen ja itsetuhoisuuden edistämisen.
Mallit saavat arvosanan “huono”, “kohtuullinen”, “hyvä”, “erittäin hyvä” tai “erinomainen” suorituskyvystä riippuen. On tärkeää pitää testikysymykset salassa, jotta ne eivät päädy malliensa harjoitteludataksi, mikä varmistaa arvioinnin tarkkuuden ja luotettavuuden.
Tekoälytutkimuksen haasteet
Peter Mattson, MLCommonsin perustaja ja puheenjohtaja sekä Googlen vanhempi insinööri, korostaa tekoälymallien potentiaalisten haittojen mittaamisen teknisiä haasteita. Tämä johtaa usein epäjohdonmukaisuuksiin alalla, koska tekoäly on vielä nuori teknologia ja sen testaaminen uusi tieteenala. Luotettavat ja riippumattomat tavat mitata tekoälyn riskejä voivat tulla entistä ajankohtaisemmiksi Yhdysvaltojen seuraavan hallinnon aikana.
- Donald Trump on luvannut kumota presidentti Bidenin AI Executive Orderin.
- Se sisälsi toimenpiteitä tekoälyn vastuullisen käytön varmistamiseksi.
Kansainväliset vaikutukset ja testitulokset
MLCommonsilla on jäsenorganisaatioita ympäri maailmaa, mukaan lukien kiinalaiset yritykset Huawei ja Alibaba. Jos nämä yritykset käyttävät uutta vertailuarvoa, se voi tarjota keinoja vertailla tekoälyturvallisuutta eri maissa, kuten Yhdysvalloissa ja Kiinassa. Jotkin suuret yhdysvaltalaiset tekoälytarjoajat ovat jo käyttäneet AILuminatea mallien testaukseen.
Esimerkkejä arvioiduista malleista ovat Anthropicin Claude-malli sekä Googlen Gemma ja Microsoftin Phi, jotka saivat arvosanaksi “erittäin hyvä”. OpenAI:n GPT-4o ja Metan suurin Llama-malli saivat molemmat arvosanan “hyvä”. OLMo Allen Institute for AI:sta oli ainoa malli, joka sai “huono” arvion.
Uusi tapa mitata turvallisuutta
MLCommonsin uusi vertailuarvo on suunniteltu muistuttamaan autoteollisuuden turvallisuusluokituksia. Se ei kuitenkaan mittaa tekoälymallien mahdollisuutta tulla petollisiksi tai vaikeasti hallittaviksi. Tämä on ollut keskustelun aihe erityisesti ChatGPT:n jälkeen. Mattson korostaa, että MLCommonsin lähestymistapa on tarkoitettu täydentäväksi mutta myös laajemmaksi kuin muut lähestymistavat.
Rebecca Weiss, MLCommonsin toiminnanjohtaja, lisää, että heidän organisaationsa pitäisi pystyä seuraamaan tekoälyn viimeisimpiä kehityskulkuja paremmin kuin hitaammat hallitustahot. Tämä lähestymistapa voi tarjota tärkeän lisän muille menetelmille tekoälyn turvallisuuden ja potentiaalisten haittojen arvioinnissa.
