Kolmannen osapuolen tutkijat ovat kehittäneet uuden ehdotuksen tekoälyjärjestelmien virheiden raportointiin, mikä voi parantaa turvallisuutta ja vähentää riskitekijöitä, kuten havaittiin GPT-3.5 -mallin tietovuodon yhteydessä.
Tärkeimmät havainnot:
- Standardoidut AI-virheraportit olisivat keskeisessä roolissa, jotta virheet voidaan raportoida järkevästi ja systemaattisesti.
- AI-yritykset voisivat tarjota infrastruktuuria virheiden julkistamiseen, mikä lisäisi tietoturvaa ja luotettavuutta.
- Virheiden jakaminen eri palveluntarjoajien välillä auttaisi suojaamaan malleja ja käyttäjiä laajemmilta riskeiltä.
- Mallin kehittäminen perustuu kyberturvallisuusmaailmassa käytettäviin käytäntöihin, joissa ulkopuoliset tutkijat voivat paljastaa virheitä laillisesti.
- Ehdotuksen tueksi järjestetään akateemisia työpajoja, jotta virheiden raportointia voidaan kehittää yhteistyössä eri alojen asiantuntijoiden kanssa.
Kolmannen osapuolen tutkijat löysivät merkittävän virheen OpenAI:n laajasti käytetystä tekoälymallista GPT-3.5 vuoden 2023 lopussa. Mallia pyydettäessä toistamaan tiettyjä sanoja tuhat kertaa, se alkoi toistaa sanoja ja siirtyi sitten sekavaan tekstiin, joka sisälsi henkilökohtaisia tietoja. Keksijät työskentelivät OpenAI:n kanssa ongelman korjaamiseksi ennen julkistamista. Tämä virhe on yksi monista merkittävissä AI-malleissa löytyneistä ongelmista viime vuosina.
Yli 30 tunnettua tekoälytutkijaa ehdottaa uutta järjestelmää bugien julkiseen raportointiin. Heidän mukaansa monet haavoittuvuudet raportoidaan ongelmallisilla tavoilla, mikä voi vaarantaa malleja ja käyttäjiä.
Tarve Standardoidulle Raportointijärjestelmälle
Tutkijat ehdottavat kolmea keskeistä toimenpidettä, joilla parannetaan kolmannen osapuolen raportointiprosessia: standardoitujen AI-virheraporttien käyttöönotto, suurten AI-yritysten infrastruktuurin tarjoaminen virheiden julkistamiseen ja järjestelmän kehittäminen, joka sallii virheiden jakamisen eri palveluntarjoajien välillä. Tämä lähestymistapa lainataan kyberturvallisuuden maailmasta, jossa ulkopuolisilla tutkijoilla on laillisia suojauksia virheiden paljastamiseen.
- Ilona Cohen HackerOnesta korostaa, että tekoälytutkijat eivät aina tiedä, kuinka paljastaa virheitä turvallisesti ilman oikeudellisia riskejä.
- Suuret AI-yritykset tekevät laajaa turvallisuustestausta ennen mallien julkaisua, mutta riippumattomat tutkijat saattavat rikkoa käyttöehtoja tutkiessaan näitä voimakkaita malleja.
Ehdotuksen taustalla on akateemikkoja arvostetuista yliopistoista ja suurista yrityksistä, jotka yhdessä haluavat luoda järjestelmän virheiden nopeaan lippuuttamiseen, pitääkseen yritykset julkisesti vastuullisina. Ruth Appelin mukaan ilman tällaista järjestelmää käyttäjät saattavat kohdata heikompia tai vaarallisempia tuotteita.
Järjestämällä työpajan Princetonin yliopistossa vuonna 2023, tutkijat alkoivat keskustella ehdotuksista muiden suurten AI-yritysten tutkijoiden kanssa. Nicholas Carlini, joka oli mukana GPT-3.5-virheen löytäneessä tiimissä, korostaa, että tarvitaan yhteisiä toimintatapoja virheiden raportoimiseksi turvallisesti ja tehokkaasti.
