Scale AI:n kehittämä uusi alusta tarjoaa ainutlaatuisen tavan tunnistaa tekoälymallien heikkoudet hyödyntämällä tuhansia eri mittareita. Tämä mahdollistaa paremman kohdistettujen lisäkoulutusdatans käytön mallien suorituskyvyn parantamiseksi.
Tärkeimmät havainnot
- Scale AI:n alusta tarjoaa laajemman näkemyksen yhdistämällä useita eri mittareita tekoälymallien arviointiin.
- Uusi työkalu, Scale Evaluation, automaattisesti mallien koulutuksen osia käyttämällä omia koneoppimisalgoritmeja.
- Alusta tukee pyrkimyksiä standardisoida tekoälymallien testaaminen ja vähentää väärinkäytöksiä.
- Tekoäly voi luoda lisää esimerkkejä ongelmien perusteellisemmaksi testaamiseksi.
- Parannusten mittaaminen malleissa on tullut haastavammaksi mallien suorituskyvyn kehittyessä.
Scale AI, dataan keskittyvä yritys, on kehittänyt uuden alustan, joka auttaa tekoälyn kehittäjiä löytämään mallien heikkouksia. Tekoälyaloilla toimivat johtajat saattavat väittää, että yleinen tekoäly on pian täällä, mutta uusimmat mallit tarvitsevat silti lisäkoulutusta ollakseen mahdollisimman älykkäitä.
Scale AI on ollut merkittävässä roolissa kehittyneiden mallien rakentamisessa rajatun tekoälyn alojen yrityksissä. Yritys on luonut alustan, joka pystyy automaattisesti testaamaan mallia tuhansien mittareiden ja tehtävien avulla, paikantamaan heikkoudet ja ehdottamaan lisäkoulutusdataa taitojen parantamiseksi. Scale AI toimittaa tarvittavan datan.
Scale AI:n nousu ja uusi arviointityökalu
Scale AI on noussut esiin tarjoamalla ihmistyövoimaa kehittyneiden tekoälymallien koulutukseen ja testaamiseen. Suuret kielimallit (LLM) koulutetaan valtavilla määrillä tekstiä kirjoista, verkkosivuilta ja muista lähteistä. Näiden mallien muokkaaminen hyödyllisiksi ja hyvin käyttäytyviksi keskusteluboteiksi vaatii lisäkoulutusta, jossa ihmiset antavat palautetta mallin tuotoksista.
- Scale toimittaa työntekijöitä, jotka ovat asiantuntevia mallien ongelmien ja rajoitusten tutkimisessa.
- Uusi työkalu, Scale Evaluation, automatisoi osan tästä työstä käyttämällä Scale AI:n omia koneoppimisalgoritmeja.
Scale AI väittää, että parannusten mittaaminen tekoälymalleissa on yhä vaikeampaa, kun ne suoriutuvat paremmin olemassa olevista testeistä. Scale AI:n uusi työkalu tarjoaa kattavamman kuvan yhdistämällä monia eri mittareita ja sitä voidaan käyttää räätälöityjen testien laatimiseen, esimerkiksi mallin päättelykyvyn testaamiseen eri kielillä.
Scale AI:n oma tekoäly voi ottaa annetun ongelman ja luoda lisää esimerkkejä, mikä mahdollistaa perusteellisemman testauksen. Yrityksen uusi työkalu voi myös tukea pyrkimyksiä standardoida tekoälymallien testaamista väärinkäytösten varalta. Jotkut tutkijat sanovat, että standardoinnin puute tarkoittaa joidenkin mallien väärinkäytösten jäävän huomaamatta.
