Kehittyneet AI-mallit ilman datakeskuksia renkaisevat tavanomaiset asetelmat, kun startupit Flower AI ja Vana demonstroivat uuden lähestymistavan hajautettujen AI-mallien koulutukseen hyödyntäen monipuolista dataa ja GPU-verkostoja maailmanlaajuisesti.
Tärkeimmät havainnot:
- Flower AI ja Vana esittelevät Collective-1-mallin, hajautetun AI-koulutuksen esimerkkitapauksena, hyödyntäen internetin kautta yhdistettyjä GPU:ita ilman keskittyneitä datakeskuksia.
- Uusi lähestymistapa avaa ovia pienemmille toimijoille ja maille ilman perinteisiä AI-infrastruktuureja, mahdollistaen osallistumisen edistyksellisten AI-mallien kehitykseen.
- Vaikka Collective-1 on parametreiltaan pienempi nykyisiin markkinajohtajiin verrattuna, suunnitelmissa on suurempien ja tehokkaampien mallien kehittäminen.
- Google tutkii myös hajautettua oppimista, mikä osoittaa alan laajempaa kiinnostusta hajautettuihin koulutusmetodeihin.
- Vanan kehittämät metodit mahdollistavat käyttäjien tarjoaman henkilökohtaisen datan hyödyntämisen, tarjoamalla heille kontrollin tiedon käytöstä ja uusia taloudellisia mahdollisuuksia.
Start-up-yritykset Flower AI ja Vana ovat esittäneet uuden suuren kielimallin (LLM) nimeltä Collective-1, joka perustuu hajautettujen GPU:iden käyttöön maailmanlaajuisesti sekä yksityiseen että julkiseen dataan. Tämä innovatiivinen lähestymistapa saattaisi merkittävästi muuttaa tapaa, jolla AI-teknologiaa kehitetään. Flower AI:n tekniikat mahdollistavat mallin koulutuksen jakautumisen laajasti useille koneille ympäri internetiä ilman, että laskentatehoa tai dataa keskitetään yhteen paikkaan.
Kun Vana toimitti tietolähteen, joka sisälsi muun muassa yksityisiä viestejä alustoilta kuten X, Reddit ja Telegram, se toi ilmauksellista rikkautta ja moninaisuutta. Suhteessa markkinoiden huippumalleihin, kuin vaikkapa ChatGPT, Collective-1:llä on vain 7 miljardia parametreja. Tällä on kuitenkin potentiaalia kasvaa, sillä Flower AI:n Nic Lane toteaa, että yrityksellä on suunnitelmissa kouluttaa 30 miljardin parametrin malli ja jopa 100 miljardin parametrin malli tulevaisuudessa.
Flower AI
Hajautettuja lähestymistapoja hyödyntävät tekniikat kuten Flower AI:n, voivat mullistaa nykyistä tilannetta, mahdollistaen AI-mallien kehittämisen ilman suuria datakeskuksia ja kalliita infrastruktuureja. Tämä tarjoaa mahdollisuuksia myös pienemmille yrityksille ja kehitysmaille, joiden infrastruktuuri saattaa olla rajallinen. Esimerkiksi Google on myös tutkimassa hajautettua oppimista DIstributed PAth COmposition (DiPaCo) -järjestelmän kautta, joka tarjoaa tehokkaampia keinoja tämän toteuttamiseksi.
- Hajautettu oppiminen voi korvata perinteiset datakeskuksiin perustuvat mallit.
- Photon, työkalu kehitetty kollektiiviseen oppimiseen, tehostaa tiedon esitystapaa ja jakamisjärjestelmiä.
- Vanan lähestymistapa antaa käyttäjille kontrollin ja taloudellista hyötyä heidän datansa käytöstä.
Kehittäessään Collective-1- ja muita LLM-malleja, Flower AI:n ja Vanan yhteistyö edustaa merkittävää askelta hajautetussa AI-koulutuksessa. Photon-työkalu auttaa tehostamaan tietojen esitystapaa ja parantamaan jakamis- ja yhdistämisjärjestelmiä, samalla kun Vana mahdollistaa käyttäjädataan perustuvan koulutuksen. Tämä tarjoaa ainutlaatuisen tavan, jossa käyttäjät voivat jakaa arvokasta dataa AI-rakentajien kanssa turvallisesti ja saada taloudellista hyvitystä.
