Exo Labs ja Tekoäly Mac M4 -piirillä
Exo Labs on tuonut avoimen lähdekoodin tekoälymallien tehon uuden Mac M4 -tietokonepiirin avulla saavutettavammaksi, mikä tarjoaa kilpailukykyisen vaihtoehdon suurten datakeskusten hallitsemille AI-ratkaisuille.
Tärkeimmät havainnot:
- Applen M4-piiri tarjoaa maailman nopeimman GPU-ytimen ja huipputason suorituskyvyn yksisäikeisissä tehtävissä.
- Kustannustehokkaat ja paikalliset tekoälymallit parantavat tietoturvaa ja -suojaa verrattuna pilvipohjaisiin vaihtoehtoihin.
- Exo Labsin kehittämä ohjelmisto mahdollistaa tekoälykuormien jaon useille laitteille ilman kallista GPU-investointia.
- Vieritettyjen AI-mallien suorittaminen Exo Labsin järjestelmillä vähentää riippuvuutta suurten yhtiöiden datakeskuksista.
- Tuleva vertailumittaristo auttaa käyttäjiä löytämään optimaaliset laitteistot AI-sovelluksiin perustuen todellisiin käyttötapauksiin.
Apple on painottanut tekoälyn kehitystyötä erityisesti mobiililaitteissa, kuten iOS 18:ssa. Kuitenkin uusi M4-tietokonepiiri tarjoaa merkittäviä mahdollisuuksia avoimen lähdekoodin suurille kielimalleille. Exo Labsin perustaja Alex Cheema on hyödyntänyt tätä piiriä menestyksekkäästi yhdistämällä neljä Mac Mini M4 -laitetta ja yhden Macbook Pro M4 Max:n Qwen 2.5 Coder-32B -mallin suorittamiseen. Tämän ratkaisun kustannukset pysyvät alhaisina, jopa verrattuna yhteen NVidia H100 GPU:hun, mikä tekee siitä houkuttelevan ja kustannustehokkaan vaihtoehdon.
Applen M4-piirin etuna on maailman nopein GPU-ydin ja erinomainen suorituskyky yksisäikeisissä tehtävissä, mikä tekee siitä ihanteellisen tekoälymalleille. Exo Labsin Mac Mini M4 -klusteri voi käsitellä Qwen 2.5 Coder 32B:tä 18 tokenia sekunnissa ja Nemotron-70B:tä 8 tokenia sekunnissa. Tämä osoittaa, kuinka AI-koulutus ja -suoritukset voivat tapahtua tehokkaasti ilman pilvialustaa, mikä tekee tekoälystä saavutettavampaa yksityisyyteen ja kustannuksiin keskittyneille toimijoille. Exo Labs tarjoaa myös mukautettuja palveluita yrityksille, jotka haluavat hyödyntää tätä edistyksellistä tekniikkaa.
Paikallisten laskentayksiköiden edut
Paikallisesti toimivat tekoälymallit tuovat kustannus-, tietosuoja-, turvallisuus- ja käyttöetuja verkkopohjaisiin ratkaisuihin verrattuna. Exo Labs kehittää yritystasoisia ohjelmistoja, mutta kuka tahansa koodauksesta kiinnostunut voi nyt ladata ohjelmiston yrityksen Github-sivulta.
- Tekoälymallien kouluttaminen on usein keskitetty suurten yhtiöiden datakeskuksiin.
- Exo Labs pyrkii mahdollistamaan omien mallien hallinnan, mikä vähentää verkkolevikin uhkia.
- Tämä lähestymistapa tarjoaa parempaa tietosuojaa ja avoimuutta käyttäjän näkökulmasta.
Exo Labs syntyi Alex Cheeman ja Mohamed Baioumy:n halusta parantaa koneoppimista, joka suoritettiin usein hitailla laitteilla. Heillä oli tapana käyttää vanhoja laitteita kuormien jakamiseen, mutta törmäsivät kaistanleveysongelmiin. Kehittämällä uuden ohjelmistotyökalun tekoälykuormat voitiin jakaa tehokkaasti useille laitteille. Tämä ilmaisohjelmisto julkaistiin heinäkuussa Githubissa GNU General Public Licensen alaisena.
Exo Labs aikoo julkaista vertailumittariston, joka tarjoaa yksityiskohtaista vertailutietoa laitteistokokoonpanoista, auttaen käyttäjiä löytämään tarpeitaan parhaiten vastaavat ratkaisut AI-mallien suorittamiseen. Tavoitteena on kannustaa innovointiin ja tarjota selkeyttä esittelemällä testattuja järjestelmiä, joita jokainen voi toistaa omilla resursseillaan.
