Apple esittelee Depth Pro -mallin, joka tarjoaa vallankumouksellisen tavan luoda tarkkoja 3D-syvyyskarttoja nopeasti yhdestä 2D-kuvasta ilman perinteisiä kameratietoja, mikä voi muuttaa merkittävästi lisätyn todellisuuden ja autonomisten ajoneuvojen kaltaisia teollisuudenaloja.
Tärkeimmät havainnot:
- Depth Pro luo 2,25 megapikselin syvyyskarttoja 0,3 sekunnissa ilman metatietoja tavanomaisella GPU:lla.
- Malli käyttää monimittakaavaisia visio-transformereita, mahdollistaen sekä yksityiskohtaisten että kokonaisvaltaisten kuvien käsittelyn.
- Depth Pro arvioi mittarimaista syvyyttä, mikä on kriittistä AR-sovelluksille, ja toimii ilman esikoulutusta.
- Teknologia voi merkittävästi parantaa itseajavien ajoneuvojen navigointia ja verkkokaupan visualisointeja.
- Apple on julkaissut Depth Pron avoimena lähdekoodina tukien kehittäjien ja tutkijoiden jatkotyötä.
Apple esittelee Depth Pro -teknologian
Applen AI-tutkimustiimi on kehittänyt uuden Depth Pro -mallin, joka voi merkittävästi edistää koneiden syvyystajua, mikä saattaa muuttaa monia teollisuudenaloja, kuten lisätty todellisuus ja autonomiset ajoneuvot. Depth Pro pystyy tuottamaan yksityiskohtaisia 3D-syvyyskarttoja yhdestä 2D-kuvasta erittäin nopeassa ajassa ilman, että se tarvitsee perinteisesti tärkeänä pidettyjä kameratietoja. Teknologia, jota on kuvattu tutkimuspaperissa nimeltä “Depth Pro: Sharp Monocular Metric Depth in Less Than a Second”, on merkittävä edistysaskel yksikuvasyvyyden arvioinnin alalla, missä syvyys päätellään vain yhdestä kuvasta.
AI-podcastin Kehittäminen
Nopeus ja tarkkuus ilman metatietoja Monocular depth estimation eli yksikuvasyvyyden arviointi on pitkään ollut haastava tehtävä, joka on vaatinut useita kuvia tai metatietoja, kuten polttoväliä, syvyyden oikeaksi arvioimiseksi. Depth Pro poistaa nämä vaatimukset ja tuottaa korkearesoluutioisia syvyyskarttoja vain 0,3 sekunnissa tavanomaisella GPU:lla. Malli pystyy luomaan 2,25 megapikselin karttoja poikkeuksellisella tarkkuudella, kaappaamalla myös pienet yksityiskohdat, kuten hiukset ja kasvillisuuden.
- Tutkijoiden mukaan tämän onnistumiseksi hyödynnetään tehokkaita monimittakaavaisia visio-transformereita.
- Nämä mahdollistavat kuvan kokonaiskontekstin ja sen yksityiskohtien käsittelyn samanaikaisesti.
Mittarimainen syvyys ja oppiminen ilman esikoulutusta
Depth Pron ainutlaatuinen piirre on sen kyky arvioida sekä suhteellinen että absoluuttinen syvyys, eli “mittarimainen syvyys”. Tämä ominaisuus on elintärkeä sovelluksissa, kuten lisätyssä todellisuudessa (AR), jossa virtuaalisten objektien on mahduttava tarkkoihin sijainteihin fyysisissä tiloissa. Lisäksi Depth Pro ei vaadi laajamittaista koulutusta, mikä tunnetaan nimellä “zero-shot learning”. Tämä tekee mallista erittäin monipuolisen, sillä se voidaan soveltaa monenlaisiin kuviin ilman tavanomaisissa syvyyden arviointimalleissa vaadittuja kamerakohtaisia tietoja.
Reaalimaailman sovellukset: verkkokaupasta autonomisiin ajoneuvoihin
Depth Pron monipuolisuus tuo merkittäviä vaikutuksia eri toimialoille. Esimerkiksi verkkokaupassa Depth Pro voisi antaa kuluttajille mahdollisuuden nähdä, miten huonekalut sijoittuvat kotiinsa pelkästään osoittamalla puhelimen kameraa huoneeseen. Autoteollisuudessa kyky tuottaa reaaliaikaisia, korkearesoluutioisia syvyyskarttoja yhdestä kamerasta voisi parantaa, miten itseajavat autot havaitsevat ympäristönsä.
Tämä parantaisi navigointia ja turvallisuutta huomattavasti. Depth Pro:n innovatiiviset ratkaisut tarjoavat tarkkuutta aiheuttamatta lisäkustannuksia tai aikaa vievää alan koulutusta, mikä parantaa teknologian saatavuutta laajemmin.
Syvyyden arvioinnin haasteiden ratkaiseminen
Yksi syvyysarvioinnin suurimmista haasteista on ns. “lentävät pikselit” – pikselit, jotka näyttävät leijuvan ilmassa syvyyskartoituksen virheiden vuoksi. Depth Pro tarttuu tähän haasteeseen tehokkaasti, mikä tekee siitä erityisen hyödyllisen sovelluksille kuten 3D-rekonstruktio ja virtuaaliympäristöt, joissa tarkkuus on ensisijaista.
Lisäksi Depth Pro on erinomainen rajankuvauksessa, sillä sen väitetään ylittävän aikaisemmat mallit rajojen tarkkuudessa jopa moninkertaisesti.
Avoin lähdekoodi ja laajennusmahdollisuudet
Apple on avoimen lähdekoodin hengessä tehnyt Depth Pron lähdekoodin saataville GitHubissa. Tämä mahdollistaa kehittäjien ja tutkijoiden kokeilut ja teknologian jatkokehityksen. Arkisto sisältää kaiken mallin arkkitehtuurista esikoulutettuihin tarkistuspisteisiin, mikä tekee muiden kehittäjien työstä helppoa Applelta saadun työn pohjalta.
