Kai dauguma žmonių išgirsta „dirbtinį intelektą“, jie įsivaizduoja neuroninius tinklus, įmantrius algoritmus ar galbūt tuos šiek tiek keistuoliškus humanoidus robotus. Retai iš karto paminima štai kas: dirbtinis intelektas naudoja saugyklą beveik taip pat godžiai, kaip ir skaičiuoja . Ir ne šiaip sau fone ramiai stovi bet kokia saugykla-objektas, atliekanti nepatrauklų, bet absoliučiai būtiną darbą – aprūpindama modelius reikalingais duomenimis.
Išsiaiškinkime, kodėl objektų saugykla yra tokia svarbi dirbtiniam intelektui, kuo ji skiriasi nuo „senosios gvardijos“ saugojimo sistemų ir kodėl ji tampa vienu iš pagrindinių mastelio keitimo ir našumo svertų.
Straipsniai, kuriuos galbūt norėsite perskaityti po šio:
🔗 Kokios technologijos turi būti įdiegtos, norint naudoti didelio masto generatyvinį dirbtinį intelektą versle?
Pagrindinės technologijos, kurių įmonėms reikia norint efektyviai pritaikyti generatyvinį dirbtinį intelektą.
🔗 Duomenų valdymas dirbtinio intelekto įrankiams, į kuriuos turėtumėte atkreipti dėmesį
Geriausia duomenų tvarkymo praktika siekiant optimizuoti dirbtinio intelekto našumą.
🔗 Dirbtinio intelekto įtaka verslo strategijai
Kaip dirbtinis intelektas veikia verslo strategijas ir ilgalaikį sprendimų priėmimą.
Kodėl objektų saugykla yra naudinga dirbtiniam intelektui? 🌟
Svarbiausia idėja: objektų saugykla nenaudoja aplankų ar griežtų blokų išdėstymų. Ji suskirsto duomenis į „objektus“, kurių kiekvienas pažymėtas metaduomenimis. Tie metaduomenys gali būti sistemos lygio duomenys (dydis, laiko žymos, saugojimo klasė) ir vartotojo apibrėžtos rakto:reikšmės žymos [1]. Įsivaizduokite tai kaip kiekvieną failą su lipnių lapelių krūva, kurioje tiksliai nurodyta, kas tai yra, kaip jis buvo sukurtas ir kur jis telpa jūsų duomenų sraute.
Dirbtinio intelekto komandoms šis lankstumas keičia žaidimo taisykles:
-
Mastelis be galvos skausmo – duomenų ežerai siekia petabaitus, o objektų saugyklos su jais lengvai susidoroja. Jie sukurti beveik neribotam augimui ir ilgaamžiškumui keliuose AZ taškuose („Amazon S3“ giriasi „11 devynių“ ir tarpzoniniu replikavimu pagal numatytuosius nustatymus) [2].
-
Metaduomenų gausa – greitesnė paieška, švaresni filtrai ir išmanesni srautai, nes kontekstas keičiasi kartu su kiekvienu objektu [1].
-
Debesijos pagrindu – duomenys gaunami per HTTP(S), o tai reiškia, kad galite lygiagrečiai vykdyti ištraukimus ir palaikyti paskirstytą mokymą.
-
Integruotas atsparumas – kai treniruojatės kelias dienas, negalite rizikuoti, kad sugadinta skeveldra sunaikins 12-ąją epochą. Objektų saugykla to išvengia pagal numatytuosius nustatymus [2].
Tai iš esmės kuprinė be dugno: viduje galbūt netvarkinga, bet viską galima pasiimti, kai tik pasieki ranką.
Greita dirbtinio intelekto objektų saugojimo palyginimo lentelė 🗂️
| Įrankis / paslauga | Geriausia (auditorijai) | Kainų diapazonas | Kodėl tai veikia (pastabos paraštėse) |
|---|---|---|---|
| Amazon S3 | Įmonės + debesijos pagrindu veikiančios komandos | Mokėjimas pagal naudojimą | Ypač patvarus, atsparus regioniniam poveikiui [2] |
| „Google“ debesies saugykla | Duomenų mokslininkai ir mašininio mokymosi kūrėjai | Lankstūs lygiai | Stiprios ML integracijos, visiškai debesijos pagrindu |
| „Azure“ „Blob“ saugykla | „Microsoft“ dominuojančios parduotuvės | Pakopinis (karštas/šaltas) | Sklandžiai su „Azure“ duomenų ir mašininio mokymosi įrankiais |
| MinIO | Atvirojo kodo / „pasidaryk pats“ sąrankos | Nemokamas/savarankiškas priegloba | Suderinamas su S3, lengvas, galima naudoti bet kur 🚀 |
| Vasabi karštas debesis | Kainą lemiančios organizacijos | Fiksuotas mažas tarifas $ | Nėra išėjimo ar API užklausų mokesčių (pagal politiką) [3] |
| IBM debesies objektų saugykla | Didelės įmonės | Skiriasi | Subrendęs paketas su stipriomis įmonės saugumo parinktimis |
Visada patikrinkite kainodarą pagal realų naudojimą, ypač išeinančių duomenų, užklausų apimties ir saugyklos klasės derinį.
Kodėl dirbtinio intelekto mokymai mėgsta objektų saugojimą 🧠
Mokymas nėra „sauja failų“. Tai milijonai įrašų, sudaužytų lygiagrečiai. Hierarchinės failų sistemos stringa esant dideliam lygiagretumui. Objektų saugykla tai apeina naudodama plokščias vardų erdves ir švarias API. Kiekvienas objektas turi unikalų raktą; darbuotojai pasiskirsto ir nuskaito duomenis lygiagrečiai. Išskaidyti duomenų rinkiniai + lygiagreti įvestis/išvestis = GPU lieka užimti, o ne laukia.
Patarimas iš praktikos: karštus skaidinius laikykite netoli skaičiavimo klasterio (tame pačiame regione arba zonoje) ir agresyviai kaupkite SSD diske. Jei jums reikia beveik tiesioginio duomenų perdavimo į GPU, „NVIDIA GPUDirect Storage“ – ji apkarpo procesoriaus atšokimo buferius, sumažina delsą ir padidina pralaidumą tiesiai į greitintuvus [4].
Metaduomenys: nepakankamai įvertinta supergalia 🪄
Štai kur objektų saugojimas sužiba mažiau akivaizdžiais būdais. Įkėlimo metu galite pridėti pasirinktinius metaduomenis (pvz., x-amz-meta-…, skirtą S3). Pavyzdžiui, regėjimo duomenų rinkinys galėtų pažymėti vaizdus „lighting=low“ arba „blur=high“ . Tai leidžia srautams filtruoti, balansuoti arba stratifikuoti neskenuojant neapdorotų failų iš naujo [1].
Ir dar yra versijų kūrimas . Daugelyje objektų saugyklų greta saugomos kelios objekto versijos – tai puikiai tinka atkartojamiems eksperimentams arba valdymo politikoms, kurioms reikia atšaukti [5].
Objektų, blokų ir failų saugyklos palyginimas ⚔️
-
Blokų saugykla : puikus sprendimas transakcinėms duomenų bazėms – greitas ir tikslus, bet per brangus petabaitų dydžio nestruktūrizuotiems duomenims.
-
Failų saugykla : įprasta, pritaikyta POSIX, bet katalogai užstringa esant dideliam lygiagrečiam apkrovimui.
-
Objektų saugykla : sukurta nuo nulio, siekiant mastelio, lygiagretumo ir metaduomenimis pagrįstos prieigos [1].
Jei norite gremėzdiškos metaforos: blokų saugykla yra dokumentų spinta, bylų saugykla – darbalaukio aplankas, o objektų saugykla –... bedugnė duobė su lipniais lapeliais, kurie kažkaip leidžia ją naudoti.
Hibridiniai dirbtinio intelekto darbo srautai 🔀
Tai ne visada vien debesis. Įprastas derinys atrodo taip:
-
Vietinė objektų saugykla („MinIO“, „Dell ECS“) jautriems arba reguliuojamiems duomenims.
-
Debesijos objektų saugykla, skirta skubiems darbo krūviams, eksperimentams ar bendradarbiavimui.
Ši pusiausvyra paveikia kainą, atitiktį reikalavimams ir lankstumą. Mačiau, kaip komandos tiesiogine prasme per naktį išmeta terabaitus į S3 saugyklą vien tam, kad įjungtų laikiną GPU klasterį, o tada viską sunaikina, kai sprintas baigiasi. Esant ribotam biudžetui, „Wasabi“ fiksuoto tarifo / be išėjimo modelis [3] leidžia lengviau prognozuoti.
Dalis, kuria niekas nesigiria 😅
Realybės patikrinimas: jis nėra nepriekaištingas.
-
Vėlavimas – per daug atskirti skaičiavimo ir saugojimo pajėgumus, ir jūsų GPU stringa. GDS padeda, bet architektūra vis tiek svarbi [4].
-
Kainų netikėtumai – išeinantys ir API užklausų mokesčiai už paslaugas nuolat ima viršyti lūkesčius. Kai kurie tiekėjai jų netaiko („Wasabi“ tai daro, kiti – ne) [3].
-
Metaduomenų chaosas dideliu mastu – kas apibrėžia „tiesą“ žymose ir versijose? Jums reikės sutarčių, politikų ir šiek tiek valdymo galios [5].
Objektų saugojimas yra infrastruktūros santechnika: labai svarbi, bet ne žavinga.
Kur link tai veda 🚀
-
Išmanesnė, dirbtiniu intelektu paremta saugykla , kuri automatiškai žymi ir pateikia duomenis per SQL tipo užklausų sluoksnius [1].
-
Glaudesnė aparatinės įrangos integracija (DMA keliai, tinklo plokštės apkrovos mažinimas), kad GPU netrūktų įvesties/išvesties [4].
-
Skaidrus, nuspėjamas kainodaros modelis (supaprastinti modeliai, netaikomi išėjimo mokesčiai) [3].
Žmonės kalba apie skaičiavimą kaip apie dirbtinio intelekto ateitį. Bet ar tai tiesa? Svarbiausia problema yra greitas duomenų pateikimas modeliams neišleidžiant daug biudžeto . Štai kodėl objektų saugyklų vaidmuo tik auga.
Apibendrinimas 📝
Objektų saugykla nėra prašmatni, bet esminė. Be keičiamo dydžio, metaduomenis žinančios ir atsparios saugyklos didelių modelių mokymas atrodo kaip maratono bėgimas su basutėmis.
Taigi, taip, GPU svarbu, karkasai svarbūs. Bet jei rimtai žiūrite į dirbtinį intelektą, neignoruokite, kur yra jūsų duomenys . Tikėtina, kad objektų saugykla jau tyliai stabdo visą operaciją.
Nuorodos
[1] AWS S3 – Objekto metaduomenys – sistemos ir pasirinktiniai metaduomenys
https://docs.aws.amazon.com/AmazonS3/latest/userguide/UsingMetadata.html
[2] AWS S3 – Saugojimo klasės – patvarumas („11 devynių“) + atsparumas
https://aws.amazon.com/s3/storage-classes/
[3] „Wasabi Hot Cloud“ – kainodara – fiksuotas tarifas, be išėjimo / API mokesčių
https://wasabi.com/pricing
[4] „NVIDIA GPUDirect“ saugykla – dokumentai – DMA keliai į GPU
https://docs.nvidia.com/gpudirect-storage/
[5] AWS S3 – Versijų kūrimas – kelios versijos valdymui / atkuriamumui
https://docs.aws.amazon.com/AmazonS3/latest/userguide/Versioning.html