Kas yra dirbtinio intelekto duomenų centras? [Vaizdo įrašas ir viktorina]

Trumpas atsakymas: dirbtinio intelekto duomenų centras yra didelio tankio vieta, kurioje energija, aušinimas, infrastruktūra ir saugyklos yra skirtos mokymo ir aptarnavimo modeliams, o ne serverių patalpai su papildomais GPU. Lustai pelno šlovę; pastatas sprendžia , ar jie veiks. Jei vaizdai negali būti išnešti, reikia įrengti nedidelę ląstelę; dauguma komandų turėtų ją nuomotis.

Svarbiausios išvados:

Lustai ir kūrimas: maitinimas, aušinimas, audinys ir atmintis lemia, ar greitintuvai veikia.

Vietos, o ne rūmai: įrenkite dvi lentynas ten, kur duomenys negali būti išnešti; nepirkite miestelio.

Vidurkis ir mediana: po aštuonių bandymų mediana hid pradedama skaičiuoti iš naujo; naudokite 18 valandų vidurkį.

Apsauga nuo netinkamo naudojimo: nenurodykite PUE dviem stelažams mišrioje salėje.

Iliustraciniai rezultatai: Aštuoni taškai yra mažas žemėlapis, o ne 50 % gamybos sutaupymas.

Straipsniai, kuriuos galbūt norėsite perskaityti po šio:

🔗 Ar dirbtinis intelektas yra patikimas? Vaizdo įrašas ir viktorina.
Ištyrinėkite dirbtinio intelekto patikimumą per įtraukiančią vaizdo įrašo ir interaktyvios viktorinos sesiją.

🔗 Kaip naudoti dirbtinį intelektą kasdieniame gyvenime
Atraskite praktinių būdų, kaip dirbtinis intelektas gali supaprastinti kasdienes užduotis ir rutiną.

🔗 Kaip naudoti dirbtinį intelektą darbe
Sužinokite praktinių būdų, kaip naudoti dirbtinį intelektą, kad darbo vietoje būtų produktyviau.

🔗 Ar dirbtinis intelektas gali mąstyti savarankiškai?
Supraskite, ar dirbtinis intelektas iš tiesų gali mąstyti savarankiškai arba samprotauti.

Kuo jis skiriasi nuo „įprasto“ duomenų centro

Tradiciniai centrai optimizuojami mišriam darbo krūviui ir veikimo laikui, apimančiam daugybę smulkių paslaugų. Jums rūpi perteklius, žinoma, ir PUE kaip koncepcija – papildoma energija, kurią pastatas sudegina, kad pateiktų vatą skaičiavimo galios. Paprastai neprojektuojate kiekvieno koridoriaus aplink stelažą, kuris elgiasi kaip nešiojamas šildytuvų ūkis.

Dirbtinio intelekto svetainės apverčia santykius. Tankis didėja. Tinklas tampa audiniu, be kurio mokymo užduotis negali išsiversti. Saugykla turi palaikyti kontrolinių taškų judėjimą arba greitintuvai turi stovėti nenaudojami, kaip lenktyniniai žirgai kamštyje.

Taip pat yra kultūrinių skirtumų. Įmonės operacijų skyrius mąsto apie užklausas ir pakeitimų langus. Dirbtinio intelekto operacijų skyrius mąsto apie užduočių eiles ir nemalonų jausmą, kai mazgas ilgainiui sugenda. Manau, kad abu vis tiek galima vadinti „duomenų centrais“, nes jie tokie ir yra. Pavadinimas tik paslepia santechniką.

Ne moralinis reitingas. Skirtingos mašinos, tas pats šeimos pavadinimas.

Grafikos procesoriai, greitintuvai ir energiją eikvojanti lentyna

Eikite tradicinėmis pakeltomis grindimis ir lentynos atrodo beveik mandagiai. Eikite dirbtinio intelekto eile ir jos atrodo taip, lyg norėtų praryti pastatą.

Išsiskirianti techninė įranga nėra sumanus CPU. Tai greitintuvo dėklas: GPU arba kiti dirbtinio intelekto lustai, sutalpinti į serverius, tada lentynas, tada eilutes, kurios dalijasi didelio pralaidumo tinklu. GPU sujungia „sujungimo“ lustus į kažką, kas gali apsimesti vienu milžinišku greitintuvu; klasterio tinklas tą patį atlieka eilučių mastu. Lygiagretus mokymas veikia tik tuo atveju, jei tos jungtys išlieka didelės ir nuspėjamos. Jei tai prarasite, jūsų „klasteris“ taps krūva brangių darbo stočių, dalijančiųsi pašto kodu.

Maitinimas seka paskui lustus. Ne gremėzdiškas biuro maitinimo blokas. IT apkrova megavatais, kai salė prisipildo – neišgalvosiu skaičiaus. Tankis vienoje lentynoje yra netikėtas posūkis. Mažiau lentynų. Kiekviena jų – maža krosnis. Ribojantis veiksnys dažnai yra pastotė, o ne vaizdo procesorių pageidavimų sąrašas. Žinote, kaip būna: pirkimų skyrius nori daugiau greitintuvų; komunalinių paslaugų teikėjas nori ilgo pokalbio ir labai didelio čekio.

Vienos kiek kvailokos metaforos negaliu atsikratyti: stovas yra alkanas gyvūnas. Galima išvesti greitesnį. Vis tiek reikia jį maitinti ir vis tiek reikia numalšinti karštį. Praleidus bet kurį iš jų, jis tampa labai brangiu prespapjė.

Energijos, šilumos ir aušinimo problemos

Elektra įeina. Šiluma išeina. Tai visa religija.

Didelio tankio lentynos išskiria šilumą taip, kaip oro niekada nebuvo reikalaujama apdoroti. Galite stipriau spausti orą – galinių durelių šilumokaičiai, šiltesni praėjimai, išmanus izoliavimas – ir tai veikia iki tam tikro taško. Tada pasirodo skystis:

• Tiesioginis aušinimas mikroschemoje

• Aušinimo skysčio kilpos, dėl kurių gamykla atrodo kaip chemijos gamykla

• Pasinerimas į keletą dizainų vis dar glumina tuos, kurie mano, kad vanduo ir padavėjai neturėtų būti kartu

Visa tai nėra žavinga. Visa tai yra produktas, nes už akceleratorių, kuris spaudžia droselį, jau sumokėjote ir negalite jo pilnai išnaudoti.

PUE vis dar svarbus. Tai santykis, o ne asmenybė. Operatoriai jo vejasi, nes kiekvienas vatas, išleistas ventiliatoriams ir siurbliams, yra vatas, kuris nebuvo skirtas GPU. Necituosiu „tipinio“ skaičiaus; klimatas ir tai, kaip nubrėži ribas, tai keičia, o netikras tikslumas yra blogiau nei joks. Vanduo irgi minimas istorijoje. Kai kurie augalai gurkšteli. Kai kurie dar ir gurgžda. Garinis aušinimas yra efektyvus tol, kol upė ar sausra jį paverčia politiniu.

Tinklaveika: kodėl audinys svarbus tiek pat, kiek ir lustai

Žmonės fotografuoja GPU. Jie turėtų fotografuoti ir komutatorius.

Mokymas yra pokalbis. Tūkstančiai greitintuvų keičiasi gradientais, parametrais, modelio fragmentais, glaudžiai sinchronizuotai. Jei tinklas dreba, visas darbas laukia lėčiausio šuolio. Štai kodėl dirbtinio intelekto salės taip domisi didelio pralaidumo tinklais, mažu delsos laiku ir topologijomis, kurios nesuyra pusiau, kai nutrūksta ryšys. „InfiniBand“ tipo tinklai, Ethernet tame pačiame vaidmenyje, GPU sujungimai dėžutės viduje, kabeliai, kurie turi būti teisingi iš pirmo karto.

Išvada – tai jau kita tema. Modelių aptarnavimas rūpinasi uodegos delsa – lėtu atsakymu, o ne vidutiniu. Paketinis ir realaus laiko palyginimas skaldo asmenybę. Mokymo klasteris nori didelio, kolektyvinio, beveik „viskas į visus“ judėjimo. Aptarnaujantis parkas nori daug mažesnių užklausų ir izoliacijos, be spūsčių apkrovos balansavimo įrenginyje.

Praleidus šią akimirką, kol aš čia esu: žmonės tinklą laiko santechnika, o drožles – restoranu. Šiame pastate santechnika yra restoranas. Praleidus šią akimirką, nusipirksite virtuvę, kuri negali priimti maisto.

Mokymas ir išvados: du pastatai, kartais tiesiogine prasme

Mokymas yra kampanija. Surenkate klasterį, tiekiate jam duomenis, kruopščiai tikrinate, vykdote valandas ar savaites ir meldžiatės, kad tinklas veiktų sklandžiai. Daug dirba su paketais, eikvoja pralaidumą, esate tyliai kantrūs – kol sugedęs mazgas šiek tiek sutrikdo darbą. Vienas neveikiantis greitintuvas glaudžiai susietame darbe gali sustabdyti visą procesą.

Išvada – tai vitrina. Jau apmokyti modeliai dabar atsakinėja į klausimus, klasifikuoja vaizdus, ​​generuoja tekstą. Vėlavimas yra svarbus. Šiek tiek senesnis greitintuvas šalia kliento gali pranokti žavingą akceleratorių, esantį už viso žemyno.

Taigi, gaunasi padalijimas. Mokymo miesteliai vejasi galią, žemę ir tankumą. Išvadų darymo vietos vejasi delsą ir matomumą. Egzistuoja ir hibridinės salės, nes kapitalas nėra begalinis. Na, ne visada du pastatai. Kartais viena salė su aksominiu lynu ir dviem aušinimo kilpomis.

Čia taip pat atsiranda kolokacija, hiperskalės tipo universitetai ir vietinė išsišakojimas. Hiperskalės tipo architektai kuria tokius mastus, kad mes, kiti, atrodo lyg perstatome baldus. Kololokacijos parduoda tankį stelažais. Vietinė plėtra vis dar vyksta, kai duomenys negali būti išsiųsti iš namų.

Saugyklos pralaidumas, kontroliniai taškai ir alkani lustai

Niekas nededa lygiagrečios failų sistemos ant brošiūros viršelio.

Mokymo duomenys turi būti pateikti pakankamai greitai, kad GPU netrukdytų. Kontroliniai taškai turi įvykti, kad gedimas nesugadintų savaitės. Modelio svoriai turi būti įkelti prieš paleidžiant aptarnaujančią kopiją. Saugyklos pralaidumas – ne tik talpa – yra tylusis kliūtis. Galite išleisti turtus greitintuvams ir juos apriboti mandagiu masyvu, skirtu virtualioms mašinoms.

Modelis pažįstamas: blizgantis klasteris, užduočių eilė ir įvesties/išvesties laukimas, žiūrintis atgal kaip grubi sąskaita faktūra. Skaičiavimo klasterizavimas be duomenų kelio klasterizavimo – kaip gauti labai brangų neveiklumą. Maitinkite lustus arba prisipažinkite, kad nusipirkote skulptūrą.

Programinė įranga, orkestravimas ir nepatrauklus operacijų sluoksnis

Aparatinė įranga yra įžymybė. Planuotojai atlieka darbą.

Dirbtinio intelekto duomenų centras nenaudingas, jei užduotys negali rasti GPU, jei dvi komandos negali dalytis klasteriu be muštynių, jei nepavykusio rango negalima pakeisti, jei programinė įranga dreifuoja, kol tinklas sugenda sulėtintai. Orkestravimas, stebimumas, galios ribojimas – tas neglamūriškas operacijų sluoksnis, iš kurio ir žinai, kad jis svarbus.

Jaučiu silpnybę šiam sluoksniui. Be to, kai netinkamai sukonfigūruota tinklo plokštė visą popietę apsimeta aušinimo problema... tai paaiškėja skaudžiai.

Kai mazgas miršta vykdymo metu

Mazgas miršta. Keitimų langai vis tiek susiduria su mokymo vykdymais, kuriems nerūpi jūsų kalendorius. Jūs grupuojate didelius darbus, atskiriate išvadų telkinius, rašote vykdymo knygas gedimams, kurie atrodo kaip „užduotis lėta“, kol jie atrodo kaip „užduotis mirusi“. Pertekliniai ištekliai vis dar svarbūs – maitinimas, aušinimas, keliai, saugykla – tačiau gedimų režimas yra mažiau tvarkingas nei senasis devynių veikimo laiko intervalų skaidrė. Išvada: replika, sugedusio mazgo ištuštinimas, atsakymų pateikimas. Mokymui reikia kontrolinių taškų, o ne optimizmo.

Vieta, vanduo, tinklas ir kaimynai

Jų nenumesite šalia namelio dėl vaizdo.

Prisijungimas prie tinklo dažnai yra tikrasis vietos pasirinkimo procesas. Žemė yra lengviausia, palyginti su pastote ir komunalinių paslaugų įmone, turinčia kitų klientų. Vanduo vėsinimui, jei jį naudojate, tampa kaimynų problema, kai tik iškrenta daug lietaus. Triukšmas. Vizualinis tūris. Karštis prie tvoros. Planavimo komitetai sužino nuomones apie „debesį“ vos tik jam reikia lauko ir upės.

Vėlavimas veikia priešingai. Išvadoms patinka būti arti vartotojų ir jungčių. Mokymai gali pasislėpti pigesnėse energijos rinkose ir vėsesniame klimate. Pramonė kalba taip, tarsi būtų viena tobula vieta. Jos nėra. Yra kompromisas su pranešimu spaudai.

Likęs karštis ir nekviesta krosnis

Brošiūroms ši dalis labai patinka. Vamzdžiais nukreipkite šilumą į namus, baseinus, šiltnamius; tai puikus sakinys. Kartais rajono kilpa yra tikra. Kartais miestelis yra netinkamoje vietoje, o šiluma vis tiek sklinda į orą. Aš skeptiškai vertinu brošiūros versiją; nesu skeptiškai nusiteikęs dėl fizikos.

Kam to reikia (ir kas turėtų nuomotis)

Daugumai žmonių nereikia turėti vienos iš šių salių.

Griežtas sąrašas:

• Hiperskalintojai, nes produktas yra transporto priemonių parkas

• Laboratorijos, kai eilės laikas yra kliūtis arba duomenys negali būti išsiųsti

• Bankas, ligoninių grupė, vyriausybė ar gamintojas, turintis slaptą duomenų rinkinį – vietinį arba privatų kolokacinį narvą, gali būti racionalus, net jei tai tik apgaulė

Visi kiti turėtų nuomotis. Kolokacija su dirbtiniam intelektui pritaikytu tankiu. Debesijos rezervacija. Valdomas klasteris. Gausite akceleratorius, netapsite elektrinės operatoriumi. Romantika išblėsta, kai kas nors pirmą kartą paklausia, kas budi aušinimo skysčio kilpoje 3 val. nakties.

Pripažįstu, kad yra ir pasididžiavimo dalykas. Turėti klasterį jautiesi lyg turėtum prognozavimo priemones. Tada ateina sąskaita už elektrą, ir pasididžiavimas atsisėda.

Kam skirtas pastatas

Taigi, kas yra dirbtinio intelekto duomenų centras? Specializuotas, didelio tankumo miestelis, kuriame greitintuvai, maitinimas, aušinimas, infrastruktūra ir saugyklos yra organizuoti pagal mokymo ir aptarnavimo modelius – tai ne bendrosios paskirties IT centras su GPU kampe. Jis atrodo kaip sandėlis. Jis elgiasi kaip elektrinė, atliekanti matematinius veiksmus.

Jei nieko daugiau neprisimenate: lustai pelno šlovę; pastotė, aušinimo skystis ir tinklas sprendžia, ar tie lustai buvo gera idėja. Mokymai ir išvados gali būti bendromis pastangomis; jie vis tiek nori skirtingų manierų. Dauguma organizacijų turėtų nuomotis. Kelios turėtų statyti. Kaimynai pastebės bet kokį variantą.

Debesis visada turėjo pastatą. Šiomis dienomis pastatas turi savo nuomonę.

Realaus pasaulio pavyzdys: dviejų stelažų mokymo kamera, kai vaizdai negali išeiti

Scenarijus

„Tomos“ vadovauja „Kestrel Precision“, 400 darbuotojų turinčios gamyklos Vakarų Midlandse, infrastruktūrai. Jie jau turi nedidelę vietoje veikiančią salę: ERP, failų bendrinimo sistemos, virtualios mašinos – mišri aplinka, nuo kurios prasidėjo šis straipsnis. Oro aušinimas. Įprastas Ethernet tinklas. SAN, puikiai tinkantis biuro diskams.

Mašininio matymo komanda turi apmokyti tikrinimo modelį su gamyklos nuotraukomis. Nuotraukos negali palikti objekto. Jose rodomas procesas, kurio įmonė nekels į debesies diską, net į privatų. Pirkimų skyriaus sprendimas – keturi dvigubo greitintuvo serveriai ir skaidrė pavadinimu „mūsų dirbtinio intelekto duomenų centras“. Serveriai dedami į dvi esamas lentynas, nes yra vietos, o erdvė atrodė kaip apribojimas.

Taip nėra. Per dvi savaites vaizdo procesoriai ima rodyti savo užimtumą, o tada tyliai pradeda mažėti. Darbai pradeda veikti, kai patikros taškas pasiekia SAN. Vienuoliktą valandą sugenda mazgas ir našumas tiesiog... baigiasi. Tomosas nenusileido sau lustų. Jis nusipirko krūvą brangių darbo stočių, esančių tuo pačiu pašto kodu. Pastatas vis dar buvo įmonių salė.

Jiems nereikia miestelio, naujos pastotės ar upės. Jiems reikia mažos ląstelės, kuri veiktų kaip miniatiūrinis dirbtinio intelekto duomenų centras: tiektų energiją, kurią lentynos galėtų sutalpinti, šilumą, kuri išeitų nekaitinant lustų, struktūrą, apie kurią galėtų kalbėti mokymo užduotis, saugyklą, kuri galėtų priimti kontrolinį tašką, ir operacijų knygą, skirtą mazgo gedimo atveju. Kadangi atvaizdai negali iškeliauti, kolo narvelio nuoma už keturiasdešimties minučių kelio nėra išeitis. Dviejų lentynų modernizavimas yra būtinas.

Ko reikia ląstelei

• Išmatuotas energijos biudžetas toje eilutėje, iš PDU, o ne iš GPU pageidavimų sąrašo. Jei laisvos talpos negali maitinti keturių serverių mokymo apkrova, pokalbis ties tuo ir baigiasi ir jie žiūri į tankesnę spalvą, o ne į stebuklą

• Esant tokiam tankiui, oro aušinimas niekada nebuvo numatytas: galinių durų šilumokaičiai, jei salė juos gali priimti, arba maža skysčio kilpa, jei ji gali tai priimti. Jei nei vienas, nei kitas, serveriai nevažiuoja

• Specialus didelio pralaidumo tinklas tarp keturių mazgų, o ne biuro Ethernet. Jei tiekėjas kataloge turi tik 10 Gb komutatorių, tai nėra klasteris

• Vietinė greita saugykla kontroliniams taškams ir mokymo fragmentams, o ne VM SAN

• Planuoklė, kontrolinių taškų intervalas ir parašytas perkrovimo kelias. Aparatinė įranga yra įžymybė. Šis sluoksnis yra užduotis

• Aptverta gamyklos linijos išvadų dėžutė, atskirta nuo mokymo pokalbių, nes aptarnavimas nori uodegos vėlavimo ir izoliacijos, o ne kolektyvinio

• Leidimas registruoti galią, GPU laikrodžius, droselio įvykius ir užduočių sieninį laikrodį. Jei jie negalės jų patikrinti, jie nufotografuos GPU ir praleis jungiklius

Instrukcijos pavyzdys

Tomosas tai išdėsto trumpame aprašyme, paprasta kalba:

Nevadinkite to dirbtinio intelekto miesteliu. Esamoje salėje pastatykite dviejų stelažų mokymo kamerą keturiems serveriams su dviem greitintuvais. Gamykliniai atvaizdai lieka vietoje. Sėkmė: keturi mazgai įvykdo 12 epochų trukmės patikrinimo ir mokymo receptą be terminio droselio, parašo kontrolinį tašką per kelias minutes, o ne dešimtis minučių, ir atnaujina darbą nuo to kontrolinio taško, kai tyčia sunaikiname rangą. Aušinimas turi palaikyti GPU mokymo taktuose. Tinklas turi būti šių keturių dėžių bendras audinys, o ne kelias per biuro steką. Saugykla turi maitinti lustus. Jei galinių durų šilumokaičiai netelpa, pasakykite tai ir sustokite. Nenurodykite PUE dviem stelažams mišrioje salėje. Toks skaičius būtų teatro.

Tada jis tai įtraukia į patį mokymo darbą:

Kas 30 minučių kontrolinis punktas vietiniame greitųjų skrydžių baseine. Jei rangas dingsta, iš naujo pradėkite nuo paskutinio užbaigto kontrolinio punkto. Nelaukite SAN. Netęskite treniruočių, kol laikrodžiai nukrito nuo karščio. Užregistruokite ir sustokite, kad galėtume matyti sustojimą.

Gera valanda atrodo taip: visi aštuoni GPU dirba mokymo režimu, kontrolinių taškų failas pasiektas, užduotis vis dar vykdoma. Bloga valanda atrodo taip: ventiliatoriai veikia visu pajėgumu, laikrodžiai išjungti, 2 % kontrolinio taško įrašomas po dešimties minučių, o kažkas biure sako „klasteris veikia“. Veikimas nėra mokymasis.

Kaip tai išbandyti

Jie parašo testą prieš modifikavimą, todėl nepasitikėti demonstracine versija yra svarbiausia.

• Tas pats 12 epochų receptas, tie patys 120 000 patikros kadrų, aštuoni bandymai

• Laikas skaičiuojamas pagal sieninį laikrodį iki recepto pabaigos, įskaitant bet kokį paleidimą iš naujo, nuo užduoties pateikimo iki paskutinio 12-osios epochos kontrolinio taško

• Šilumos perdavimas: GPU laikrodžiai išlieka ties mokymo tikslu viso paleidimo metu. Droselio įvykis laikomas nesėkmingu, net jei užduotis galiausiai baigiama

• Saugojimo perdavimas: kontrolinio taško įrašymo laikas, mediana ir blogiausias, iš darbo žurnalo

• Perdavimas medžiagai: darbas nelaukia kolektyvinio laukimo, kol rangas yra sveikas. Jei jie nemato to laukimo, instrumentavimas nėra atliktas

• Dviejų iš aštuonių paleidimų rangas specialiai nutraukiamas fiksuotame žingsnyje, siekiant patikrinti paleidimo iš naujo kelią

• Išvada – tai atskiras 200 vaizdų testas nuo gamyklos linijos iki aptvertos serviravimo aikštelės. Treniruočių sėkmė neskaičiuojama kaip serviravimo sėkmė

• Jie fiksuoja maitinimo blokų (PDU) stovų galią 15 minučių intervalais, todėl niekam nereikia išradinėti megavatų

Priėmimas dėl langelio pavadinimo „parengtas dirbtiniam intelektui“: 8 iš 8 receptų baigiami; 0 iš 8 rodo terminį droselį; abu sustabdyti paleidimai tęsiami; kontroliniai taškai lieka po kelių minučių. Jei jie to nepadaro, jie vis tiek turi serverių kambarį su moderniomis vaizdo plokštėmis.

Rezultatas

Iliustracinis rezultatas, gautas iš sufabrikuoto aštuonių važiavimų bandymo, o ne paskelbtas Kestrelio skaičius.

Prielaidos: keturi dvigubo greitintuvo serveriai dviejuose stelažuose; vienas tikrinimo modelis; 120 000 nuotraukų; aštuoni fiksuoto 12 epochų recepto paleidimai; sieninis laikrodis apima paleidimus iš naujo, kol receptas baigiamas; droselis reiškia užregistruotą mokymo laikrodžio kritimą; kontrolinio taško laikas yra įrašymas, o ne pageidavimas; stelažo galia yra PDU pavyzdžiai, o ne universiteto miestelio PUE.

Prieš modifikavimą, GPU įprastuose oru aušinamuose stelažuose biuro Ethernet tinkle ir VM SAN tinkle:

• 5 iš 8 bėgimų baigti pirmuoju bandymu. Vidutinis sieninis laikrodis tarp šių penkių: 14 valandų

• 3 iš 8 turėjo paleisti iš naujo po užstrigimo maždaug 11 valandą (du po to, kai mazgas sugedo dėl pasenusio kontrolinio taško, vienas po to, kai kontrolinis taškas užpildė SAN). Nedelsiamas pakartotinis bandymas, jokio naktinio laukimo laikrodyje: 11 valandų sugaištos ir 14 valandų antras bandymas, arba 25 valandos iki recepto pabaigos per tuos tris

• Vidutinis laikas iki recepto užbaigimo visuose aštuoniuose, įskaitant pakartotinius paleidimus: 18 valandų. (Penki – 14 valandų, trys – 25 valandų. Visų aštuonių mediana vis dar yra 14, todėl pakartotiniai paleidimai nebūtų matomi. Todėl vidurkis čia yra bazinė vertė.)

• Terminis droselis užregistruotas 7 iš 8 bandymų. Vidutinis laikas sumažintu taktu: 3 valandos per 14 valandų bandymą

• Kontrolinio punkto įrašymas: vidutiniškai 22 minutės

• Jie negalėjo išlaikyti rango žudymo testo. Jie neturėjo veiksmų plano. Dvi atsitiktinės mirtys buvo atradimas

• Didžiausia IT apkrova dviejuose stelažuose mokymo metu: apie 18 kW. Eilė turėjo vatų. Ji neturėjo aušinimo ar audinio

Po galinių durelių šilumokaičių įrengimo šiuose dviejuose stelažuose, specialaus tinklo tarp keturių mazgų, nedidelio NVMe telkinio kontroliniams taškams, 30 minučių trukmės kontrolinių taškų nustatymo ir paleidimo iš naujo operacijų knygos:

• 8 iš 8 baigė iš pirmo karto. Vidutinis sieninis laikrodis: 9 valandos

• Terminis droselis: 0 iš 8

• Kontrolinio punkto įrašas: vidutiniškai 90 sekundžių. Blogiausias rezultatas sete: 3 minutės

• Du tyčiniai bandymai buvo atnaujinti nuo paskutinio 30 minučių kontrolinio taško. Papildomas sieninis laikrodis per šiuos du bandymus: apie 40 minučių kiekvienas, įskaitant diagnostiką, taigi abu bandymai truko apie 9 valandas 40 minučių. Vidurkis per aštuonis darinius yra 9 valandos

• Didžiausia IT apkrova vis dar apie 18 kW. Tie patys lustai. Skirtinga pastato elgsena

Šioje imtyje vidutinis recepto paruošimo laikas sutrumpėjo nuo 18 valandų iki 9 valandų, arba po 9 valandas kiekvienam receptui, iš viso po 72 valandas per aštuonis bandymus. „Iš pirmo karto“ užbaigtų receptų skaičius sumažėjo nuo 5 iš 8 iki 8 iš 8. „Throttle“ sumažėjo nuo 7 iš 8 iki 0 iš 8. Paskutinis skaičius nurodo, ar jie pirko greitintuvus, ar prespapjė. Jie nevadins laiko pakeitimo 50 % gamybos sutaupymu. Aštuoni bandymai yra nedidelis ir paprastas rinkinys.

Šie skaičiai yra pavyzdinis įvertis, pagrįstas nurodytu bandymu, nedideliu imties skaičiumi, vienu modeliu ir viena mišria sale. Jie nėra PUE, nėra universiteto miestelio megavatas ir nėra įrodymas, kad „Kestrel“ turėtų statyti mokymo aikštelę lauke. Žurnalų peržiūra atitiko 9 valandų ribą; jie to neslėpė. 18 kW skaičius yra suapvalintas PDU rodmuo, o ne komunalinių paslaugų sąskaita faktūra. Jie nekonvertavo 72 valandų į sąnaudas, nes gamyklos mišraus elektros energijos tarifas būtų sukūręs netikrą verslo planą.

Padavimų tikrinimas buvo atskiras ir mažesnis: 200 linijų atvaizdų aptvertoje aikštelėje, visi jie buvo vietoje. Tai yra išvada, o ne mokymas. Dviejų sumaišymas būtų buvęs miniatiūrinė hibridinės salės klaida.

Kas gali nutikti ne taip

• Viešųjų pirkimų skyrius keturis serverius vadina „dirbtinio intelekto duomenų centru“. Etiketėje paslėpta santechnika, o kitas pirkinys – daugiau GPU tam pačiam pacientų praėjimui

• Įeina galinių durų keitikliai, o vandens pusės niekas neužveda. Ventiliatoriai vis dar šaukia. Laikrodžiai vis dar krenta

• Tinklas yra vienas komutatorius be laisvo kelio. Viena sugedusi jungtis ir „klasterį“ vėl sudaro keturios darbo stotys

• Kontroliniai taškai lieka SAN tinkle, nes NVMe telkinys buvo „antrojo etapo“. Antrasis etapas neatvyksta anksčiau nei kitas neveikiantis mazgas

• Jie nurodo PUE dviem stelažams mišrioje salėje. Klimatas, ribos ir likusi ERP eilutė šį santykį paverčia kostiumu

• Mokymai ir aptarnavimas yra svarbūs. Kontrolinių punktų perpildymas verčia gamyklos liniją laukti. Uodegos vėlavimas yra produktas, o ne tankis

• Mazgas sugenda, ir kažkas tai traktuoja kaip veikimo laiko užklausą, o ne kaip kontrolinio taško paleidimą iš naujo. Įmonės ir dirbtinio intelekto operacijos visą popietę kalbasi tarpusavyje

• Jie galėjo išsinuomoti narvą, tik vaizdai negali išeiti. Pamiršę šį apribojimą, jie įsitraukia į debesies pokalbį, kurį turės atsipalaiduoti

Praktiškas išsinešimui skirtas maistas

Šios formos dirbtinio intelekto duomenų centras nėra sandėlis ir ne GPU sąskaita faktūra. Tai yra ląstelė, leidžianti greitintuvams užbaigti darbą: energija, kurią jie gali išlaikyti, šiluma, kurią išskiria, audinys, kontrolinis taškas ir kažkas, kas gali prižiūrėti, kai sumažėja rangas. „Kestrel“ nereikėjo miestelio. Jiems reikėjo dviejų lentynų, kad nustotų apsimetinėti. Dauguma komandų turėtų išsinuomoti tokią elgseną. Kelios komandos, turėdamos slaptą duomenų rinkinį ir salę, kuri gali atlaikyti šilumą, turėtų pastatyti ląstelę ir atsisakyti skaidrės.

DUK

Kas yra dirbtinio intelekto duomenų centras?

Didelio tankio skaičiavimo vieta, kurioje maitinimas, aušinimas, tinklai ir saugyklos sutelktos lygiagrečiam mokymui ir modelių aptarnavimui, o ne tvarkingai išdėstytoms bendrosios paskirties serverių eilėms. Ji suprojektuota taip, kad daugybė greitintuvų galėtų mokyti ir aptarnauti modelius nesutrikdami, neužstrigdami tinkle ir nelaukdami diske. Įprasta įmonės salė yra mišri kaimynystė. Dirbtinio intelekto salė yra monokultūra, kurios vertės vienetas yra greitintuvas, pavyzdžiui, GPU arba TPU stiliaus lustai. Ji atrodo kaip sandėlis ir elgiasi kaip elektrinė, atliekanti matematikos veiksmus.

Kuo DI duomenų centras skiriasi nuo įprasto duomenų centro?

Tradiciniai centrai optimizuojami mišriems darbo krūviams ir veikimo laikui, apimančiam daugybę mažų paslaugų. Dirbtinio intelekto svetainės apverčia santykius: tankis didėja, tinklas tampa medžiaga, be kurios mokymo užduotis negali šlubčioti, o saugykla turi užtikrinti, kad kontroliniai taškai veiktų arba greitintuvai veiktų nenaudojami. Įmonės operacijos galvoja apie bilietus ir pakeitimų langus. Dirbtinio intelekto operacijos galvoja apie užduočių eiles ir blogą jausmą, kai mazgas ilgainiui sugenda. Vis tiek galite vadinti abu duomenų centrus. Pavadinimas tik paslepia santechniką.

Kodėl dirbtinio intelekto duomenų centrai sunaudoja tiek daug energijos?

Išsiskirianti techninė įranga nėra išmanusis procesorius. Tai greitintuvo dėklas: GPU arba kiti dirbtinio intelekto lustai, sutalpinti į serverius, tada lentynas, o tada eiles, kurios dalijasi didelio pralaidumo audiniu. Tankis vienoje lentynoje yra netikėtas dalykas: mažiau lentynų, kiekviena iš jų – maža krosnis. Megavatų IT apkrova atsiranda, kai salė prisipildo, nors tipinio skaičiaus sugalvoti neverta. Ribojantis veiksnys dažnai yra pastotė, o ne GPU pageidavimų sąrašas.

Kaip vėsinami dirbtinio intelekto duomenų centrai?

Didelio tankio lentynos išskiria šilumą taip, kaip oro niekada nebuvo reikalaujama. Orą galima spausti stipriau, naudojant galinių durelių šilumokaičius, karštesnius praėjimus ir išmanų izoliavimą. Tada atsiranda skystis: tiesioginis aušinimas lustu, aušinimo skysčio kilpos ir panardinimas į keletą konstrukcijų. Už greitintuvą, kuris droseliuoja, jau sumokėjote ir kurio negalite pilnai išnaudoti. Energijos sąnaudos (PUE) vis tiek svarbios, nes kiekvienas vatas, išleistas ventiliatoriams ir siurbliams, yra vatas, kuris nebuvo skirtas GPU. Vanduo taip pat svarbus: vieni įrenginiai siurbia, kiti – dar kiti.

Kodėl tinklai yra tokie pat svarbūs kaip ir GPU?

Mokymas yra pokalbis: tūkstančiai greitintuvų, glaudžiai sinchronizuotų, keičiančių gradientais, parametrais ir modelio fragmentais. Jei tinklas dreba, visas darbas laukia lėčiausio šuolio. Štai kodėl dirbtinio intelekto salės taip susitelkia į didelio pralaidumo tinklus, mažą delsą, „InfiniBand“ tipo tinklus arba Ethernet tame pačiame vaidmenyje ir topologijas, kurios nesuyra pusiau, kai nutrūksta ryšys. Išvados nagrinėja uodegos delsą, daugybę mažesnių užklausų ir izoliaciją. Šiame pastate santechnika yra restoranas.

Kam naudojamas dirbtinio intelekto duomenų centras: mokymui ar išvadoms?

Mokymai yra kampanija: surinkite klasterį, pateikite jam duomenis, kruopščiai atlikite kontrolinius patikrinimus ir paleiskite juos valandas ar savaites. Išvadų darymas yra vitrina: jau apmokyti modeliai dabar atsako į klausimus, o delsa yra svarbi. Mokymo miesteliai vaikšto dėl galios, žemės ir tankio. Išvadų darymo vietos vaikšto dėl delsos ir buvimo. Hibridinės salės egzistuoja, nes kapitalas nėra begalinis – kartais viena salė su dviem aušinimo kilpomis. Šiek tiek senesnis akceleratorius šalia kliento gali pranokti prabangų, esantį už kito žemyno.

Kodėl saugykla svarbi dirbtinio intelekto duomenų centre?

Mokymo duomenys turi būti pateikti pakankamai greitai, kad GPU netrukdytų. Kontroliniai taškai turi įvykti, kad gedimas nesugadintų savaitės. Modelio svoriai turi būti įkelti prieš paleidžiant aptarnaujančią kopiją. Saugyklos pralaidumas, o ne tik talpa, yra tylus kliūtis. Galite išleisti turtus greitintuvams ir juos apriboti mandagiu masyvu, skirtu virtualioms mašinoms.

Kas nutinka, kai mazgas sugenda vykdymo metu?

Vienas neveikiantis greitintuvas glaudžiai susietoje mokymo užduotyje gali sustabdyti visą procesą. Mokymui reikia kontrolinių taškų, o ne optimizmo. Išvados išsiurbia neveikiantį mazgą, palieka atsakinėjančią kopiją ir lieka aktyvi. Pakeitimų langai vis dar susiduria su mokymo vykdymais, kuriems nerūpi jūsų kalendorius. Perteklinis veikimas vis dar svarbus energijos tiekimui, aušinimui, keliams ir saugyklai, tačiau gedimų režimas yra mažiau tvarkingas nei senasis devynių veikimo laiko intervalų slankiklis.

Koks yra dirbtinio intelekto duomenų centro poveikis tinklui, vandeniui ir kaimynams?

Prisijungimas prie tinklo dažnai yra tikrasis vietos pasirinkimo procesas. Žemė yra lengviausia, palyginti su pastote ir komunalinių paslaugų įmone, turinčia kitų klientų. Vanduo vėsinimui, jei jį naudojate, tampa kaimynų problema, kai tik pradeda smarkiai lyti, kartu su triukšmu, vizualiniu tūriu ir karščiu prie tvoros. Mokytojai gali pasislėpti pigesnėse elektros energijos rinkose ir vėsesniame klimate. Išvadoms daryti patinka būti arti vartotojų. Nėra vienos tobulos vietos. Yra kompromisas su pranešimu spaudai.

Ar man reikia turėti savo dirbtinio intelekto duomenų centrą, ar turėčiau jį nuomotis?

Daugumai žmonių nereikia turėti vienos iš šių salių. Hiperskalės kūrėjai kuria, nes produktas yra parkas. Laboratorijos kuria, kai eilės yra kliūtis arba duomenys negali būti išsiųsti. Bankas, ligoninė, vyriausybė ar gamintojas, turintis slaptą duomenų rinkinį, gali racionalizuoti vietinę arba privačią kolokaciją. Visi kiti turėtų nuomotis: dirbtiniam intelektui pritaikytą kolokaciją, debesies rezervaciją arba valdomą klasterį. Gausite akceleratorius netapdami elektrinės operatoriumi.

Nuorodos

1. TEA – www.iea.org

2. LBNL - datacenters.lbl.gov

3. Žaliasis tinklas – www.thegreengrid.org

4. LBNL - datacenters.lbl.gov

5. LBNL - datacenters.lbl.gov

6. Veiklos laiko institutas – journal.uptimeinstitute.com

7. NVIDIA – developer.nvidia.com

8. NVIDIA – docs.nvidia.com

9. NVIDIA – docs.nvidia.com

10. NVIDIA – docs.nvidia.com

11. „Google“ debesis – docs.cloud.google.com

Raskite naujausią dirbtinį intelektą oficialioje dirbtinio intelekto asistentų parduotuvėje

Apie mus