Kaip naudoti NVIDIA GPU dirbtinio intelekto mokymui

Kaip naudoti NVIDIA GPU dirbtinio intelekto mokymui

Trumpas atsakymas: dirbtinio intelekto mokymui naudokite NVIDIA GPU, pirmiausia patvirtindami, kad tvarkyklė ir GPU matomi naudojant „nvidia-smi“, tada įdiegdami suderinamą sistemą / CUDA steką ir paleisdami nedidelį „model + batch on cuda“ testą. Jei susiduriate su atminties trūkumu, sumažinkite paketo dydį ir naudokite mišrų tikslumą, kartu stebėdami atminties naudojimą, temperatūrą ir apkrovą.

Svarbiausios išvados:

Baziniai patikrinimai: pradėkite nuo „nvidia-smi“; prieš diegdami sistemas, pataisykite tvarkyklės matomumą.

Suderinamumas su paketais: tvarkyklės, CUDA vykdymo aplinkos ir platformos versijas palaikykite vienodas, kad išvengtumėte gedimų ir nestabilių diegimo procesų.

Maža sėkmė: prieš didindami eksperimentų mastą, įsitikinkite, kad vienas tiesioginis bandymas atliktas CUDA sistemoje.

VRAM disciplina: remkitės mišriu tikslumu, gradiento kaupimu ir kontrolinių taškų taikymu, kad tilptų didesni modeliai.

Stebėjimo įpročiai: stebėkite panaudojimą, atminties modelius, galią ir temperatūrą, kad anksti pastebėtumėte kliūtis.

Straipsniai, kuriuos galbūt norėsite perskaityti po šio:

🔗 Kaip sukurti dirbtinio intelekto agentą
Sukurkite savo agento darbo eigą, įrankius, atmintį ir apsaugos priemones.

🔗 Kaip diegti dirbtinio intelekto modelius
Nustatykite aplinkas, pakuočių modelius ir patikimai pristatykite į gamybą.

🔗 Kaip išmatuoti dirbtinio intelekto našumą
Pasirinkite metrikas, atlikite vertinimus ir stebėkite našumą laikui bėgant.

🔗 Kaip automatizuoti užduotis naudojant dirbtinį intelektą
Automatizuokite pasikartojantį darbą naudodami raginimus, darbo eigas ir integracijas.

1) Platesnis vaizdas – ką darote, kai „treniruojatės su GPU“ 🧠⚡

Mokydami dirbtinio intelekto modelius, dažniausiai atliekate daugybę matricų matematikos skaičiavimų. Grafikos procesoriai (GPU) yra sukurti tokio tipo lygiagrečiam darbui, todėl tokios sistemos kaip „PyTorch“, „TensorFlow“ ir „JAX“ gali perkelti sunkų darbą GPU. („PyTorch CUDA“ dokumentacija, „TensorFlow“ diegimas (pip), JAX greitoji pradžia)

Praktiškai „NVIDIA GPU naudojimas mokymui“ paprastai reiškia:

  • Jūsų modelio parametrai (dažniausiai) yra GPU VRAM atmintyje

  • Jūsų partijos kiekviename žingsnyje perkeliamos iš RAM į VRAM

  • Jūsų tiesioginis ir atgalinis perdavimas veikia su CUDA branduoliais (CUDA programavimo vadovas)

  • Optimizavimo priemonės atnaujinimai atliekami naudojant GPU (idealiu atveju)

  • Stebite temperatūrą, atmintį, panaudojimą, kad nieko neveiktumėte 🔥 (NVIDIA nvidia-smi dokumentai)

Jei tai skamba daug, nesijaudinkite. Tai daugiausia kontrolinis sąrašas ir keli įpročiai, kuriuos išsiugdote laikui bėgant.

2) Kas daro NVIDIA GPU AI mokymo sistemos versiją gerą 🤌

Tai skyrius „Nestatykite namo ant drebučių“. Geras NVIDIA GPU naudojimo dirbtinio intelekto mokymui yra mažai dramatiškas. Mažai dramatiškas yra stabilus. Stabilus yra greitas. Greitas yra... na, greitas 😄

Tvirta treniruočių sistema paprastai turi:

  • Pakankamai VRAM jūsų partijos dydžiui + modeliui + optimizavimo būsenoms

    • VRAM yra kaip lagamino talpa. Galima supakuoti išmaniau, bet negalima supakuoti be galo daug vietos.

  • Suderinta programinės įrangos paketo versija (tvarkyklė + CUDA vykdymo aplinka + suderinamumas su sistema) („PyTorch Get Started“ (CUDA selektorius), „TensorFlow“ diegimas (pip))

  • Greitas saugojimas (NVMe labai padeda dideliems duomenų rinkiniams)

  • Geras procesorius ir operatyvioji atmintis , kad duomenų įkėlimas neapkrautų GPU (PyTorch našumo derinimo vadovas)

  • Aušinimo ir galios rezervas (nepakankamai įvertintas, kol per daug nepervertinamas 😬)

  • Atkuriama aplinka („venv“ / „conda“ arba konteineriai), kad atnaujinimai netaptų chaosu („NVIDIA Container Toolkit“ apžvalga)

Ir dar vienas dalykas, kurį žmonės praleidžia:

3) Palyginimo lentelė – populiarūs mokymo būdai su NVIDIA GPU (su ypatybėmis) 📊

Žemiau pateikiamas trumpas paaiškinimas „kuris tinka?“. Kainos yra apytikslės (nes realybė skiriasi), ir taip, vienas iš šių elementų yra šiek tiek padrikas, ne veltui.

Įrankis / metodas Geriausiai tinka Kaina Kodėl tai veikia (dažniausiai)
PyTorch (vanilės) PyTorch dauguma žmonių, dauguma projektų Nemokama Lanksti, didžiulė ekosistema, lengvas derinimas – taip pat kiekvienas turi savo nuomonę
„PyTorch Lightning“ „Lightning“ dokumentai komandos, struktūrizuoti mokymai Nemokama Sumažina standartinį veikimą, švaresnius ciklus; kartais atrodo kaip „magija“, kol galiausiai taip nebeatrodo
Apkabinančių veidų transformeriai + trenerio trenerio dokumentai NLP + LLM tikslinimas Nemokama Treniruotės su baterijomis, puikūs numatytieji nustatymai, greitos pergalės 👍
Accelerate “ dokumentai kelių GPU be skausmo Nemokama Padaro DDP mažiau erzinantį, tinka mastelio keitimui neperrašant visko
„DeepSpeed ​​ZeRO“ dokumentai dideli modeliai, atminties triukai Nemokama „ZeRO“, apkrovos mažinimas, mastelio keitimas – gali būti sudėtinga, bet malonu, kai viskas veikia
„TensorFlow“ + „Keras TF“ diegimas gamybos tipo vamzdynai Nemokama Puikūs įrankiai, gera diegimo istorija; vieniems tai patinka, kitiems – ne
JAX + „Flax“ JAX greitas paleidimas / „Flax“ dokumentai tyrimų + greičio mėgėjai Nemokama XLA kompiliavimas gali būti neįtikėtinai greitas, bet derinimas gali atrodyti... abstraktus
NVIDIA NeMo NeMo apžvalga kalbos + LLM darbo eigos Nemokama NVIDIA optimizuotas rinkinys, geri receptai – jautiesi lyg gamintum su prašmatnia orkaite 🍳
„Docker“ + „NVIDIA Container Toolkit “ įrankių rinkinio apžvalga atkuriamos aplinkos Nemokama „Veikia mano mašinoje“ tampa „veikia mūsų mašinose“ (dažniausiai, vėlgi)

4) Pirmas žingsnis – įsitikinkite, kad jūsų GPU tinkamai matomas 🕵️♂️

Prieš diegdami keliolika dalykų, patikrinkite pagrindus.

Dalykai, kurie nori būti tiesa:

  • Mašina mato GPU

  • NVIDIA tvarkyklė įdiegta teisingai

  • GPU neužstrigęs darydamas ką nors kita

  • Galite patikimai paklausti

Klasikinis patikrinimas yra toks:

Ko ieškote:

Jei „nvidia-smi“ nepavyksta, tuoj pat sustokite. Dar neįdiekite karkasinių sistemų. Tai tas pats, kas bandyti kepti duoną, kai orkaitė neįjungta. (NVIDIA sistemos valdymo sąsaja (NVSMI))

Maža žmogiška pastaba: kartais „nvidia-smi“ veikia, bet mokymas vis tiek nepavyksta, nes jūsų sistemos naudojama CUDA vykdymo aplinka neatitinka tvarkyklės lūkesčių. Tai ne jūsų kvailumas. Taip yra... tiesiog yra 😭 (PyTorch pradžia (CUDA selektorius), TensorFlow diegimas (pip))

5) Sukurkite programinės įrangos paketą – tvarkykles, CUDA, cuDNN ir „suderinamumo šokį“ 💃

Štai čia žmonės praranda valandas. Visa esmė: išsirink kelią ir jo laikykis.

A variantas: Su sistema susieta CUDA (dažnai lengviausia)

Daugelis „PyTorch“ kompiliacijų turi savo CUDA vykdymo aplinką, o tai reiškia, kad nereikia įdiegti viso CUDA įrankių rinkinio visoje sistemoje. Dažniausiai tereikia suderinamo NVIDIA tvarkyklės. („PyTorch“ pradžiamokslis (CUDA parinkiklis), ankstesnės „PyTorch“ versijos (CUDA ratukai)).

Privalumai:

  • Mažiau judančių dalių

  • Lengvesnis diegimas

  • Labiau atkartojama kiekvienoje aplinkoje

Minusai:

  • Jei nerūpestingai maišysite aplinkas, galite susipainioti

B variantas: sistemos CUDA įrankių rinkinys (daugiau valdymo galimybių)

Įdiegiate CUDA įrankių rinkinį sistemoje ir viską suderinate su juo. (CUDA įrankių rinkinio dokumentacija)

Privalumai:

  • Daugiau valdymo galimybių individualiems projektams, kai kurie specialūs įrankiai

  • Patogu kompiliuojant tam tikras operacijas

Minusai:

  • Daugiau būdų nesuderinti versijų ir tyliai verkti

cuDNN ir NCCL, kalbant apie žmones

  • „cuDNN“ pagreitina gilaus mokymosi primityvus (konvoliucijas, RNN bitus ir kt.) („NVIDIA cuDNN“ dokumentai)

  • NCCL yra greita „GPU-GPU komunikacijos“ biblioteka, skirta kelių GPU mokymui (NCCL apžvalga)

Jei mokotės dirbti su keliais GPU, NCCL yra geriausias jūsų draugas – o kartais ir kaprizingas kambariokas. (NCCL apžvalga)

6) Pirmasis jūsų GPU mokymo ciklas („PyTorch“ pavyzdžio mąstysena) ✅🔥

Norint sekti „Kaip naudoti NVIDIA GPU dirbtinio intelekto mokymui“, pirmiausia nereikia didelio projekto. Jums reikia nedidelės sėkmės.

Pagrindinės idėjos:

  • Aptikti įrenginį

  • Perkelti modelį į GPU

  • Perkelti tenzorius į GPU

  • Patvirtinkite, kad tiesioginis perdavimas vyksta ten (PyTorch CUDA dokumentai)

Dalykai, kuriuos visada iš anksto patikrinu dėl savo sveiko proto:

Dažnas klausimas „kodėl jis lėtas?“, supratote

  • Jūsų duomenų įkėlimo programa yra per lėta (GPU laukia, kol neveikia) („PyTorch“ našumo derinimo vadovas)

  • Pamiršote perkelti duomenis į GPU (oi)

  • Partijos dydis mažas (GPU nepakankamai išnaudota)

  • Mokymo etape atliekate intensyvų procesoriaus išankstinį apdorojimą

Be to, taip, jūsų GPU dažnai atrodys „ne tokia užimta“, jei kliūtis yra duomenys. Tai tas pats, kas pasamdyti lenktynininką ir priversti jį laukti degalų kiekviename rate.

7) VRAM žaidimas – partijos dydis, mišrus tikslumas ir nesprogimas 💥🧳

Dauguma praktinių mokymo problemų kyla dėl atminties. Jei išmoksite vieną įgūdį, išmokite valdyti vaizdo atmintinę.

Greiti būdai sumažinti atminties naudojimą

Akimirka „kodėl VRAM vis dar pilna po sustojimo?“

Karkasai dažnai kaupia atmintį našumui užtikrinti. Tai normalu. Tai atrodo bauginančiai, bet ne visada tai yra nutekėjimas. Išmokstama skaityti šablonus. („PyTorch CUDA“ semantika: talpyklos paskirstytojas)

Praktinis įprotis:

8) Priverskite GPU iš tikrųjų veikti – našumo derinimas, kuris vertas jūsų laiko 🏎️

Pirmas žingsnis – priversti „GPU mokymą veikti“. Antras žingsnis – greitai jį atlikti

Didelio poveikio optimizavimas

Labiausiai nepastebima kliūtis

Jūsų saugojimo ir išankstinio apdorojimo srautas. Jei jūsų duomenų rinkinys yra didelis ir saugomas lėtame diske, jūsų GPU tampa brangiu šildytuvu. Labai pažangus, labai blizgus šildytuvas.

Taip pat mažas prisipažinimas: valandą „optimizavau“ modelį, kad suprasčiau, jog kliūtimi tapo registravimas. Per didelis spausdinimas gali sulėtinti mokymąsi. Taip, gali.

9) Kelių GPU mokymai – DDP, NCCL ir mastelio keitimas be chaoso 🧩🤝

Kai norite didesnio greičio ar galingesnių modelių, pereinate prie kelių GPU. Štai čia ir prasideda pikantiškumas.

Įprasti metodai

  • Duomenų lygiagretumas (DDP)

  • Modelis lygiagretus / Tenzorius lygiagretus

    • Padalinti modelį tarp GPU (labai dideliems modeliams)

  • Lygiagretus vamzdynas

    • Padalinti modelio sluoksnius į etapus (kaip surinkimo liniją, bet tenzoriams)

Jei pradedate, DDP stiliaus mokymai yra idealus pasirinkimas. (PyTorch DDP pamoka)

Praktiniai patarimai dėl kelių GPU

  • Įsitikinkite, kad GPU gali būti panašiai galingi (maišymas gali sukelti kliūčių)

  • Stebėkite sujungimą: NVLink ir PCIe skirtumai svarbūs esant dideliems sinchronizavimo darbo krūviams (NVIDIA NVLink apžvalga, NVIDIA NVLink dokumentai)

  • Išlaikykite subalansuotus GPU paketų dydžius

  • Neignoruokite procesoriaus ir atminties – kelių GPU naudojimas gali padidinti duomenų perdavimo kliūtis

Ir taip, NCCL klaidos gali atrodyti kaip mįslė, įvyniota į paslaptį, įvyniotą į klausimą „kodėl dabar“. Jūs nesate prakeiktas. Tikriausiai. (NCCL apžvalga)

10) Stebėjimas ir profiliavimas – negražūs dalykai, kurie sutaupo jums valandas 📈🧯

Pradžiai nereikia įmantrių ataskaitų suvestinių. Reikia pastebėti, kada kažkas negerai.

Svarbiausi signalai, į kuriuos reikia atkreipti dėmesį

  • GPU panaudojimas: ar jis nuolat didelis, ar staigus?

  • Atminties naudojimas: stabilus, laipiojantis ar keistas?

  • Energijos sąnaudos: neįprastai mažos gali reikšti nepakankamą energijos suvartojimą

  • Temperatūra: nuolatinė aukšta temperatūra gali slopinti našumą

  • CPU naudojimas: čia rodomos duomenų perdavimo problemos („PyTorch“ našumo derinimo vadovas)

Profiliavimo mąstysena (paprastoji versija)

  • Jei GPU mažai naudojamas – duomenų arba procesoriaus kliūtis

  • Jei GPU sparta didelė, bet lėta – branduolio neefektyvumas, tikslumas arba modelio architektūra

  • Jei mokymo greitis atsitiktinai sumažėja – terminis droselis, foniniai procesai, įvesties/išvesties sutrikimai

Žinau, stebėjimas skamba nemaloniai. Bet tai tas pats, kas valytis dantų siūlu. Erzina, o tada staiga tavo gyvenimas pagerėja.

11) Trikčių šalinimas – įprasti įtartini veiksniai (ir rečiau) 🧰😵💫

Šis skyrius iš esmės yra toks: „tie patys penki klausimai amžinai“

Problema: CUDA trūksta atminties

Pataisymai:

Problema: Mokymas netyčia vykdomas naudojant procesorių

Pataisymai:

  • užtikrinti, kad modelis būtų perkeltas į „Cuda“

  • užtikrinti, kad tenzoriai būtų perkelti į „Cuda“

  • Patikrinkite karkaso įrenginio konfigūraciją („PyTorch CUDA“ dokumentai)

Problema: keisti gedimai arba neteisėta prieiga prie atminties

Pataisymai:

Problema: Lėtesnis nei tikėtasi

Pataisymai:

Problema: Užstringa dėl kelių GPU

Pataisymai:

Maža pastaba atgal: kartais pataisymas tiesiogine prasme yra perkrovimas. Tai atrodo kvaila. Tai veikia. Kompiuteriai tokie.

12) Kaina ir praktiškumas – tinkamos NVIDIA GPU ir sąrankos pasirinkimas be per didelio mąstymo 💸🧠

Ne kiekvienam projektui reikia didžiausio GPU. Kartais reikia pakankamai GPU.

Jei tiksliai derinate vidutinio dydžio modelius

Jei mokote didesnius modelius nuo nulio

Jei atliekate eksperimentus

  • Norite greito iteracijos

  • Neišleiskite visų pinigų GPU, o tada neeikvokite atminties ir RAM

  • Subalansuota sistema nugali nesubalansuotą (daugelį dienų)

Ir tiesą sakant, galite gaišti savaites ieškodami „tobulų“ aparatinės įrangos pasirinkimų. Sukurkite kažką veikiančio, išmatuokite ir pakoreguokite. Tikrasis priešas yra grįžtamojo ryšio ciklo nebuvimas.

Baigiamosios pastabos – kaip naudoti NVIDIA GPU dirbtinio intelekto mokymui neišeinant iš proto 😌✅

Jei iš šio vadovo, kaip naudoti NVIDIA GPU dirbtinio intelekto mokymui , nieko daugiau nepasimokysite , pasinaudokite šiuo:

Mokymasis dirbti su NVIDIA grafikos plokštėmis yra vienas iš tų įgūdžių, kurie gali atrodyti bauginantys, o staiga tai tampa tiesiog... įprasta. Kaip mokytis vairuoti. Iš pradžių viskas triukšminga ir painu, ir vairą suspaudi per stipriai. Tada vieną dieną jau važiuoji ramiai, gurkšnoji kavą ir atsipalaidavęs sprendi partijos dydžio problemą, tarsi tai nebūtų didelė problema.

Realaus pasaulio pavyzdys: mažo vaizdų klasifikatoriaus mokymas viename NVIDIA GPU 🧪🖼️

Scenarijus

Įsivaizduokite, kad maža el. prekybos komanda nori apmokyti vaizdų klasifikatorių, kuris rūšiuoja produktų nuotraukas į penkias kategorijas: batus, krepšius, striukes, laikrodžius ir aksesuarus.

Jie netreniruoja milžiniško modelio nuo nulio. Jie tiksliai derina iš anksto apmokytą regėjimo modelį vienoje NVIDIA GPU, kad komanda galėtų greitai patikrinti, ar idėją verta plėsti.

Tikslas paprastas: įrodyti, kad GPU sąranka veikia, išvengti CUDA chaoso ir sukurti pasikartojantį mokymo ciklą prieš išleidžiant pinigus didesnei įrangai ar debesijos kompiuterijai.

Ko reikia sąrankai

Šio tipo testui jums reikėtų:

Mašina su viena NVIDIA GPU ir pakankamai VRAM paketo dydžiui

Veikianti NVIDIA tvarkyklė patvirtinta naudojant „nvidia-smi“

Švari „Python“ aplinka, skirta „PyTorch“, „TensorFlow“ arba „JAX“

Mažas paženklintas vaizdų duomenų rinkinys, idealiai padalintas į traukinio, patvirtinimo ir bandymo aplankus

Bazinis procesoriaus laiko skaičiavimas palyginimui

Paprastas žurnalų lapas su žingsnio laiku, GPU atmintimi, GPU panaudojimu, temperatūra ir patvirtinimo tikslumu

Prieš tinkamai apmokydama, komanda turėtų atlikti nedidelį CUDA dūmų testą: įkelti vieną paketą, perkelti modelį ir paketą į CUDA, atlikti vieną tiesioginį bandymą ir patvirtinti GPU atminties padidėjimą nvidia-smi faile.

Instrukcijos pavyzdys

Praktinė projekto instrukcija galėtų atrodyti taip:

Apmokykite nedidelį produkto vaizdų klasifikatorių naudodami iš anksto apmokytą „ResNet“ stiliaus modelį. Pirmiausia įsitikinkite, kad „nvidia-smi“ gali matyti GPU. Tada prieš pilną mokymą paleiskite vieno paketo CUDA testą. Jei palaikoma, naudokite mišrų tikslumą. Pradėkite nuo 32 paketo dydžio, didinkite jį tik tuo atveju, jei GPU atmintis išlieka stabili, ir po kiekvieno paleidimo registruokite žingsnio laiką, GPU atminties naudojimą, GPU panaudojimą, temperatūrą ir patvirtinimo tikslumą. Jei pasirodo pranešimas, kad CUDA trūksta atminties, prieš keisdami modelį sumažinkite paketo dydį.

Kaip tai išbandyti

Protingas bandymo planas būtų toks:

  1. Paleiskite „nvidia-smi“ ir užrašykite GPU pavadinimą, tvarkyklės versiją, laisvos atminties naudojimą ir temperatūrą.

  2. Atlikite vieno paketo procesoriaus testą, kad patvirtintumėte duomenų rinkinio ir modelio kodo veikimą.

  3. Paleiskite tą patį vienos partijos testą su „Cuda“.

  4. Treniruokitės 200 žingsnių, naudodami 32 žingsnių grupę.

  5. Pakartokite įjungę mišrų tikslumą.

  6. 64 dydžio paketą bandykite naudoti tik tuo atveju, jei po pirmojo paleidimo lieka pakankamai VRAM laisvos vietos.

  7. Palyginkite patvirtinimo tikslumą, vidutinį žingsnio laiką, maksimalią vaizdo atminties vertę ir vaizdo plokštės temperatūrą.

Geras rezultatas nėra tiesiog „programa treniravosi“. Geras rezultatas yra „programa treniravosi su GPU, greitis pagerėjo, atmintis išliko stabili ir paleidimą galima pakartoti rytoj neperdiegiant visko iš naujo“.

Rezultatas

Iliustracinis rezultatas, pagrįstas trijų mažų 200 žingsnių testų laiko matavimu prieš ir po mokymo perkėlimo iš procesoriaus į vieną NVIDIA GPU:

Tik procesoriaus bazinis lygis: 3,4 sekundės vienam mokymo etapui

GPU su FP32: 0,42 sekundės vienam mokymo etapui

GPU su mišriu tikslumu: 0,28 sekundės vienam mokymo etapui

Didžiausia GPU atmintis su 32 partijos dydžiu: 5,8 GB

Didžiausia GPU atmintis su 64 partijos dydžiu: 10,9 GB

96 partijos dydis: nepavyko, nes CUDA neturi pakankamai atminties

GPU panaudojimas stabilių važiavimų metu: nuo 76 % iki 91 %

Temperatūra stabilių bandymų metu: nuo 67 °C iki 73 °C

Patvirtinimo tikslumas po trumpo bandymo: 82 % su FP32, 82,4 % su mišriu tikslumu

Šiame pavyzdyje mišrus tikslumas sutrumpino žingsnio laiką maždaug 33 %, palyginti su FP32 GPU paleidimu, o patvirtinimo tikslumas išliko maždaug toks pat. Komanda galėjo patikrinti šiuos skaičius matuodama kiekvieno mokymo žingsnio laiką, patikrindama „nvidia-smi“ paleidimo metu ir išsaugodama patvirtinimo tikslumą po kiekvieno bandymo.

Kas gali nutikti ne taip

Dažniausia klaida – per ankstyvas mastelio keitimas. Jei vieno paketo CUDA testas nepavyksta, pilnas mokymas to stebuklingai neištaisys.

Kiti lengvi spąstai:

Diegiamos kelios CUDA versijos ir nežinia, kurią naudoja sistema

Modelio perkėlimas į „Cuda“, bet partijų palikimas procesoriuje

Partijos dydžio pasirinkimas, kuris tinka vieną kartą, bet užstringa po kelių žingsnių

Ignoruojant kitus procesus, kurie jau naudoja VRAM

Kaltinkite GPU, kai duomenų įkėlėjas yra per lėtas

CPU ir GPU vykdymų palyginimas nenaudojant to paties duomenų rinkinio, partijos dydžio ir modelio

Žmogus taip pat turėtų peržiūrėti pirmąsias kelias prognozes. Greitas mokymas neturi didelės vertės, jei etiketės yra triukšmingos, klasės yra nesubalansuotos arba modelis mokosi trumpesnių kelių, tokių kaip fono spalva, o ne produkto tipas.

Praktiškas išsinešimui skirtas maistas

Patikimas NVIDIA GPU mokymo procesas prasideda nuo mažų dalykų: įrodykite, kad tvarkyklė veikia, įrodykite, kad CUDA veikia, įrodykite, kad veikia viena paketo versija, tada palaipsniui keiskite paketo dydį ir mokymo trukmę. Greičiausias nustatymas nėra tas, kuris turi įspūdingiausią GPU teoriškai – jis yra tas, kuris užtikrina stabilų, išmatuojamą veikimą nešvaistant valandų išvengiamoms versijų, VRAM ir duomenų įkėlimo įrenginio problemoms.

DUK

Ką reiškia apmokyti dirbtinio intelekto modelį naudojant NVIDIA GPU

Mokymas naudojant NVIDIA GPU reiškia, kad jūsų modelio parametrai ir mokymo paketai yra GPU VRAM atmintyje, o sudėtingi matematiniai veiksmai (tiesioginis perdavimas, atgalinis perdavimas, optimizavimo veiksmai) atliekami naudojant CUDA branduolius. Praktiškai tai dažnai reiškia, kad reikia užtikrinti, jog modelis ir tenzoriai būtų CUDA, o tada stebėti atmintį, jos panaudojimą ir temperatūrą, kad pralaidumas išliktų pastovus.

Kaip patikrinti, ar NVIDIA GPU veikia prieš diegiant ką nors kita

Pradėkite nuo „nvidia-smi“. Ji turėtų rodyti GPU pavadinimą, tvarkyklės versiją, dabartinį atminties naudojimą ir visus veikiančius procesus. Jei „nvidia-smi“ nepavyksta, palaukite, kol bus paleistas „PyTorch“ / „TensorFlow“ / „JAX“ – pirmiausia pataisykite tvarkyklės matomumą. Tai yra bazinis GPU mokymo patikrinimas „ar orkaitė įjungta į elektros tinklą“.

Pasirinkimas tarp sistemos CUDA ir CUDA, komplektuojamos su „PyTorch“

Įprastas būdas yra naudoti su sistema susietą CUDA (kaip ir daugelį „PyTorch“ ratų), nes tai sumažina judančių dalių skaičių – jums daugiausia reikia suderinamo NVIDIA tvarkyklės. Įdiegus visą sistemos CUDA įrankių rinkinį, suteikiama daugiau valdymo galimybių (pasirinktiniai kompiliavimai, kompiliavimo operacijos), tačiau taip pat atsiranda daugiau galimybių versijų neatitikimams ir painiems vykdymo laiko klaidoms.

Kodėl mokymai vis tiek gali būti lėti net ir naudojant NVIDIA GPU

Dažnai GPU apkrauna įvesties srautas. Dėl delsimo veikiantys duomenų įkėlimo įrenginiai, intensyvus procesoriaus išankstinis apdorojimas mokymo etape, maži paketų dydžiai arba lėtas saugojimas gali priversti galingą GPU elgtis kaip nenaudojamą vietos šildytuvą. Prieš kaltinant modelį, dažniausiai reikia padidinti duomenų įkėlimo įrenginių skaičių, įjungti prisegtą atmintį, pridėti išankstinį nuskaitymą ir apkarpyti žurnalavimą.

Kaip išvengti klaidų „CUDA atminties trūkumas“ mokant NVIDIA GPU

Dauguma pataisymų yra susiję su VRAM taktika: sumažinti partijos dydį, įgalinti mišrų tikslumą (FP16/BF16), naudoti gradiento kaupimą, sutrumpinti sekos ilgį/apkarpymo dydį arba naudoti aktyvinimo kontrolinius taškus. Taip pat patikrinkite, ar nėra kitų GPU procesų, kurie naudoja atmintį. Kai kurie bandymai ir klaidos yra normalu – VRAM biudžeto sudarymas tampa pagrindiniu įpročiu praktiniame GPU mokyme.

Kodėl VRAM gali atrodyti pilna net ir pasibaigus mokymo scenarijui

Sistemos dažnai kaupia GPU atmintį talpykloje, kad padidintų greitį, todėl rezervuotos atminties kiekis gali išlikti didelis net ir tada, kai skiriamos atminties sumažėja. Tai gali būti panašu į nutekėjimą, tačiau dažnai talpyklos paskirstytojas elgiasi taip, kaip numatyta. Praktinis įprotis yra sekti modelį laikui bėgant ir palyginti „paskirstytą ir rezervuotą“, o ne sutelkti dėmesį į vieną nerimą keliančią momentinę nuotrauką.

Kaip patvirtinti, kad modelis tyliai nesitreniruoja su procesoriumi

Ankstyvas loginio patikrinimo metodas: confirm torch.cuda.is_available() grąžina True, verify next(model.parameters()).device rodo cudair paleiskite vieną bandymą į priekį be klaidų. Jei našumas atrodo įtartinai lėtas, taip pat patikrinkite, ar jūsų partijos perkeliamos į GPU. Įprasta, kad modelis perkeliamas ir netyčia paliekami duomenys.

Paprasčiausias kelias į kelių GPU mokymą

Duomenų lygiagretusis mokymas (DDP stiliaus mokymas) dažnai yra geriausias pirmas žingsnis: padalinkite paketus tarp GPU ir sinchronizuokite gradientus. Tokios priemonės kaip „Accelerate“ gali sumažinti kelių GPU darbo skausmą be visiško perrašymo. Tikėkitės papildomų kintamųjų – NCCL ryšio, sujungimų skirtumų („NVLink“ ir „PCIe“) ir padidėjusių duomenų kliūčių – todėl laipsniškas mastelio keitimas po sėkmingo vieno GPU veikimo paprastai vyksta geriau.

Į ką atkreipti dėmesį mokant NVIDIA GPU, kad problemos būtų pastebėtos anksti

Stebėkite GPU apkrovą, atminties naudojimą (stabilus ar kylantis), energijos suvartojimą ir temperatūrą – greičio ribojimas gali nepastebimai sumažinti greitį. Taip pat stebėkite procesoriaus apkrovą, nes duomenų perdavimo problemos dažnai pirmiausia išryškėja ten. Jei apkrovos lygis staigus arba mažas, įtarkite įvesties/išvesties arba duomenų įkėlimo įrenginius; jei jis didelis, bet žingsnio laikas vis tiek lėtas, apdorokite branduolių profilį, tikslumo režimą ir žingsnio laiko suskirstymą.

Nuorodos

  1. NVIDIA – NVIDIA nvidia-smi dokumentai – docs.nvidia.com

  2. NVIDIA – NVIDIA sistemos valdymo sąsaja (NVSMI) – developer.nvidia.com

  3. NVIDIA – NVIDIA NVLink apžvalga – nvidia.com

  4. „PyTorch“ – „PyTorch“ pradžiamokslis (CUDA parinkiklis) – pytorch.org

  5. „PyTorch“ – „PyTorch CUDA“ dokumentacija – docs.pytorch.org

  6. „TensorFlow“ – „TensorFlow“ diegimas (pip) – tensorflow.org

  7. JAX – JAX greitas paleidimas – docs.jax.dev

  8. Apkabinantis veidas – trenerio dokumentai – huggingface.co

  9. „Lightning“ dirbtinis intelektas – „Lightning“ dokumentai – lightning.ai

  10. „DeepSpeed“ – „ZeRO“ dokumentai – deepspeed.readthedocs.io

  11. „Microsoft Research“ – „Microsoft Research“: „ZeRO“ / „DeepSpeed“ – microsoft.com

  12. „PyTorch“ forumai – „PyTorch“ forumas: modelio patikrinimas CUDA – discuss.pytorch.org

Raskite naujausią dirbtinį intelektą oficialioje dirbtinio intelekto asistentų parduotuvėje

Apie mus

Atgal į tinklaraštį

Papildomi DUK

  • Kaip užtikrinti, kad mano NVIDIA GPU būtų matoma dirbtinio intelekto mokymui?

    Galite patikrinti, ar jūsų NVIDIA GPU matoma, terminale naudodami komandą „nvidia-smi“. Ši komanda parodys tokią informaciją kaip GPU pavadinimas, tvarkyklės versija, atminties naudojimas ir visi veikiantys procesai. Jei nepavyksta, prieš tęsdami dirbtinio intelekto mokymą, turite pašalinti tvarkyklės diegimo triktis.

  • Kokia tvarkyklių ir platformų suderinamumo svarba mokymui naudojant NVIDIA GPU?

    Labai svarbu suderinti NVIDIA tvarkyklės, CUDA vykdymo aplinkos ir platformos versijas, kad būtų išvengta gedimų ir užtikrintas stabilus diegimas. Nesuderinamos versijos mokymo metu gali sukelti netikėtų klaidų.

  • Kokių veiksmų turėčiau imtis, kad efektyviai valdyčiau VRAM mokymo metu?

    Norint efektyviai valdyti VRAM, galite naudoti tokius metodus kaip mišrus tikslumas (FP16/BF16), gradientinis kaupimas, mažesni paketų dydžiai ir aktyvinimo kontroliniai taškai. Šios strategijos padeda sumažinti atminties naudojimą ir sutalpinti didesnius modelius į turimą VRAM.

  • Kokius išankstinius reikalavimus reikia apsvarstyti prieš pradedant mokymus su keliais GPU?

    Prieš mokydamiesi su keliais GPU, įsitikinkite, kad jūsų GPU pajėgumai yra panašūs, kad išvengtumėte kliūčių. Taip pat turėtumėte stebėti sujungimo greitį („NVLink“ ir „PCIe“) ir palaikyti subalansuotus paketų dydžius kiekvienam GPU, kad optimizuotumėte našumą.

  • Kaip šalinti dažniausiai pasitaikančias CUDA klaidas mokymo metu?

    Dažnai pasitaikančių CUDA klaidų, pvz., „trūksta atminties“, atveju sumažinkite paketo dydį, naudokite mišrų tikslumą arba patikrinkite, ar nėra kitų procesų, naudojančių GPU atmintį. Norėdami išspręsti problemą, susijusią su netyčia CPU vykdomu mokymu, įsitikinkite, kad ir modelis, ir tenzoriai perkelti į GPU.

  • Kokios stebėjimo praktikos rekomenduojamos mokant su NVIDIA GPU?

    Svarbu stebėti GPU naudojimą, atminties naudojimą, energijos suvartojimą ir temperatūrą. Šių rodiklių stebėjimas padeda anksti nustatyti galimas kliūtis, užtikrinant, kad mokymo procesas išliktų efektyvus.

  • Kaip išvengti lėto mokymo greičio naudojant NVIDIA GPU?

    Kad išvengtumėte lėto mokymo, patikrinkite savo duomenų srautą, ar nėra vėluojančių duomenų įkėlėjų, ir įsitikinkite, kad mokymo metu neatliekate sunkaus išankstinio apdorojimo. Apsvarstykite galimybę padidinti duomenų įkėlėjo darbuotojų skaičių, naudoti prisegtą atmintį ir optimizuoti paketų dydžius.