Kiek energijos sunaudoja DI?

Kiek energijos sunaudoja DI?

Atsakymas: Dirbtinis intelektas paprastai teksto užduočiai atlikti gali naudoti labai mažai elektros energijos, tačiau daug daugiau, kai raginimai ilgi, išvesties duomenys multimodaliniai arba sistemos veikia dideliu mastu. Didžiausias pradinis energijos suvartojimas paprastai yra mokymas, o kasdienės išvados tampa svarbios kaupiantis užklausoms.

Svarbiausios išvados:

Kontekstas : Prieš pateikdami bet kokį energijos sąmatą, apibrėžkite užduotį, modelį, aparatinę įrangą ir mastą.

Mokymai : Planuodami biudžetus, modelių mokymą laikykite pagrindiniu išankstiniu energijos sąnaudų įvykiu.

Išvada : atidžiai stebėkite pasikartojančias išvadas, nes mažos išlaidos vienai užklausai greitai susikaupia dideliu mastu.

Infrastruktūra : Į bet kokį realų įvertinimą įtraukite aušinimo, kaupimo, tinklų ir nenaudojamos energijos pajėgumus.

Efektyvumas : naudokite mažesnius modelius, trumpesnius raginimus, kaupimą talpykloje ir paketavimą, kad sumažintumėte energijos suvartojimą.

Kiek energijos sunaudoja dirbtinis intelektas? Infografika

Straipsniai, kuriuos galbūt norėsite perskaityti po šio:

🔗 Kaip dirbtinis intelektas veikia aplinką
Paaiškina dirbtinio intelekto anglies pėdsaką, energijos suvartojimą ir tvarumo kompromisus.

🔗 Ar dirbtinis intelektas kenkia aplinkai?
Atskleidžia paslėptas dirbtinio intelekto modelių ir duomenų centrų aplinkosaugos išlaidas.

🔗 Ar dirbtinis intelektas geras, ar blogas? Privalumai ir trūkumai
Subalansuotas požiūris į dirbtinio intelekto naudą, riziką, etiką ir realų poveikį.

🔗 Kas yra dirbtinis intelektas? Paprastas vadovas
Išmokite dirbtinio intelekto pagrindus, pagrindinius terminus ir kasdienius pavyzdžius per kelias minutes.

Kodėl šis klausimas svarbesnis, nei žmonės mano 🔍

Dirbtinio intelekto energijos vartojimas nėra vien tik aplinkosaugos tema. Jis paliečia keletą labai realių dalykų:

  • Elektros energijos sąnaudos – ypač įmonėms, kurios vykdo daug dirbtinio intelekto užklausų

  • Anglies dioksido poveikis – priklausomai nuo serverių maitinimo šaltinio

  • Aparatinės įrangos apkrova – galingi lustai sunaudoja daug energijos

  • Sprendimų dėl mastelio keitimas – vienas pigus pasiūlymas gali virsti milijonais brangių

  • Produkto dizainas – efektyvumas dažnai yra geresnė savybė, nei žmonės suvokia ( „Google Cloud“ , žaliasis dirbtinis intelektas )

Daugelis žmonių klausia „Kiek energijos sunaudoja dirbtinis intelektas?“, nes nori dramatiško skaičiaus. Kažko didžiulio. Kažko, kas būtų tinkama antraštėms. Tačiau geresnis klausimas yra toks: apie kokio tipo dirbtinio intelekto naudojimą mes kalbame? Nes tai viską pakeičia. ( TEA )

Vienas automatinio užbaigimo pasiūlymas? Gana mažas.
Ribinio modelio mokymas didžiuliuose klasteriuose? Daug, daug didesnis.
Nuolat veikiantis įmonės dirbtinio intelekto darbo eiga, paliečianti milijonus vartotojų? Taip, tai greitai kaupiasi... kaip centai virsta nuomos mokėjimu. ( DOE , „Google Cloud “)

Kiek energijos sunaudoja dirbtinis intelektas? Trumpas atsakymas ⚡

Štai praktinė versija.

Dirbtinis intelektas gali sunaudoti bet ką – nuo ​​mažytės vatvalandės dalies lengvai užduočiai atlikti iki didžiulių elektros energijos kiekių didelio masto mokymams ir diegimui. Šis diapazonas skamba komiškai platus, nes jis toks platus. ( „Google Cloud“ , „Strubell“ ir kt. )

Paprastai tariant:

  • Paprastos išvadų darymo užduotys – dažnai gana nedidelės, atsižvelgiant į kiekvieno naudojimo apimtį

  • Ilgi pokalbiai, dideli išvesčių duomenys, vaizdų generavimas, vaizdo įrašų generavimas – pastebimai daugiau energijos reikalaujantis procesas

  • Didelių modelių – energijos suvartojimo čempionų –

  • Dirbtinio intelekto naudojimas dideliu mastu visą dieną – kai „maža suma už užklausą“ tampa „didele bendra sąskaita“ ( „Google Cloud“ , DOE )

Gera nykščio taisyklė yra tokia:

Taigi, kai kas nors paklausia, kiek energijos sunaudoja dirbtinis intelektas?, tiesioginis atsakymas yra: „Ne vieną kiekį, o pakankamai, kad efektyvumas būtų svarbus, ir pakankamai, kad mastas pakeistų visą istoriją.“ ( TEA , Žaliasis dirbtinis intelektas )

Žinau, kad tai nėra taip patrauklu, kaip žmonės nori. Bet tai tiesa.

Kas lemia gerą dirbtinio intelekto energijos sąmatos versiją? 🧠

Geras įvertinimas nėra tik dramatiškas skaičius, pavaizduotas grafike. Praktiškas įvertinimas apima kontekstą. Priešingu atveju tai tas pats, kas sverti rūką vonios svarstyklėmis. Pakankamai artimas, kad skambėtų įspūdingai, bet nepakankamai artimas, kad būtų patikimas. ( TEA , „Google Cloud “)

Tinkamas dirbtinio intelekto energijos sąmata turėtų apimti:

  • Užduoties tipas – tekstas, vaizdas, garsas, vaizdo įrašas, mokymas, tikslus derinimas

  • Modelio dydis – didesniems modeliams paprastai reikia daugiau skaičiavimo

  • Naudojama aparatinė įranga – ne visi lustai yra vienodai efektyvūs

  • Sesijos trukmė – trumpos užduotys ir ilgos kelių žingsnių darbo eigos labai skiriasi

  • Naudojimas – neveikos būsenos sistemos vis tiek eikvoja energiją

  • Aušinimas ir infrastruktūra – serveris nėra visa sąskaita

  • Vieta ir energijos rūšių derinys – elektra ne visur yra vienodai švari ( „Google Cloud“ , IEA )

Štai kodėl du žmonės gali ginčytis dėl dirbtinio intelekto elektros energijos naudojimo ir abu skamba užtikrintai, kalbėdami apie visiškai skirtingus dalykus. Vienas turi omenyje vieną pokalbių roboto atsakymą. Kitas turi omenyje milžinišką treniruočių seriją. Abu sako „DI“ ir staiga pokalbis nuslysta nuo bėgių 😅

Palyginimo lentelė – geriausi būdai įvertinti dirbtinio intelekto energijos suvartojimą 📊

Štai praktiška lentelė visiems, bandantiems atsakyti į klausimą nepaverčiant jo performanso menu.

Įrankis arba metodas Geriausia auditorija Kaina Kodėl tai veikia
Paprastas apytikslis įvertinimas Smalsūs skaitytojai, studentai Nemokama Greita, paprasta, šiek tiek miglota – bet pakankamai gera apytiksliam palyginimui
Įrenginio pusės vatmetras Solo statybininkai, mėgėjai Žemas Matuoja tikrąjį mašinos traukos jėgą, kuri yra gaiviai betoninė
GPU telemetrijos prietaisų skydelis Inžinieriai, mašininio mokymosi komandos Vidutinis Geresnis skaičiavimo reikalaujančių užduočių aprašymas, nors gali trūkti didesnių įrenginių išlaidų
Debesijos sąskaitos faktūros ir naudojimo žurnalai Startuoliai, operacijų komandos Vidutinis arba aukštas Susieja dirbtinio intelekto naudojimą su realiomis išlaidomis – ne tobula, bet vis tiek gana vertinga
Duomenų centro energijos ataskaitų teikimas Įmonių komandos Aukštas Suteikia platesnį veiklos matomumą, čia pradeda matytis aušinimas ir infrastruktūra
Viso gyvavimo ciklo vertinimas Tvarumo komandos, didelės organizacijos Aukštas, kartais skausmingas Geriausiai tinka rimtai analizei, nes apima daugiau nei paties lusto funkcijas... bet yra lėtas ir savotiškas žvėris

Nėra tobulo metodo. Tai šiek tiek erzinanti dalis. Tačiau yra vertės lygiai. Ir paprastai kažkas tinkamo naudoti pranoksta tobulą. ( „Google Cloud“ )

Didžiausias veiksnys yra ne magija – tai skaičiavimo ir techninės įrangos vaidmuo 🖥️🔥

Kai žmonės įsivaizduoja dirbtinio intelekto energijos vartojimą, jie dažnai įsivaizduoja patį modelį kaip energiją vartojantį daiktą. Tačiau modelis yra programinės įrangos logika, veikianti aparatinėje įrangoje. Aparatinė įranga yra ta vieta, kur atsiranda elektros energijos sąskaita. ( Strubell ir kt. , „Google Cloud “)

Didžiausi kintamieji paprastai apima:

Labai optimizuota sistema gali atlikti daugiau darbų su mažiau energijos. Aplaidi sistema gali eikvoti elektrą su kvapą gniaužiančiu pasitikėjimu. Žinote, kaip būna – vieni įrenginiai yra lenktyniniai automobiliai, kiti – pirkinių vežimėliai su lipnia juosta priklijuotomis raketomis 🚀🛒

Taip, modelio dydis yra svarbus. Didesniems modeliams paprastai reikia daugiau atminties ir daugiau skaičiavimo, ypač generuojant didelius rezultatus arba tvarkant sudėtingus samprotavimus. Tačiau efektyvumo gudrybės gali pakeisti vaizdą: ( žaliasis dirbtinis intelektas , kvantavimo, grupavimo ir pateikimo strategijos LLM energijos panaudojimo srityje )

Taigi klausimas yra ne tik „kokio dydžio modelis?“, bet ir „kiek sumaniai jis valdomas?“

Dresūra ir išvados – tai skirtingi gyvūnai 🐘🐇

Šis susiskaldymas glumina beveik visus.

Mokymai

Mokymas – tai modelio mokymasis iš milžiniškų duomenų rinkinių. Tai gali apimti daugybę lustų, veikiančių ilgą laiką ir apdorojančių milžiniškus duomenų kiekius. Šis etapas reikalauja daug energijos. Kartais net labai daug. ( Strubell ir kt. )

Treniruočių energija priklauso nuo:

  • modelio dydis

  • duomenų rinkinio dydis

  • treniruočių skaičius

  • nepavykę eksperimentai

  • tiksliųjų perdavimų

  • aparatinės įrangos efektyvumas

  • aušinimo viršutinės išlaidos ( Strubell ir kt. , „Google“ tyrimai )

Ir štai viena dalis, kurią žmonės dažnai praleidžia – visuomenė dažnai įsivaizduoja vieną didelį mokymą, atliktą vieną kartą, ir viskas. Praktiškai kūrimas gali apimti pakartotinius bandymus, derinimą, perkvalifikavimą, vertinimą ir visus įprastus, bet brangius pagrindinio įvykio iteracijas. ( Strubell ir kt. , „Green AI“ )

Išvada

Išvada – tai modelis, kuriuo atsakoma į realius naudotojų užklausas. Viena užklausa gali atrodyti nereikšminga. Tačiau išvados kartojasi vėl ir vėl. Milijonus kartų. Kartais milijardus. ( „Google Research“ , DOE )

Išvados energija auga kartu su:

Taigi, mokymas yra žemės drebėjimas. Išvada yra potvynis. Vienas yra dramatiškas, kitas – atkaklus, ir abu gali šiek tiek pakeisti pakrantę. Tai galbūt neįprasta metafora, bet ji laikosi kartu... daugiau ar mažiau.

Paslėptos energijos sąnaudos, apie kurias žmonės pamiršta 😬

Kai kas nors įvertina dirbtinio intelekto energijos suvartojimą žiūrėdamas tik į lustą, jis paprastai įvertina nepakankamai. Ne visada katastrofiškai, bet pakankamai, kad būtų reikšmingas. ( „Google Cloud“ , IEA )

Štai paslėptos dalys:

Vėsinantis ❄️

Serveriai generuoja šilumą. Galinga dirbtinio intelekto įranga generuoja daug šilumos. Aušinimas nėra neprivalomas. Kiekvienas skaičiavimo metu sunaudotas vatas paprastai skatina naudoti daugiau energijos vien tam, kad temperatūra būtų palaikoma normali. ( IEA , „Google Cloud “)

Duomenų judėjimas 🌐

Duomenų perkėlimas tarp saugyklų, atminties ir tinklų taip pat reikalauja energijos. Dirbtinis intelektas ne tik „mąsto“. Jis taip pat nuolat perkelia informaciją. ( IEA )

Tuščiosios eigos talpa 💤

Sistemos, sukurtos didžiausiai paklausai, ne visada veikia esant didžiausiai paklausai. Neveikianti arba nepakankamai naudojama infrastruktūra vis tiek eikvoja elektros energiją. ( „Google Cloud“ )

Pertekliškumas ir patikimumas 🧱

Atsarginės kopijos, gedimų prevencijos sistemos, dublikatų regionai, saugos sluoksniai – visa tai vertinga, visa tai yra platesnio energetikos vaizdo dalis. ( IEA )

Sandėliavimas 📦

Mokymo duomenys, įterpimai, žurnalai, kontroliniai taškai, sugeneruoti rezultatai – visa tai kažkur saugoma. Saugojimas, žinoma, pigesnis nei skaičiavimas, bet energijos požiūriu nėra nemokamas. ( IEA )

Štai kodėl į klausimą „Kiek energijos sunaudoja dirbtinis intelektas?“ negalima atsakyti vien tik žiūrint į vieną lyginamosios analizės diagramą. Svarbus visas duomenų rinkinys. ( „Google Cloud“ , IEA )

Kodėl viena dirbtinio intelekto užduotis gali būti maža, o kita – tikras monstras 📝➡️🎬

Ne visi raginimai yra vienodi. Trumpas prašymas perrašyti sakinį negali būti lyginamas su prašymu atlikti ilgą analizę, kelių žingsnių kodavimo sesiją ar didelės raiškos vaizdų generavimą. ( „Google Cloud“ )

Dalykai, kurie linkę padidinti energijos suvartojimą vienai sąveikai:

Lengvas tekstinis atsakymas gali būti gana pigus. Didžiulis multimodalinis darbo eiga gali būti, na, nepigus. Tai šiek tiek panašu į kavos užsakymą ir vestuvių maitinimo paslaugas. Techniškai abu jie laikomi „maitinimu“. Vienas nėra panašus į kitą ☕🎉

Tai ypač svarbu produktų komandoms. Funkcija, kuri esant mažam naudojimui atrodo nekenksminga, gali brangiai kainuoti dideliu mastu, jei kiekvienas vartotojo seansas tampa ilgesnis, išsamesnis ir reikalauja daugiau skaičiavimo išteklių. ( DOE , „Google Cloud “)

Vartotojų dirbtinis intelektas ir įmonių dirbtinis intelektas nėra tas pats 🏢📱

Vidutinis žmogus, atsitiktinai naudojantis dirbtinį intelektą, gali manyti, kad didžiausia problema yra jo retkarčiais gaunami raginimai. Paprastai tai nėra pagrindinė energijos istorija. ( „Google Cloud“ )

Įmonės naudojimas keičia matematinius skaičiavimus:

  • tūkstančiai darbuotojų

  • visada įjungtų antrųjų pilotų

  • automatizuotas dokumentų apdorojimas

  • skambučių santrauka

  • vaizdų analizė

  • kodo peržiūros įrankiai

  • foniniai agentai veikia nuolat

Štai čia ir pradeda labai daug reikšmės bendras energijos suvartojimas. Ne todėl, kad kiekvienas veiksmas yra apokaliptinis, o todėl, kad kartojimas yra daugiklis. ( DOE , IEA )

Mano pačios atliktuose bandymuose ir darbo eigos apžvalgose žmonės būtent čia ir nustemba. Jie susitelkia į modelio pavadinimą arba prašmatnią demonstraciją ir ignoruoja apimtis. Apimtis dažnai yra tikrasis veiksnys – arba išsigelbėjimas, priklausomai nuo to, ar apmokate sąskaitas klientams, ar komunalines paslaugas 😅

Vartotojams poveikis gali atrodyti abstraktus. Įmonėms jis labai greitai tampa konkretus:

  • didesnės infrastruktūros sąskaitos

  • didesnis spaudimas optimizuoti

  • didesnis mažesnių modelių poreikis, kai įmanoma

  • vidinė tvarumo ataskaitų teikimo sistema

  • daugiau dėmesio kaupimui talpykloje ir maršrutizavimui ( „Google Cloud“ , „Green AI“ )

Kaip sumažinti dirbtinio intelekto energijos suvartojimą neatsisakant dirbtinio intelekto 🌱

Ši dalis svarbi, nes tikslas nėra „nustoti naudoti dirbtinį intelektą“. Paprastai tai nėra realu ir net nebūtina. Geresnis naudojimas yra protingesnis kelias.

Štai didžiausi svertai:

1. Naudokite mažiausią modelį, kuris atlieka darbą

Ne kiekvienai užduočiai reikalingas sudėtingas variantas. Lengvesnis klasifikavimo ar apibendrinimo modelis gali greitai sumažinti atliekas. ( Žaliasis dirbtinis intelektas , „Google Cloud “)

2. Sutrumpinkite raginimus ir rezultatus

Išsamus įėjimas, išsamus išėjimas. Papildomi žetonai reiškia papildomus skaičiavimus. Kartais raginimo sutrumpinimas yra lengviausias laimėjimas. ( Kvantavimo, paketavimo ir pateikimo strategijos LLM energijos naudojimo srityje , „Google Cloud “)

3. Talpyklos išsaugokite pakartotinius rezultatus

Jei ta pati užklausa nuolat kartojasi, negeneruokite jos kaskart. Tai beveik akivaizdu, tačiau dažnai nepastebima. ( „Google Cloud“ )

4. Jei įmanoma, atlikite paketinius darbus

Užduočių vykdymas partijomis gali pagerinti panaudojimą ir sumažinti atliekas. ( Kiekybinio nustatymo, partijų sudarymo ir pateikimo strategijos LLM energijos naudojimo srityje )

5. Užduočių nukreipimas išmaniai

Didelius modelius naudokite tik tada, kai sumažėja pasitikėjimas arba padidėja užduoties sudėtingumas. ( „Green AI“ , „Google Cloud “)

6. Optimizuokite infrastruktūrą

Geresnis planavimas, geresnė techninė įranga, geresnė aušinimo strategija – kasdieniški dalykai, didžiulė nauda. ( „Google Cloud“ , DOE )

7. Prieš darydami prielaidas, išmatuokite

Daugelis komandų mano, kad žino, kur eina energija. Tada jos išmatuoja, ir štai – brangiausia dalis yra kažkur kitur. ( „Google Cloud“ )

Efektyvumo didinimas nėra žavus. Jis retai sulaukia plojimų. Tačiau tai vienas geriausių būdų, kaip dirbtinį intelektą padaryti prieinamesnį ir lengviau pateisinamą dideliu mastu 👍

Paplitę mitai apie dirbtinio intelekto elektros naudojimą 🚫

Išsklaidykime keletą mitų, nes ši tema greitai susipainioja.

1 mitas – kiekviena dirbtinio intelekto užklausa yra labai neefektyvi

Nebūtinai. Kai kurie yra kuklūs. Mastelis ir užduoties tipas yra labai svarbūs. ( „Google Cloud“ )

Mitas 2 – svarbiausia yra mokymai

Ne. Kai naudojimas yra didžiulis, išvados gali dominuoti laikui bėgant. ( „Google Research“ , DOE )

3 mitas – didesnis modelis visada reiškia geresnį rezultatą

Kartais taip, kartais visiškai ne. Daugybė užduočių puikiai atliekamos ir su mažesnėmis sistemomis. ( Žaliasis dirbtinis intelektas )

4 mitas – energijos suvartojimas automatiškai lygus anglies dioksido poveikiui

Ne visai. Anglies dioksido kiekis taip pat priklauso nuo energijos šaltinio. ( TEA , Strubell ir kt. )

5 mitas – galite gauti vieną universalų skaičių dirbtinio intelekto energijos suvartojimui

Negalite, bent jau ne tokia forma, kuri išliktų prasminga. Arba galite, bet tai bus taip vidutiniška, kad nebebus vertinga. ( IEA )

Štai kodėl klausimas „ Kiek energijos sunaudoja dirbtinis intelektas?“ yra protingas – bet tik tuo atveju, jei esate pasiruošę atsakymui iš kelių sluoksnių, o ne šūkiui.

Taigi... kiek energijos iš tikrųjų sunaudoja dirbtinis intelektas? 🤔

Štai pagrįsta išvada.

Dirbtinis intelektas naudoja:

  • šiek tiek , kai kurioms paprastoms užduotims

  • daug daugiau , skirta intensyviai multimodalinei gamybai

  • labai didelis kiekis , skirtas didelio masto modelių mokymui

  • milžiniškas bendras kiekis , kai laikui bėgant kaupiasi milijonai užklausų ( „Google Cloud“ , DOE )

Tokia jo forma.

Svarbiausia nesupaprastinti visos problemos iki vieno bauginančio skaičiaus ar vieno niekinančio pečių gūžtelėjimo. Dirbtinio intelekto energijos suvartojimas yra realus. Jis svarbus. Jį galima pagerinti. Ir geriausias būdas apie tai kalbėti yra kontekste, o ne teatrališkai. ( TEA , Žaliasis dirbtinis intelektas )

Daug viešų pokalbių svyruoja tarp kraštutinumų – vienoje pusėje teigiama, kad „DI iš esmės yra nemokamas“, kitoje – „DI yra elektros apokalipsė“. Realybė yra įprastesnė, todėl ji informatyvesnė. Tai sistemos problema. Aparatinė įranga, programinė įranga, naudojimas, mastas, aušinimas, dizaino pasirinkimai. Kasdieniška? Truputį. Svarbu? Labai. ( IEA , „Google Cloud “)

Svarbiausios mintys ⚡🧾

Jei atėjote čia klausdami, kiek energijos sunaudoja dirbtinis intelektas?, štai išvada:

  • Nėra vieno universalaus skaičiaus

  • Treniruotės paprastai iš anksto sunaudoja daugiausia energijos

  • Išvada tampa svarbiu veiksniu dideliu mastu

  • Modelio dydis, aparatinė įranga, darbo krūvis ir aušinimas – visa tai svarbu

  • Maži optimizavimai gali turėti stebėtinai didelį skirtumą

  • Protingiausias klausimas yra ne tik „kiek“, bet ir „kokiai užduočiai, kokioje sistemoje, kokiu mastu?“ ( IEA , „Google Cloud “)

Taigi, taip, dirbtinis intelektas naudoja tikrą energiją. Pakankamai, kad nusipelnytų dėmesio. Pakankamai, kad pateisintų geresnę inžineriją. Bet ne karikatūriškai, su vienu skaičiumi.

DUK

Kiek energijos dirbtinis intelektas sunaudoja vienai užduočiai atlikti?

Nėra universalaus skaičiaus vienai užduočiai, nes energijos suvartojimas priklauso nuo modelio, aparatinės įrangos, užduoties ilgio, išvesties ilgio ir bet kokio papildomo įrankio naudojimo. Trumpas tekstinis atsakymas gali būti gana kuklus, o ilga daugiamodalinė užduotis gali sunaudoti pastebimai daugiau. Reikšmingiausias atsakymas yra ne vienas antraštės skaičius, o užduotį supantis kontekstas.

Kodėl dirbtinio intelekto energijos suvartojimo įverčiai taip skiriasi?

Įvertinimai skiriasi, nes žmonės dažnai lygina labai skirtingus dalykus po vienu dirbtinio intelekto pavadinimu. Vienas įvertis gali apibūdinti lengvą pokalbių roboto atsakymą, o kitas – vaizdų generavimą, vaizdo įrašą arba didelio masto modelio mokymą. Kad įvertis būtų prasmingas, jam reikia konteksto, pavyzdžiui, užduoties tipo, modelio dydžio, aparatinės įrangos, panaudojimo, aušinimo ir vietos.

Ar didesnės energijos sąnaudos tenka dirbtinio intelekto mokymui, ar kasdieniam jo naudojimui?

Mokymas paprastai yra didelis išankstinis energijos sąnaudų įvykis, nes jis gali apimti daug lustų, veikiančių ilgą laiką didžiuliuose duomenų rinkiniuose. Išvados – tai nuolatinės išlaidos, atsirandančios kiekvieną kartą, kai vartotojai siunčia užklausas, ir dideliu mastu jos taip pat gali tapti labai didelės. Praktiškai svarbūs abu dalykai, nors ir skirtingais būdais.

Kas lemia, kad viena dirbtinio intelekto užklausa sunaudoja daug daugiau energijos nei kita?

Ilgesni konteksto langai, ilgesnės išvestys, pakartotiniai samprotavimo etapai, įrankių iškvietimai, paieškos veiksmai ir multimodalinis generavimas – visa tai paprastai padidina energijos suvartojimą vienai sąveikai. Vėlavimo tikslai taip pat svarbūs, nes greitesnio reagavimo reikalavimai gali sumažinti efektyvumą. Maža perrašymo užklausa ir ilga kodavimo ar vaizdo darbo eiga tiesiog nepalyginami.

Kokias paslėptas energijos sąnaudas žmonės nepastebi, klausdami, kiek energijos sunaudoja dirbtinis intelektas?

Daugelis žmonių dėmesį skiria tik lustui, tačiau pamiršta aušinimą, duomenų perkėlimą, saugojimą, laisvos eigos pajėgumus ir patikimumo sistemas, tokias kaip atsarginės kopijos ar gedimų šalinimo regionai. Šie pagalbiniai sluoksniai gali iš esmės pakeisti bendrą užimamą vietą. Štai kodėl vien tik etalonas retai kada atspindi visą energijos suvartojimo vaizdą.

Ar didesnis dirbtinio intelekto modelis visada sunaudoja daugiau energijos?

Didesniems modeliams paprastai reikia daugiau skaičiavimo ir atminties, ypač ilgiems ar sudėtingiems rezultatams, todėl jie dažnai sunaudoja daugiau energijos. Tačiau didesnis nebūtinai reiškia geresnį rezultatą kiekvienam darbui, o optimizavimas gali gerokai pakeisti vaizdą. Mažesni specializuoti modeliai, kvantavimas, paketavimas, kaupimas talpykloje ir išmanesnis maršrutizavimas gali padidinti efektyvumą.

Ar pagrindinė energijos problema yra vartotojų dirbtinis intelektas, ar didesnė problema yra įmonių dirbtinis intelektas?

Atsitiktinis vartotojų naudojimas gali būti sudėtingas, tačiau didesnė energijos vartojimo istorija dažnai iškyla diegiant įmones. Nuolat įjungti antriniai pilotai, dokumentų apdorojimas, skambučių santraukų rengimas, kodo peržiūra ir foniniai agentai sukuria pasikartojančią paklausą didelėse vartotojų bazėse. Problema paprastai yra ne tiek vienas dramatiškas veiksmas, kiek nuolatinis kiekis laikui bėgant.

Kiek energijos sunaudoja dirbtinis intelektas, įskaitant duomenų centrus ir aušinimą?

Įtraukus platesnę sistemą, atsakymas tampa realesnis ir paprastai yra didesnis, nei rodo vien tik lustų skaičiavimai. Duomenų centrams reikia energijos ne tik skaičiavimui, bet ir aušinimui, tinklų kūrimui, saugojimui bei laisvų pajėgumų palaikymui. Štai kodėl infrastruktūros projektavimas ir įrenginių efektyvumas yra beveik tokie pat svarbūs kaip ir modelio projektavimas.

Koks yra praktiškiausias būdas išmatuoti dirbtinio intelekto energijos suvartojimą realiame darbo procese?

Geriausias metodas priklauso nuo to, kas ir kokiu tikslu atlieka matavimus. Apytikslė nykščio taisyklė gali padėti greitai palyginti duomenis, o vatmetrai, GPU telemetrija, debesijos sąskaitų žurnalai ir duomenų centrų ataskaitos suteikia vis geresnę įžvalgą apie veiklą. Rimtam tvarumo darbui dar svarbiau yra išsamesnis gyvavimo ciklo vaizdas, nors jis lėtesnis ir reikalauja daugiau pastangų.

Kaip komandos gali sumažinti dirbtinio intelekto energijos suvartojimą neatsisakdamos naudingų dirbtinio intelekto funkcijų?

Didžiausia nauda paprastai gaunama naudojant mažiausią modelį, kuris vis dar atlieka darbą, sutrumpinant raginimus ir išvestis, kaupiant pasikartojančius rezultatus talpykloje, grupuojant darbą ir nukreipiant tik sunkesnes užduotis į didesnius modelius. Infrastruktūros optimizavimas taip pat svarbus, ypač planavimas ir aparatinės įrangos efektyvumas. Daugelyje procesų pirmiausia matavimas padeda komandoms užkirsti kelią netinkamo optimizavimo procesui.

Nuorodos

  1. Tarptautinė energetikos agentūra (TEA) – Dirbtinio intelekto energijos poreikis – iea.org

  2. JAV Energetikos departamentas (DOE) – DOE išleido naują ataskaitą, kurioje vertinama didėjanti elektros energijos paklausa duomenų centruose – energy.gov

  3. „Google Cloud“ – dirbtinio intelekto išvadų poveikio aplinkai matavimas – cloud.google.com

  4. „Google Research“ – Geros naujienos apie mašininio mokymosi mokymų anglies pėdsaką – research.google

  5. „Google“ tyrimai – Mašininio mokymosi mokymų anglies pėdsakas išsilygins, o vėliau sumažės – research.google

  6. arXiv – Žaliasis dirbtinis intelektas – arxiv.org

  7. arXiv – Strubell ir kt. - arxiv.org

  8. arXiv – Kvantavimo, partijų sudarymo ir pateikimo strategijos LLM energijos vartojime – arxiv.org

Raskite naujausią dirbtinį intelektą oficialioje dirbtinio intelekto asistentų parduotuvėje

Apie mus

Atgal į tinklaraštį