Trumpas atsakymas: dirbtinis intelektas debesų kompiuterijoje yra susijęs su debesų platformų naudojimu duomenims saugoti, skaičiavimo nuomai, modelių mokymui, jų diegimui kaip paslaugų ir stebėjimui gamyboje. Tai svarbu, nes dauguma gedimų kyla dėl duomenų, diegimo ir operacijų, o ne dėl matematinių skaičiavimų. Jei jums reikia greito mastelio keitimo arba pakartojamų leidimų, debesų kompiuterija + MLOps yra praktiškas pasirinkimas.
Svarbiausios išvados:
Gyvavimo ciklas : duomenų surinkimas, funkcijų kūrimas, apmokymas, diegimas, tada dreifo, delsos ir kainos stebėjimas.
Valdymas : Nuo pat pradžių įtraukite prieigos kontrolę, audito žurnalus ir aplinkos atskyrimą.
Atkuriamumas : Įrašykite duomenų versijas, kodą, parametrus ir aplinkas, kad paleidimai būtų kartojami.
Sąnaudų kontrolė : naudokite paketavimą, kaupimą talpykloje, automatinio mastelio keitimo apribojimus ir vietoje / iš anksto apmokomą apdorojimą, kad išvengtumėte netikėtų sąskaitų.
Diegimo modeliai : rinkitės valdomas platformas, „Lakehouse“ darbo eigas, „Kubernetes“ arba RAG, atsižvelgdami į komandos realybę.
Straipsniai, kuriuos galbūt norėsite perskaityti po šio:
🔗 Geriausi dirbtinio intelekto debesijos verslo valdymo įrankiai
Palyginkite pirmaujančias debesijos platformas, kurios supaprastina operacijas, finansus ir komandas.
🔗 Didelės apimties generatyviniam dirbtiniam intelektui reikalingos technologijos
Pagrindinė infrastruktūra, duomenys ir valdymas, reikalingi „GenAI“ diegimui.
🔗 Nemokami dirbtinio intelekto įrankiai duomenų analizei
Geriausi nemokami dirbtinio intelekto sprendimai duomenų rinkiniams valyti, modeliuoti ir vizualizuoti.
🔗 Kas yra dirbtinis intelektas kaip paslauga?
Paaiškina AIaaS, privalumus, kainodaros modelius ir dažniausiai pasitaikančius verslo naudojimo atvejus.
Dirbtinis intelektas debesų kompiuterijoje: paprastas apibrėžimas 🧠☁️
Iš esmės dirbtinis intelektas debesų kompiuterijoje reiškia debesų platformų naudojimą norint pasiekti:
-
Skaičiavimo galia (CPU, GPU, TPU) „Google Cloud“: GPU, skirti dirbtiniam intelektui , debesies TPU dokumentai
-
Saugykla (duomenų ežerai, sandėliai, objektų saugykla) AWS: Kas yra duomenų ežeras? AWS: Kas yra duomenų sandėlis? „Amazon S3“ (objektų saugykla)
-
Dirbtinio intelekto paslaugos (modelio mokymas, diegimas, regėjimo, kalbos, NLP API) , AWS dirbtinio intelekto paslaugos, „Google Cloud“ dirbtinio intelekto API.
-
MLOps įrankiai (vamzdžiai, stebėjimas, modelių registras, CI-CD ML) „Google Cloud“: kas yra MLOps? „Vertex AI“ modelių registras
Užuot pirkę brangią įrangą patys, išsinuomojate tai, ko jums reikia, kada jums jos reikia NIST SP 800-145 . Tai tarsi sporto salės nuoma vienai intensyviai treniruotei, užuot pasistačius ją garaže ir daugiau niekada nebenaudojus bėgimo takelio. Taip nutinka ir geriausiems iš mūsų 😬
Paprastai tariant: tai dirbtinis intelektas, kuris keičia mastelį, siunčiamas, atnaujinamas ir veikia naudojant debesijos infrastruktūrą NIST SP 800-145 .
Kodėl dirbtinis intelektas + debesija yra toks svarbus dalykas 🚀
Būkime atviri – dauguma dirbtinio intelekto projektų žlunga ne dėl sudėtingų matematinių skaičiavimų. Jie žlunga dėl to, kad „modelio aplinkiniai dalykai“ susipainioja:
-
duomenys yra išsklaidyti
-
aplinkos nesutampa
-
modelis veikia kažkieno nešiojamajame kompiuteryje, bet niekur kitur
-
dislokavimas traktuojamas kaip antraeilis dalykas
-
saugumas ir atitiktis pasirodo vėlai kaip nekviestas pusbrolis 😵
Debesų kompiuterijos platformos yra naudingos, nes jos siūlo:
1) Elastinė žvynelinė 📈
Trumpam apmokykite modelį dideliame klasteryje, tada jį išjunkite (NIST SP 800-145) .
2) Greitesnis eksperimentavimas ⚡
Greitai paleiskite valdomus bloknotus, iš anksto sukurtus srautus ir GPU egzempliorius „Google Cloud“: GPU, skirti DI .
3) Lengvesnis diegimas 🌍
Modelių diegimas kaip API, paketinės užduotys arba įterptosios paslaugos. „Red Hat“: kas yra REST API? „SageMaker Batch Transform “.
4) Integruotos duomenų ekosistemos 🧺
Jūsų duomenų srautai, sandėliai ir analizės sistemos dažnai jau yra debesyje. AWS: duomenų sandėlis ir duomenų ežeras .
5) Bendradarbiavimas ir valdymas 🧩
Leidimai, audito žurnalai, versijų kūrimas ir bendrinami įrankiai yra įrašyti (kartais skausmingai, bet vis tiek) „Azure ML“ registruose (MLOps) .
Kaip dirbtinis intelektas debesų kompiuterijoje veikia praktiškai (tikrasis srautas) 🔁
Štai įprastas gyvavimo ciklas. Ne „tobulos schemos“ versija... ta, kurioje viskas naudojama.
1 veiksmas: duomenys patenka į debesies saugyklą 🪣
Pavyzdžiai: objektų saugyklos talpyklos, duomenų ežerai, debesies duomenų bazės. „Amazon S3“ (objektų saugykla). AWS: kas yra duomenų ežeras? „Google Cloud Storage“ apžvalga .
2 veiksmas: duomenų apdorojimas + funkcijų kūrimas 🍳
Jūs jį valote, transformuojate, kuriate funkcijas, galbūt transliuojate.
3 žingsnis: Modelio mokymas 🏋️
apmokymui naudojate debesų kompiuteriją (dažnai GPU) : GPU dirbtiniam intelektui :
-
klasikiniai ML modeliai
-
gilaus mokymosi modeliai
-
pamatinio modelio tikslinimas
-
paieškos sistemos (RAG stiliaus konfigūracijos) paieškos papildytos kartos (RAG) popierius
4 veiksmas: diegimas 🚢
Modeliai supakuojami ir pristatomi per:
-
REST API „Red Hat“: Kas yra REST API?
-
be serverio galiniai taškai, be serverio išvados
-
„Kubernetes“ konteineriai „Kubernetes“: horizontalus automatinis keitimas pod'uose
-
partijos išvadų vamzdynai „SageMaker“, „Batch Transform“, „Vertex AI“, partijos prognozės
5 veiksmas: Stebėjimas + atnaujinimai 👀
Trasa:
-
delsa
-
Tikslumo poslinkis „SageMaker“ modelio monitoriuje
-
duomenų dreifo „Vertex AI“ modelio stebėjimas
-
kaina už prognozę
-
kraštutiniai atvejai, kurie priverčia šnabždėtis „tai neturėtų būti įmanoma...“ 😭
Tai variklis. Tai dirbtinis intelektas debesų kompiuterijoje judesyje, o ne tik kaip apibrėžimas.
Kas daro dirbtinio intelekto versiją debesų kompiuterijoje gerą? ✅☁️🤖
Jei norite „gero“ įgyvendinimo (ne tik prašmatnios demonstracijos), sutelkite dėmesį į šiuos dalykus:
A) Aiškus rūpesčių atskyrimas 🧱
-
duomenų sluoksnis (saugojimas, valdymas)
-
mokymo sluoksnis (eksperimentai, konvejeriai)
-
aptarnavimo sluoksnis (API, mastelio keitimas)
-
stebėjimo sluoksnis (metrika, žurnalai, įspėjimai) „SageMaker“ modelio monitorius
Kai viskas sumaišoma, derinimas tampa emocine žala.
B) Numatytasis atkuriamumas 🧪
Gera sistema leidžia jums pasakyti nemojuojant rankomis:
-
duomenys, kurie apmokė šį modelį
-
kodo versija
-
hiperparametrai
-
aplinka
Jei atsakymas yra „aa, manau, tai buvo antradienio bėgimas...“, jau turi problemų 😅
C) Ekonomiškas dizainas 💸
Debesų DI yra galingas, bet tai taip pat lengviausias būdas netyčia sukurti sąskaitą, kuri priverstų suabejoti savo gyvenimo pasirinkimais.
Geri nustatymai apima:
-
mastelio keitimas : horizontalus „Pod“ automatinis mastelio keitimas
-
egzempliorių planavimas
-
„spot-preemptable“ parinktys, kai įmanoma, „Amazon EC2 Spot“ egzemplioriai, „Google Cloud“ iš anksto pasirenkamos virtualios mašinos
-
Talpyklos ir paketavimo išvados „SageMaker“ paketinė transformacija
D) Integruoti saugumas ir atitiktis 🔐
Vėliau neprisukama varžtais kaip lipni juosta ant nesandaraus vamzdžio.
E) Tikras kelias nuo prototipo iki gamybos 🛣️
Štai ir svarbiausia. Gera dirbtinio intelekto „versija“ debesyje apima MLOps, diegimo modelius ir stebėjimą nuo pat pradžių. „Google Cloud“: kas yra MLOps? Kitais atvejais tai mokslo mugės projektas su įmantria sąskaita faktūra.
Palyginimo lentelė: populiarios dirbtinio intelekto debesyje parinktys (ir kam jos skirtos) 🧰📊
Žemiau pateikiama trumpa, šiek tiek subjektyvi lentelė. Kainos yra sąmoningai plačios, nes debesijos kainodara yra kaip kavos užsakymas – bazinė kaina niekada nėra kaina 😵💫
| Įrankis / platforma | Auditorija | Brangūs | Kodėl tai veikia (įtrauktos keistos pastabos) |
|---|---|---|---|
| AWS SageMaker | ML komandos, įmonės | Mokėjimas pagal naudojimą | Pilna mašininio mokymosi platforma – mokymai, galiniai įrenginiai, srautai. Galinga, bet visur yra meniu. |
| „Google Vertex“ dirbtinis intelektas | ML komandos, duomenų mokslo organizacijos | Mokėjimas pagal naudojimą | Tvirtai valdomi mokymai + modelių registras + integracijos. Veikia sklandžiai, vos paspaudus mygtuką. |
| Azure mašininis mokymasis | Įmonės, į MS orientuotos organizacijos | Mokėjimas pagal naudojimą | Puikiai dera su „Azure“ ekosistema. Geros valdymo parinktys, daug valdiklių. |
| Duomenų plytos (ML + „Lakehouse“) | Didelės duomenų inžinerijos komandos | Prenumerata + naudojimas | Puikiai tinka duomenų srautų ir mašininio mokymosi derinimui vienoje vietoje. Dažnai mėgstamas praktiškų komandų. |
| „Snowflake“ dirbtinio intelekto funkcijos | Analizę pirmiausia įgyvendinusios organizacijos | Naudojimo pagrindu | Gerai, kai tavo pasaulis jau yra sandėlyje. Mažiau „ML laboratorijos“, daugiau „DI SQL stiliumi“ |
| IBM WatsonX | Reguliuojamos pramonės šakos | Įmonių kainodara | Didelis dėmesys skiriamas valdymui ir įmonės kontrolei. Dažnai pasirenkama, kai politika yra griežta. |
| Tvarkomas Kubernetes (pasidaryk pats) | Platformų inžinieriai | Kintamasis | Lankstus ir pritaikytas individualiems poreikiams. Be to… jūs esate atsakingi už skausmą, kai jis nutrūksta 🙃 |
| Serverių neturintis išvadas (funkcijos + galiniai taškai) | Produktų komandos | Naudojimo pagrindu | Puikiai tinka staigiam eismui. Stebėkite šaltus užvedimus ir delsą kaip vanagas. |
Esmė ne „geriausio“ pasirinkimas – svarbu atitikti komandos realybę. Tai yra tyli paslaptis.
Dažniausi dirbtinio intelekto naudojimo debesų kompiuterijoje atvejai (su pavyzdžiais) 🧩✨
Štai kur DI debesyje diegiamos sistemos yra labai veiksmingos:
1) Klientų aptarnavimo automatizavimas 💬
-
pokalbių asistentai
-
bilietų maršruto nustatymas
-
santrauka
-
nuotaikų ir ketinimų aptikimas debesies natūralios kalbos API
2) Rekomendacijų sistemos 🛒
-
produktų pasiūlymai
-
turinio sklaidos kanalai
-
„žmonės taip pat pirko“.
Tam dažnai reikia keičiamo mastelio išvadų ir beveik realiuoju laiku teikiamų atnaujinimų.
3) Sukčiavimo aptikimas ir rizikos vertinimas 🕵️
Debesis leidžia lengviau valdyti duomenų srautus, transliuoti įvykius ir vykdyti ansamblius.
4) Dokumentų žvalgyba 📄
-
OCR kanalai
-
objekto išskyrimas
-
sutarčių analizė
-
Sąskaitų faktūrų analizavimas „Snowflake Cortex“ dirbtinio intelekto funkcijos
Daugelyje organizacijų laikas tyliai grąžinamas.
5) Prognozavimas ir optimizavimas, orientuotas į kompetenciją 📦
Paklausos prognozavimas, atsargų planavimas, maršrutų optimizavimas. Debesis padeda, nes duomenų kiekis didelis, o darbuotojų perkvalifikavimas – dažnas.
6) Generatyviosios dirbtinio intelekto programėlės 🪄
-
turinio rengimas
-
pagalba kodo srityje
-
vidiniai žinių robotai (RAG)
-
sintetinių duomenų generavimas , paieškos ir papildytos kartos (RAG) popierius.
Tai dažnai būna akimirka, kai įmonės pagaliau pasako: „Turime žinoti, kur galioja mūsų duomenų prieigos taisyklės.“ 😬
Architektūros raštai, kuriuos pamatysite visur 🏗️
1 modelis: valdoma mašininio mokymosi platforma (būdas „norime mažiau galvos skausmo“) 😌
-
įkelti duomenis
-
mokymai su valdomomis darbo vietomis
-
diegti valdomuose galiniuose įrenginiuose
-
Stebėjimas platformos prietaisų skyduose „SageMaker“ modelio monitorius „Vertex AI“ modelio stebėjimas
Puikiai veikia, kai svarbus greitis ir nenorite kurti vidinių įrankių nuo nulio.
2 modelis: „Lakehouse“ + mašininis mokymasis („duomenys pirmiausia“) 🏞️
-
suvienodinti duomenų inžineriją ir mašininio mokymosi darbo eigas
-
vykdyti užrašines, srautus, funkcijų inžineriją šalia duomenų
-
stiprus organizacijoms, kurios jau veikia didelėse analizės sistemose „Databricks Lakehouse“
3 modelis: konteinerizuotas mašininis mokymasis „Kubernetes“ platformoje (maršrutas „norime kontrolės“) 🎛️
-
pakuočių modeliai konteineriuose
-
mastelio keitimas naudojant automatinio mastelio keitimo strategijas „Kubernetes“: horizontalus automatinis „Pod“ mastelio keitimas
-
integruoti paslaugų tinklą, stebimumą, paslapčių valdymą
Taip pat žinomas kaip: „Esame pasitikintys savimi ir mėgstame derinti nestandartinėmis valandomis.“
4 modelis: RAG (atskleidimo-papildytos kartos) („naudok savo žinias“ kelias) 📚🤝
-
dokumentai debesies saugykloje
-
įterpimai + vektorių saugykla
-
paieškos sluoksnis perduoda kontekstą modeliui
-
Apsauginiai turėklai + prieigos kontrolė + registravimas. Paieškos ir papildytos kartos (RAG) popierius.
Tai yra svarbi šiuolaikinių pokalbių apie dirbtinį intelektą debesyje dalis, nes būtent taip daugelis realių įmonių saugiai naudoja generatyvinį dirbtinį intelektą.
MLOps: Dalis, Kurios Visi Nuvertina 🧯
Jei norite, kad dirbtinis intelektas debesyje veiktų tinkamai gamybinėje aplinkoje, jums reikia MLOps. Ne todėl, kad tai madinga, o todėl, kad modeliai dreifuoja, duomenys keičiasi, o vartotojai yra kūrybingi blogiausiu būdu . „Google Cloud“: kas yra MLOps?
Svarbiausios dalys:
-
Eksperimento stebėjimas : kas veikė, kas ne (MLflow stebėjimas)
-
Modelių registras : patvirtinti modeliai, versijos, metaduomenys. „MLflow“ modelių registras. „Vertex AI“ modelių registras.
-
CI-CD mašininiam mokymuisi : testavimas + diegimo automatizavimas „Google Cloud MLOps“ (CD ir automatizavimas)
-
Funkcijų saugykla : nuoseklios funkcijos mokymo ir išvadų metu „SageMaker“ funkcijų saugykla
-
Stebėjimas : našumo poslinkis, šališkumo signalai, delsa, kaina. „SageMaker“ modelio monitorius. „Vertex AI“ modelio monitoringas.
-
Atšaukimo strategija : taip, kaip ir įprastoje programinėje įrangoje
Jei į tai nekreipsite dėmesio, turėsite „modelinį zoologijos sodą“ 🦓, kuriame viskas gyva, niekas nepaženklinta ir bijote atidaryti vartus.
Saugumas, privatumas ir atitiktis (ne pati smagiausia dalis, bet... taip) 🔐😅
Dirbtinis intelektas debesų kompiuterijoje kelia keletą pikantiškų klausimų:
Duomenų prieigos kontrolė 🧾
Kas gali pasiekti mokymo duomenis? Išvadų žurnalus? Raginimus? Rezultatus?
Šifravimas ir paslaptys 🗝️
Raktai, prieigos raktai ir kredencialai turi būti tinkamai tvarkomi. „Konfigūracijos faile“ nėra tvarkomi.
Izoliacija ir nuoma 🧱
Kai kurioms organizacijoms reikalingos atskiros aplinkos kūrimo, testavimo ir gamybos aplinkoms. Debesijos kompiuterija padeda – bet tik tuo atveju, jei ją tinkamai sukonfigūruojate.
Audituojamumas 📋
Reguliuojamos organizacijos dažnai turi parodyti:
-
kokie duomenys buvo panaudoti
-
kaip buvo priimami sprendimai
-
kas ką dislokavo
-
kai pasikeitė IBM watsonx.governance
Modelių rizikos valdymas ⚠️
Tai apima:
-
šališkumo patikrinimai
-
prieštaringų vertinimų
-
greita injekcijos apsauga (generatyviam DI)
-
saugus išėjimo filtravimas
Visa tai grįžta prie esmės: tai ne tik „internete talpinamas dirbtinis intelektas“. Tai dirbtinis intelektas, veikiantis esant realiems apribojimams.
Patarimai dėl kainos ir našumo (kad vėliau neverktumėte) 💸😵💫
Keletas mūšyje patikrintų patarimų:
-
Naudokite mažiausią modelį, kuris atitinka poreikį.
Didesnis ne visada reiškia geriau. Kartais jis tiesiog… didesnis. -
Paketų išvados, kai įmanoma.
Pigesnis ir efektyvesnis „SageMaker“ paketų transformavimas . -
Agresyviai kaupti talpykloje.
Ypač pasikartojančioms užklausoms ir įterpimams. -
Automatinis mastelio keitimas, bet apribokite.
Neribotas mastelio keitimas gali reikšti neribotas išlaidas. „Kubernetes“: horizontalus „Pod“ automatinis mastelio keitimas . Klauskite manęs, iš kur aš žinau... tiesą sakant, neklauskite 😬 -
Sekite kainą pagal galinį tašką ir funkciją.
Priešingu atveju optimizuosite ne tai, kas reikalinga. -
Naudokite vietoje iš anksto apmokestinamus skaičiavimus mokymui.
Didelės santaupos, jei jūsų mokymo užduotys gali apdoroti trikdžius. „Amazon EC2 Spot“ instancijos, „Google Cloud“ iš anksto apmokestinamos virtualios mašinos .
Klaidos, kurias daro žmonės (net ir protingos komandos) 🤦♂️
-
Debesų DI traktavimas kaip „tiesiog prijunkite modelį“
-
Duomenų kokybės ignoravimas iki paskutinės minutės
-
Modelio siuntimas be stebėjimo „SageMaker“ modelio monitoriuje
-
Neplanuojate perkvalifikuoti „Cadence“ „Google Cloud“: kas yra MLOps?
-
Pamirštant, kad saugumo komandos egzistuoja iki pat paleidimo savaitės 😬
-
Pernelyg didelis inžinerijos lygis nuo pirmos dienos (kartais laimi paprastas bazinis lygis)
Taip pat ir tyliai žiaurus dalykas: komandos neįvertina, kiek vartotojai niekina delsą. Dažnai laimi šiek tiek mažiau tikslus, bet greitas modelis. Žmonės yra nekantrūs maži stebuklai.
Svarbiausios išvados 🧾✅
Dirbtinis intelektas debesų kompiuterijoje – tai visapusiška dirbtinio intelekto kūrimo ir naudojimo naudojant debesų infrastruktūrą praktika – mokymų mastelio keitimas, diegimo supaprastinimas, duomenų srautų integravimas ir modelių diegimas naudojant MLOps, saugumą ir valdymą. „Google Cloud“: kas yra MLOps? NIST SP 800-145 .
Trumpa santrauka:
-
Debesis suteikia dirbtiniam intelektui infrastruktūrą mastelio keitimui ir platinimui 🚀 NIST SP 800-145
-
Dirbtinis intelektas debesijos darbo krūviams suteikia „smegenis“, kurios automatizuoja sprendimus 🤖
-
Magija slypi ne tik mokymuose – tai diegimas, stebėjimas ir valdymas 🧠🔐 „SageMaker“ modelių monitorius
-
Rinkitės platformas pagal komandos poreikius, o ne pagal rinkodaros miglą 📌
-
Stebėkite išlaidas ir operacijas kaip vanagas su akiniais 🦅👓 (bloga metafora, bet supratote)
Jei atėjote čia galvodami, kad „dirbtinis intelektas debesų kompiuterijoje tėra pavyzdinė API sąsaja“, tai juk tai ištisa ekosistema. Kartais elegantiška, kartais nerami, o kartais ir viena, ir kita tą pačią popietę 😅☁️
DUK
Ką „DI debesų kompiuterijoje“ reiškia kasdienėje prasme
Dirbtinis intelektas debesų kompiuterijoje reiškia, kad debesų platformos naudojamos duomenims saugoti, skaičiavimo procesams (CPU/GPU/TPU) paleisti, modeliams mokyti, diegti ir stebėti – neturint techninės įrangos. Praktiškai debesis tampa vieta, kurioje vyksta visas jūsų dirbtinio intelekto gyvavimo ciklas. Jūs nuomojatės tai, ko jums reikia, kai to reikia, o kai baigiate, sumažinate jo apimtį.
Kodėl dirbtinio intelekto projektai žlunga be debesijos stiliaus infrastruktūros ir MLOps
Dauguma gedimų įvyksta aplink modelį, o ne jo viduje: nenuoseklūs duomenys, nesuderinamos aplinkos, trapūs diegimai ir stebėjimo trūkumas. Debesijos įrankiai padeda standartizuoti saugojimo, skaičiavimo ir diegimo modelius, kad modeliai neužstrigtų ties „viskas veikė mano nešiojamajame kompiuteryje“. MLOps prideda trūkstamus elementus: stebėjimą, registrus, srautus ir atšaukimą, kad sistema išliktų atkuriama ir prižiūrima.
Tipinis dirbtinio intelekto debesų kompiuterijoje darbo eiga – nuo duomenų iki gamybos
Įprastas srautas yra toks: duomenys patenka į debesies saugyklą, apdorojami į funkcijas, tada modeliai apmokomi keičiamo mastelio skaičiavimo sistemoje. Toliau diegiama naudojant API galinį tašką, paketinę užduotį, be serverio diegimą arba „Kubernetes“ paslaugą. Galiausiai stebima delsa, dreifas ir kaina, o tada kartojamas pakartotinis mokymas ir saugesnis diegimas. Dauguma realių srautų nuolat kartojasi, o ne siunčiami vieną kartą.
Pasirinkimas tarp „SageMaker“, „Vertex AI“, „Azure ML“, „Databricks“ ir „Kubernetes“
Rinkitės remdamiesi savo komandos realybe, o ne „geriausios platformos“ reklaminiu triukšmu. Valdomos mašininio mokymosi platformos („SageMaker“ / „Vertex AI“ / „Azure ML“) sumažina operacinį galvos skausmą, naudodamos mokymo užduotis, galinius taškus, registrus ir stebėseną. „Databricks“ dažnai tinka komandoms, kuriose daug dėmesio skiriama duomenų inžinerijai ir kurios nori, kad mašininis mokymasis veiktų arti srautų ir analizės. „Kubernetes“ suteikia maksimalią kontrolę ir pritaikymą, tačiau jūs taip pat kontroliuojate patikimumą, mastelio keitimo politikas ir derinimo galimybes, kai sistema sugenda.
Architektūros modeliai, kurie šiandien dažniausiai pasireiškia dirbtinio intelekto debesijos sistemose
Nuolat matysite keturis modelius: valdomos ML platformos greičiui, „Lakehouse“ + ML duomenimis paremtoms organizacijoms, konteinerizuotas ML „Kubernetes“ sistemoje valdymui ir RAG (paieškos papildyta generacija), skirtas „saugiam mūsų vidinių žinių naudojimui“. RAG paprastai apima dokumentus debesies saugykloje, įterpimus + vektorinę saugyklą, paieškos sluoksnį ir prieigos kontrolę su registravimu. Jūsų pasirinktas modelis turėtų atitikti jūsų valdymo ir operacijų brandą.
Kaip komandos diegia debesijos dirbtinio intelekto modelius: REST API, paketinės užduotys, be serverio arba „Kubernetes“
REST API yra įprastas realaus laiko prognozėms, kai svarbus produkto delsos laikas. Paketinis vertinimas puikiai tinka suplanuotam vertinimui ir ekonomiškumui, ypač kai rezultatų nereikia gauti akimirksniu. Be serverio galiniai taškai gali gerai veikti esant dideliam srautui, tačiau reikia atkreipti dėmesį į šaltąjį paleidimą ir delsą. „Kubernetes“ idealiai tinka, kai reikia tikslaus mastelio keitimo ir integracijos su platformos įrankiais, tačiau ji padidina operacinį sudėtingumą.
Ką stebėti gamyboje, kad dirbtinio intelekto sistemos išliktų sveikos
Bent jau reikia sekti delsą, klaidų dažnį ir kainą vienai prognozei, kad patikimumas ir biudžetas būtų matomi. ML pusėje stebėkite duomenų ir našumo poslinkius, kad pastebėtumėte, kada modeliuojant pasikeičia realybė. Taip pat svarbu registruoti kraštutinius atvejus ir blogus rezultatus, ypač generatyvinio naudojimo atvejais, kai vartotojai gali kūrybiškai priešintis. Geras stebėjimas taip pat padeda priimti sprendimus dėl panaikinimo, kai modeliai regresuoja.
Debesijos DI sąnaudų mažinimas neprarandant našumo
Įprastas metodas yra naudoti mažiausią modelį, kuris atitinka reikalavimą, o tada optimizuoti išvadas naudojant paketavimą ir kaupimą talpykloje. Automatinis mastelio keitimas padeda, tačiau jam reikia apribojimų, kad „elastingumas“ netaptų „neribotomis išlaidomis“. Mokymo atveju taškiniai / išankstiniai skaičiavimai gali daug sutaupyti, jei jūsų užduotys toleruoja pertraukimus. Sąnaudų stebėjimas pagal galinį tašką ir pagal funkciją neleidžia optimizuoti netinkamos sistemos dalies.
Didžiausios saugumo ir atitikties rizikos, susijusios su dirbtiniu intelektu debesyje
Didžiausios rizikos yra nekontroliuojama prieiga prie duomenų, silpnas paslapčių valdymas ir trūkstami audito takeliai, nurodantys, kas ką apmokė ir diegė. Generatyvusis dirbtinis intelektas sukelia papildomų problemų, tokių kaip raginimų injekcija, nesaugūs rezultatai ir jautrūs duomenys, rodomi žurnaluose. Daugeliui kanalų reikalinga aplinkos izoliacija (kūrimo / testavimo / gamybos) ir aiškios raginimų, rezultatų ir išvadų registravimo politikos. Saugiausiose sistemose valdymas laikomas pagrindiniu sistemos reikalavimu, o ne paleidimo savaitės pataisa.
Nuorodos
-
Nacionalinis standartų ir technologijų institutas (NIST) – SP 800-145 (galutinė versija) – csrc.nist.gov
-
„Google Cloud“ – dirbtiniam intelektui skirti grafikos procesoriai – cloud.google.com
-
„Google Cloud“ – debesies TPU dokumentacija – docs.cloud.google.com
-
„Amazon Web Services“ (AWS) – „Amazon S3“ (objektų saugykla) – aws.amazon.com
-
„Amazon Web Services“ (AWS) – kas yra duomenų ežeras? – aws.amazon.com
-
„Amazon Web Services“ (AWS) – Kas yra duomenų saugykla? – aws.amazon.com
-
„Amazon Web Services“ (AWS) – AWS dirbtinio intelekto paslaugos – aws.amazon.com
-
„Google Cloud“ – „Google Cloud“ dirbtinio intelekto API – cloud.google.com
-
„Google Cloud“ – kas yra MLOps? – cloud.google.com
-
„Google Cloud“ – „Vertex“ dirbtinio intelekto modelių registras (įvadas) – docs.cloud.google.com
-
„Red Hat“ – kas yra REST API? – redhat.com
-
„Amazon Web Services“ (AWS) dokumentacija – „SageMaker“ paketinė transformacija – docs.aws.amazon.com
-
„Amazon Web Services“ (AWS) – duomenų saugykla, duomenų ežeras ir duomenų turgus – aws.amazon.com
-
„Microsoft Learn“ – „Azure“ mašininio mokymosi registrai (MLOps) – learn.microsoft.com
-
„Google Cloud“ – „Google Cloud Storage“ apžvalga – docs.cloud.google.com
-
arXiv – Paieškos papildytos kartos (RAG) straipsnis – arxiv.org
-
„Amazon Web Services“ (AWS) dokumentacija – „SageMaker Serverless Inference“ – docs.aws.amazon.com
-
„Kubernetes“ – horizontalus pod'o automatinis mastelio keitimas – kubernetes.io
-
„Google Cloud“ – „Vertex AI“ paketinių numatymai – docs.cloud.google.com
-
„Amazon Web Services“ (AWS) dokumentacija – „SageMaker“ modelio monitorius – docs.aws.amazon.com
-
„Google Cloud“ – „Vertex AI“ modelio stebėjimas (naudojant modelių stebėjimą) – docs.cloud.google.com
-
„Amazon Web Services“ (AWS) – „Amazon EC2 Spot“ egzemplioriai – aws.amazon.com
-
„Google Cloud“ – iš anksto įsigyjamos virtualios mašinos – docs.cloud.google.com
-
„Amazon Web Services“ (AWS) dokumentacija – AWS SageMaker: kaip tai veikia (mokymai) – docs.aws.amazon.com
-
„Google Cloud“ – „Google Vertex“ dirbtinis intelektas – cloud.google.com
-
„Microsoft Azure“ – „Azure“ mašininis mokymasis – azure.microsoft.com
-
„Databricks“ – „Databricks Lakehouse “ – databricks.com
-
„Snowflake“ dokumentacija – „Snowflake“ dirbtinio intelekto funkcijos (apžvalgos vadovas) – docs.snowflake.com
-
IBM – IBM watsonx – ibm.com
-
„Google Cloud“ – debesies natūralios kalbos API dokumentacija – docs.cloud.google.com
-
„Snowflake“ dokumentacija – „Snowflake Cortex“ dirbtinio intelekto funkcijos (AI SQL) – docs.snowflake.com
-
MLflow – MLflow stebėjimas – mlflow.org
-
MLflow – MLflow modelių registras – mlflow.org
-
„Google Cloud“ – MLOps: Nuolatinio teikimo ir automatizavimo procesai mašininio mokymosi srityje – cloud.google.com
-
„Amazon Web Services“ (AWS) – „SageMaker“ funkcijų parduotuvė – aws.amazon.com
-
IBM – IBM watsonx.valdymas – ibm.com