Kas yra krašto dirbtinis intelektas?

Dirbtinis intelektas „Edge“ platformoje siunčia intelektą ten, kur gimsta duomenys. Skamba prabangiai, bet pagrindinė idėja paprasta: mąstyti šalia jutiklio, kad rezultatai būtų matomi dabar, o ne vėliau. Gausite greitį, patikimumą ir tinkamą privatumo apsaugą, o debesis neprižiūrės kiekvieno sprendimo. Panagrinėkime tai – įtraukti spartieji klavišai ir papildomos užduotys. 😅

Straipsniai, kuriuos galbūt norėsite perskaityti po šio:

🔗 Kas yra generatyvinis dirbtinis intelektas
Aiškus generatyvinio dirbtinio intelekto paaiškinimas, kaip jis veikia ir kaip jį praktiškai panaudoja.

🔗 Kas yra agentinis dirbtinis intelektas
Agentinio dirbtinio intelekto, autonominio elgesio ir realaus pasaulio taikymo modelių apžvalga.

🔗 Kas yra dirbtinio intelekto mastelio keitimas?
Sužinokite, kaip patikimai, efektyviai ir ekonomiškai pritaikyti dirbtinio intelekto sistemas.

🔗 Kas yra dirbtinio intelekto programinės įrangos sistema?
Dirbtinio intelekto programinės įrangos sistemų, architektūros privalumų ir diegimo pagrindų suskirstymas.

Kas yra „Edge AI“? Trumpas apibrėžimas 🧭

Dirbtinis intelektas perimetro srityje (EDGE DI) – tai praktika, kai apmokyti mašininio mokymosi modeliai veikia tiesiogiai įrenginiuose, kurie renka duomenis – telefonuose, kamerose, robotuose, automobiliuose, nešiojamuosiuose įrenginiuose, pramoniniuose valdikliuose ir kt. – arba šalia jų. Užuot siunčiant neapdorotus duomenis į nuotolinius serverius analizei, įrenginys apdoroja įvestis vietoje ir siunčia tik santraukas arba visai nieko. Mažiau duomenų rinkimo pirmyn ir atgal, mažiau vėlavimų, daugiau kontrolės. Jei norite aiškaus, nuo tiekėjo nepriklausomo paaiškinimo, pradėkite čia. [1]

Kuo „Edge AI“ iš tikrųjų naudingas? 🌟

• Mažas delsos laikas – sprendimai priimami įrenginyje, todėl reakcijos į suvokimo užduotis, tokias kaip objektų aptikimas, pažadinimo žodžių pastebėjimas ar anomalijų įspėjimai, yra momentinės. [1]

• Privatumas pagal vietovę – neskelbtini duomenys gali likti įrenginyje, taip sumažinant riziką ir padedant diskusijoms apie duomenų kiekio mažinimą. [1]

• Pralaidumo taupymas – siųskite funkcijas arba įvykius, o ne neapdorotus srautus. [1]

• Atsparumas – veikia esant nestabiliam ryšiui.

• Sąnaudų kontrolė – mažiau debesijos skaičiavimo ciklų ir mažesnis išsiuntimo srautas.

• Konteksto suvokimas – įrenginys „jaučia“ aplinką ir prisitaiko.

Trumpas pasakojimas: mažmeninės prekybos bandomajame projekte nuolatiniai kamerų duomenys buvo įkelti į įrenginyje esančią asmens ir objekto klasifikaciją ir buvo pateikiami tik valandiniai skaičiavimai bei išimčių įrašai. Rezultatas: įspėjimai lentynų krašte buvo gaunami per mažiau nei 200 ms, o duomenų srautas sumažėjo maždaug 90 %, nekeičiant parduotuvės WAN sutarčių. (Metodas: vietinis nustatymas, įvykių grupavimas, tik anomalijos.)

Dirbtinis intelektas per kraštą ir dirbtinis intelektas debesyje – trumpas palyginimas 🥊

• Kur vyksta skaičiavimas : periferinis tinklas = įrenginyje / šalia įrenginio; debesis = nuotoliniai duomenų centrai.

• Vėlavimas : kraštas ≈ realusis laikas; debesis turi pirmyn ir atgalinius ryšius.

• Duomenų perkėlimas : pirmiausia filtruoja / suspaudžia krašto duomenis; debesijos serveris mėgsta pilno tikslumo įkėlimus.

• Patikimumas : kraštinis tinklas veikia neprisijungęs; debesijos tinklui reikalingas ryšys.

• Valdymas : periferiniai kompiuteriai palaiko duomenų kiekio mažinimą; debesų kompiuterija centralizuoja priežiūrą. [1]

Tai ne arba vienas, arba kitas variantas. Išmaniosios sistemos sujungia abu šiuos du dalykus: greitus sprendimus vietoje, gilesnę analizę ir centralizuotą transporto parko mokymąsi. Hibridinis atsakymas yra nuobodus – ir teisingas.

Kaip „Edge AI“ iš tikrųjų veikia po gaubtu 🧩

1. Jutikliai fiksuoja neapdorotus signalus – garso kadrus, kameros pikselius, IMU signalus, vibracijos pėdsakus.

2. Išankstinis apdorojimas pertvarko šiuos signalus į modeliui pritaikytas savybes.

3. Išvadų vykdymo aplinka įrenginyje vykdo kompaktišką modelį, naudodama greitintuvus, kai jie yra.

4. Papildomas apdorojimas paverčia rezultatus įvykiais, etiketėmis arba valdymo veiksmais.

5. Telemetrija įkelia tik tai, kas naudinga: santraukas, anomalijas arba periodinius atsiliepimus.

Įrenginiuose veikiančios vykdymo aplinkos, kurias pamatysite, yra „Google LiteRT“ (anksčiau „TensorFlow Lite“), „ONNX Runtime“ ir „Intel OpenVINO“ . Šios įrankių grandinės sumažina pralaidumą iš riboto energijos / atminties biudžeto, naudodamos tokias gudrybes kaip kvantavimas ir operatorių suliejimas. Jei jums patinka esmė, jų dokumentai yra patikimi. [3][4]

Kur tai pasireiškia – realūs naudojimo atvejai, į kuriuos galite atkreipti dėmesį 🧯🚗🏭

• Regėjimas iš paribių : durų skambučių kameros (žmonės ir gyvūnai), lentynų skenavimas mažmeninėje prekyboje, defektų aptikimas dronais.

• Garsas įrenginyje : žadinimo žodžiai, diktavimas, nuotėkių aptikimas augaluose.

• Pramoninis daiktų internetas (IoT) : varikliai ir siurbliai stebimi dėl vibracijos anomalijų prieš gedimus.

• Automobiliai : vairuotojo stebėjimas, eismo juostų aptikimas, parkavimo asistentas – greičiau nei per sekundę arba greičiau.

• Sveikatos priežiūra : nešiojamieji įrenginiai žymi aritmijas vietoje; vėliau sinchronizuoja santraukas.

• Išmanieji telefonai : nuotraukų gerinimas, šlamšto skambučių aptikimas, akimirkos „kaip mano telefonas tai padarė neprisijungęs prie interneto“.

Formalius apibrėžimus (ir „rūko ir krašto“ sąvoką) žr. NIST koncepciniame modelyje. [2]

Aparatūra, dėl kurios jis žvalus 🔌

Kelios platformos yra dažnai tikrinamos pagal pavadinimus:

• „NVIDIA Jetson“ – GPU varomi moduliai robotams/kameroms – šveicariško peilio imitacijos, skirtos įterptajam dirbtiniam intelektui.

• „Google Edge TPU“ + „LiteRT“ – efektyvus sveikųjų skaičių nustatymas ir supaprastintas veikimo laikas itin mažai energijos naudojantiems projektams. [3]

• „Apple Neural Engine“ (ANE) – tikslus mašininis mokymasis (ML) „iPhone“, „iPad“ ir „Mac“ įrenginiuose; „Apple“ paskelbė praktinius darbus apie efektyvų transformatorių diegimą ANE. [5]

• „Intel“ procesoriai / iGPU / NPU su „OpenVINO“ – „rašyk vieną kartą, dieg bet kur“ visoje „Intel“ aparatinėje įrangoje; naudingi optimizavimo praėjimai.

• ONNX Runtime visur – neutrali vykdymo aplinka su prijungiamais vykdymo teikėjais telefonuose, kompiuteriuose ir šliuzuose. [4]

Ar jums reikia visų jų? Ne visai. Pasirinkite vieną stiprų kelią, kuris tinka jūsų parkui, ir jo laikykitės – darbuotojų kaita yra integruotų komandų priešas.

Programinės įrangos rinkinys – trumpa apžvalga 🧰

• Modelio glaudinimas : kvantizavimas (dažnai iki int8), genėjimas, distiliavimas.

• Operatoriaus lygio spartinimas : branduoliai, suderinti su jūsų siliciu.

• Veikimo laikas : LiteRT, ONNX Runtime, OpenVINO. [3][4]

• Diegimo apvalkalai : konteineriai / programų paketai; kartais mikropaslaugos šliuzuose.

• MLOp procesai periferijoje : OTA modelio atnaujinimai, A/B diegimas, telemetrijos ciklai.

• Privatumo ir saugumo valdikliai : šifravimas įrenginyje, saugus įkrovimas, atestavimas, enklavai.

Mini atvejis: inspektavimo dronų komanda iš sunkiasvorio detektoriaus pavertė kvantuotą studentų modelį „LiteRT“, o tada įrenginyje sujungė NMS. Skrydžio laikas pagerėjo ~15 % dėl mažesnio skaičiavimo sunaudojimo; įkėlimo apimtis sumažėjo iki išimčių kadrų. (Metodas: duomenų rinkinio fiksavimas vietoje, kalibravimas po kiekybinio atlikimo, šešėlinio režimo A/B prieš visišką diegimą.)

Palyginimo lentelė – populiarios „Edge AI“ parinktys 🧪

Tikra kalba: šis stalas yra nuoširdus ir truputį netvarkingas – kaip ir tikrasis pasaulis.

Kaip pasirinkti „Edge AI“ kelią – mažas sprendimų medis 🌳

• Sunkus realaus laiko planavimas? Pradėkite nuo akceleratorių ir kvantinių modelių.

• Daug įrenginių tipų? Dėl perkeliamumo rinkitės ONNX Runtime arba OpenVINO. [4]

• Siunčiate mobiliąją programėlę? „LiteRT“ yra mažiausio pasipriešinimo kelias. [3]

• Robotai ar kamerų analizė? „Jetson“ GPU pritaikytos operacijos taupo laiką.

• Griežtas privatumo užtikrinimas? Laikykite duomenis lokalius, šifruokite juos nenaudojant duomenų, žurnaluokite agregatus, o ne neapdorotus kadrus.

• Maža komanda? Venkite egzotiškų įrankių grandinių – nuobodulys yra gražus.

• Modeliai dažnai keisis? Planuokite OTA ir telemetriją nuo pirmos dienos.

Rizika, ribos ir nuobodūs, bet svarbūs dalykai 🧯

• Modelio dreifas – keičiasi aplinka; stebimi paskirstymai, paleidžiami šešėliniai režimai, periodiškai perkvalifikuojami.

• Skaičiavimo lubos – ribota atmintis / galia verčia mažesnius modelius arba sumažinti tikslumą.

• Saugumas – tarkime, kad prieiga fizinė; naudokite saugų paleidimą, pasirašytus artefaktus, atestaciją, mažiausiai privilegijų turinčias paslaugas.

• Duomenų valdymas – vietinis apdorojimas padeda, bet vis tiek reikia sutikimo, duomenų saugojimo ir aprėpties telemetrijos.

• Įrenginių parko operacijos – įrenginiai atsijungia netinkamiausiu metu; sukurkite atidėtus atnaujinimus ir tęsiamus įkėlimus.

• Talentų derinys – įterptieji + mašininis mokymasis + DevOps – yra marga komanda; abipusiai apmokykite anksti.

Praktinis veiksmų planas, kaip išsiųsti ką nors naudingo 🗺️

1. Pasirinkite vieną naudojimo atvejį su išmatuojamu vertės ir defekto aptikimu 3 eilutėje, pažadinimo žodžiu išmaniajame garsiakalbyje ir pan.

2. Surinkite tvarkingą duomenų rinkinį, atspindintį tikslinę aplinką; įterpkite triukšmą, kad jis atitiktų realybę.

3. Prototipas ant kūrimo rinkinio, esančio netoli gamybinės įrangos.

4. Suspauskite modelį kvantizavimu/genėjimu; sąžiningai išmatuokite tikslumo praradimą. [3]

5. Apvyniokite išvadas švarioje API su atgaliniu spaudimu ir stebėjimo sistemomis, nes įrenginiai užstringa 2 val. nakties

6. Kurkite telemetriją , kuri gerbia privatumą: siuntimų skaičius, histogramos, per kraštus išskirtos funkcijos.

7. Sustiprintas saugumas : pasirašyti dvejetainiai failai, saugus įkrovimas, minimaliai atidarytos paslaugos.

8. Planas OTA : laipsniškas diegimas, „kanarėlės“, momentinis atšaukimas.

9. pabandykite durtame kampe – jei ten išgyvens, išgyvens bet kur.

10. Mastelio keitimas pagal veiksmų planą : kaip pridėsite modelius, keisite raktus, archyvuosite duomenis, kad antrasis projektas netaptų chaosu.

DUK – trumpi atsakymai į apie „Edge AI“ ❓

Ar „Edge AI“ tiesiog vykdo nedidelį modelį mažame kompiuteryje?
Dažniausiai taip, bet dydis nėra visa istorija. Svarbu ir delsos biudžetai, privatumo pažadai ir daugelio įrenginių, veikiančių lokaliai, bet besimokančių globaliai, koordinavimas. [1]

Ar galiu mokytis ir periferijoje?
Yra lengvesnio mokymo / suasmeninimo įrenginyje variantai; sunkesni mokymai vis dar vyksta centralizuotai. ONNX Runtime dokumentuoja mokymo įrenginyje parinktis, jei esate drąsus. [4]

Kuo skiriasi dirbtinis intelektas per kraštą ir rūko skaičiavimas?
Rūkas ir per kraštą yra pusbroliai. Abu jie priartina skaičiavimus prie duomenų šaltinių, kartais per netoliese esančius šliuzus. Formalius apibrėžimus ir kontekstą žr. NIST. [2]

Ar „Edge“ dirbtinis intelektas visada pagerina privatumą?
Tai padeda, bet tai nėra stebuklas. Vis tiek reikia minimizavimo, saugių atnaujinimų kelių ir kruopštaus registravimo. Privatumą traktuokite kaip įprotį, o ne kaip žymimąjį langelį.

Išsamios straipsnių analizės, kurias galbūt iš tikrųjų perskaitysite 📚

1) Modelio optimizavimas, kuris nepažeidžia tikslumo

Kvantavimas gali sumažinti atminties kiekį ir pagreitinti operacijas, tačiau kalibravimas su reprezentatyviais duomenimis gali sukelti voverių haliucinacijas ten, kur yra eismo kūgiai. Distiliavimas – kai mokytojas veda smulkesnį mokinį – dažnai išsaugo semantiką. [3]

2) Kraštinių išvadų vykdymo aplinkų praktinis pritaikymas

„LiteRT“ interpretatorius tyčia sukuria atminties srautą vykdymo metu be statinių duomenų. „ONNX Runtime“ jungiasi prie įvairių greitintuvų per vykdymo teikėjus. Nei vienas iš jų nėra stebuklingas sprendimas; abu yra patikimi ir galingi. [3][4]

3) Atsparumas gamtoje

Karštis, dulkės, trūkčiojantis maitinimas, nerūpestingas „Wi-Fi“: sukurkite sarginius mechanizmus, kurie perkrauna tinklus, kaupia sprendimus talpykloje ir suderina duomenis, kai tinklas sugrįžta. Mažiau žavinga nei dėmesio galvutės, bet svarbiau.

Frazė, kurią kartosite susitikimuose – Kas yra „Edge AI“ 🗣️

Dirbtinis intelektas perkelia intelektą arčiau duomenų, kad atitiktų praktinius delsos, privatumo, pralaidumo ir patikimumo apribojimus. Magija slypi ne viename luste ar sistemoje – svarbu išmintingai pasirinkti, ką ir kur apskaičiuoti.

Baigiamosios pastabos – per ilga, neskaičiau 🧵

„Edge AI“ modelius paleidžia šalia duomenų, todėl produktai atrodo greiti, privatūs ir patikimi. Sujungsite vietinį vertinimą su debesies priežiūra, kad gautumėte geriausią iš abiejų pusių. Pasirinkite vykdymo aplinką, atitinkančią jūsų įrenginius, kai įmanoma, pasinaudokite greitintuvais, palaikykite tvarką modeliuose naudodami glaudinimą ir planuokite įrenginių parko operacijas taip, lyg nuo to priklausytų jūsų darbas – nes, na, taip gali būti. Jei kas nors paklaus, kas yra „Edge AI“ , pasakykite: protingi sprendimai, priimti vietoje, laiku. Tada nusišypsokite ir pakeiskite temą į baterijas. 🔋🙂

Nuorodos

1. IBM – Kas yra „Edge AI“? (apibrėžimas, privalumai).
   https://www.ibm.com/think/topics/edge-ai

2. NIST - SP 500-325: Rūko skaičiavimo konceptualusis modelis (formalus rūko/krašto kontekstas).
   https://csrc.nist.gov/pubs/sp/500/325/final

3. „Google AI Edge“ – „LiteRT“ (anksčiau „TensorFlow Lite“) (vykdymo aplinka, kvantavimas, perkėlimas).
   https://ai.google.dev/edge/litert

4. ONNX Runtime – mokymai įrenginyje (nešiojamoji vykdymo aplinka + mokymai periferiniuose įrenginiuose).
   https://onnxruntime.ai/docs/get-started/training-on-device.html

5. „Apple Machine Learning Research“ – „Transformers“ diegimas „Apple Neural Engine“ sistemoje (ANE efektyvumo pastabos).
   https://machinelearning.apple.com/research/neural-engine-transformers

Raskite naujausią dirbtinį intelektą oficialioje dirbtinio intelekto asistentų parduotuvėje

Apie mus