Dirbtinis intelektas anksčiau gyveno dideliuose serveriuose ir debesijos GPU. Dabar jis traukiasi ir slysta šalia jutiklių. Dirbtinis intelektas įterptosioms sistemoms nėra kažkoks tolimas pažadas – jis jau dūzgia šaldytuvuose, dronuose, nešiojamuose įrenginiuose... net įrenginiuose, kurie visiškai neatrodo „išmanūs“.
Štai kodėl šis pokytis svarbus, kas jį apsunkina ir kurios galimybės vertos jūsų laiko.
Straipsniai, kuriuos galbūt norėsite perskaityti po šio:
🔗 Geriausios dirbtinio intelekto valdymo priemonės, užtikrinančios etikos reikalavimus atitinkančias ir skaidrias dirbtinio intelekto sistemas
Įrankių, padedančių palaikyti etišką, atitinkantį reikalavimus ir skaidrų dirbtinį intelektą, vadovas.
🔗 Objektų saugojimas dirbtiniam intelektui: pasirinkimai, pasirinkimai ir dar kartą pasirinkimai
Objektų saugojimo parinkčių, pritaikytų dirbtinio intelekto darbo krūviams, palyginimas.
🔗 Duomenų saugojimo reikalavimai dirbtiniam intelektui: ką iš tikrųjų reikia žinoti
Svarbiausi veiksniai, į kuriuos reikia atsižvelgti planuojant dirbtinio intelekto duomenų saugojimą.
Dirbtinis intelektas įterptosioms sistemoms🌱
Įterptieji įrenginiai yra maži, dažnai maitinami baterijomis ir turi ribotus išteklius. Tačiau dirbtinis intelektas atveria dideles galimybes:
-
Sprendimai realiuoju laiku be duomenų perdavimo debesyje.
-
Privatumas integruotas – neapdoroti duomenys gali likti įrenginyje.
-
Mažesnis delsos laikas , kai milisekundės svarbios.
-
Energiją taupantis išvados darymas kruopščiai parinkus modelį ir aparatinę įrangą.
Tai nėra akivaizdūs privalumai: skaičiavimo perkėlimas į tinklo periferiją sumažina priklausomybę nuo tinklo ir sustiprina privatumą daugeliu naudojimo atvejų [1].
Gudrybė slypi ne grubioje jėgoje, o sumanume naudojant ribotus išteklius. Įsivaizduokite, kad bėgate maratoną su kuprine... o inžinieriai ir toliau šalina plytas.
Greita dirbtinio intelekto, skirto įterptosioms sistemoms, palyginimo lentelė 📝
| Įrankis / Sistema | Ideali auditorija | Kaina (apytikslė) | Kodėl tai veikia (keistos pastabos) |
|---|---|---|---|
| TensorFlow Lite | Kūrėjai, mėgėjai | Nemokama | Kompaktiškas, nešiojamas, puikus MCU → mobiliojo ryšio aprėptis |
| Krašto impulsas | Pradedantiesiems ir startuoliams | „Freemium“ pakopos | Vilkimo ir numetimo darbo eiga – kaip „DI LEGO“ |
| „Nvidia Jetson“ platforma | Inžinieriams reikia energijos | $$$ (ne pigu) | GPU + greitintuvai, skirti dideliems matymo / darbo krūviams |
| TinyML (per Arduino) | Pedagogai, prototipų kūrėjai | Maža kaina | Prieinamas; bendruomeniškas ❤️ |
| „Qualcomm“ dirbtinio intelekto variklis | Originalios įrangos gamintojai, mobiliųjų telefonų gamintojai | Skiriasi | NPU spartinimas „Snapdragon“ procesoriuje – neįtikėtinai greitas |
| ExecuTorch (PyTorch) | Mobiliųjų ir periferinių kompiuterių kūrėjai | Nemokama | Įrenginyje įdiegta „PyTorch“ vykdymo aplinka telefonams / nešiojamiesiems įrenginiams / įterptosioms sistemoms [5] |
(Taip, netolygu. Tokia pati realybė.)
Kodėl dirbtinis intelektas įterptuosiuose įrenginiuose svarbus pramonei 🏭
Tai ne tik ažiotažas: gamyklų linijose kompaktiški modeliai fiksuoja defektus; žemės ūkyje mažos galios mazgai analizuoja dirvožemį lauke; transporto priemonėse saugos funkcijos negali „paskambinti namo“ prieš stabdant. Kai delsa ir privatumas yra neginčijami , skaičiavimo perkėlimas į periferinius tinklus yra strateginis svertas [1].
„TinyML“: tylusis įterptojo dirbtinio intelekto herojus 🐜
„TinyML“ vykdo modelius mikrovaldikliuose, kurių RAM yra nuo kilobaitų iki kelių megabaitų, tačiau vis tiek atlieka raktinių žodžių atpažinimą, gestų atpažinimą, anomalijų aptikimą ir dar daugiau. Tai tarsi stebėti, kaip pelė pakelia plytą. Keistai malonu.
Greitas mentalinis modelis:
-
Duomenų pėdsakai : maži, srautiniai jutiklių įėjimai.
-
Modeliai : kompaktiški CNN/RNN, klasikinė mašininė mokymasis (ML) arba retinti/kvantuoti tinklai.
-
Biudžetai : milivatai, o ne vatai; KB–MB, o ne GB.
Aparatinės įrangos pasirinkimai: kaina ir našumas ⚔️
Daugelio projektų stringa renkantis techninę įrangą:
-
„Raspberry Pi“ klasė : draugiškas, bendrosios paskirties procesorius; patikimas prototipams.
-
„NVIDIA Jetson“ : specialiai sukurti dirbtinio intelekto moduliai (pvz., „Orin“), teikiantys nuo dešimčių iki šimtų TOPS tankiam regėjimui arba kelių modelių rinkiniams – puiku, bet brangiau ir sunaudoja daugiau energijos [4].
-
„Google Coral“ („Edge TPU“) : ASIC greitintuvas, užtikrinantis ~4 TOPS esant maždaug 2 W galiai (~2 TOPS/W) kvantuotiems modeliams – fantastiškas našumo ir galios santykis (perf/W), kai jūsų modelis atitinka apribojimus [3].
-
Išmaniųjų telefonų lustų rinkiniai („Snapdragon“) : tiekiami su NPU ir SDK, kad modeliai įrenginyje veiktų efektyviai.
Nykščio taisyklė: subalansuokite kainą, šiluminę energiją ir skaičiavimus. „Pakankamai gerai, visur“ dažnai nugali „pažangiausi, niekur“.
Dažni dirbtinio intelekto iššūkiai įterptosiose sistemose 🤯
Inžinieriai reguliariai susiduria su šiomis problemomis:
-
Trūksta atminties : maži įrenginiai negali talpinti milžiniškų modelių.
-
Baterijų biudžetas : kiekvienas miliamperas svarbus.
-
Modelio optimizavimas:
-
Kvantavimas → mažesni, greitesni int8/float16 svoriai/aktyvacijos.
-
Genėjimas → pašalinkite nereikšmingus svarelius dėl retumo.
-
Klasterizavimas / svorio pasidalijimas → tolesnis suspaudimas.
Tai standartiniai įrenginio efektyvumo metodai [2].
-
-
Didinimas : Arduino demonstracija klasėje ≠ automobilių gamybos sistema su saugos, apsaugos ir gyvavimo ciklo apribojimais.
Derinate? Įsivaizduokite, kad skaitote knygą pro rakto skylutę... su pirštinėmis.
Praktiniai pritaikymai, apie kuriuos netrukus pamatysite daugiau 🚀
-
Išmanieji nešiojamieji įrenginiai teikia įžvalgas apie sveikatą įrenginiuose.
-
Daiktų interneto kameros žymi įvykius netransliuojant neapdorotos filmuotos medžiagos.
-
Balso asistentai neprisijungus , skirti valdyti laisvų rankų įranga – nėra priklausomybės nuo debesies.
-
Autonominiai dronai patikrai, pristatymui ir tiksliajai žemės ūkiui.
Trumpai tariant: dirbtinis intelektas tiesiogine prasme artėja – ant mūsų riešų, į mūsų virtuves ir visoje mūsų infrastruktūroje.
Kaip kūrėjai gali pradėti 🛠️
-
Norėdami plačiam įrankių naudojimui ir MCU→mobiliojo ryšio aprėpčiai, pradėkite nuo „TensorFlow Lite“
-
Jei gyvenate „PyTorch“ šalyje ir jums reikia efektyvios įrenginyje veikiančios mobiliųjų ir įterptųjų sistemų veikimo aplinkos [5], išbandykite „ExecuTorch“
-
Išbandykite „Arduino“ + „TinyML“ rinkinius greitam ir žavingam prototipų kūrimui.
-
Pirmenybę teikiate vizualiems srautams? „Edge Impulse“ sumažina barjerą duomenų rinkimo, mokymo ir diegimo srityje.
-
Su technine įranga elkitės kaip su pirmos klasės vartotoju – sukurkite prototipą procesoriuose, tada patvirtinkite jį tiksliniame greitintuve („Edge TPU“, „Jetson“, NPU), kad patvirtintumėte delsos, terminių įkrovų ir tikslumo skirtumus.
Mini vinjetė: komanda pristato vibracijos anomalijos detektorių, pagrįstą monetos tipo jutikliu. „Float32“ modelis neatitinka energijos biudžeto; „int8“ kvantavimas sumažina energijos suvartojimą vienai išvadai, atminties apkarpymas sumažina atminties kiekį, o mikrokontrolerio ciklinis perjungimas užbaigia darbą – nereikia tinklo [2, 3].
Tyli dirbtinio intelekto revoliucija įterptosiose sistemose 🌍
Maži, nebrangūs procesoriai mokosi jausti → mąstyti → veikti – lokaliai. Baterijos veikimo laikas mus visada persekios, tačiau ateities trajektorija aiški: tikslesni modeliai, geresni kompiliatoriai, išmanesni greitintuvai. Rezultatas? Technologijos, kurios yra asmeniškesnės ir reaguoja greičiau, nes jos ne tik prijungtos – jos ir atkreipia dėmesį.
Nuorodos
[1] ETSI (daugiaprieigos krašto skaičiavimas) – delsos / privatumo nauda ir pramonės kontekstas.
ETSI MEC: naujos baltosios knygos apžvalga
[2] „Google TensorFlow“ modelių optimizavimo įrankių rinkinys – kvantavimas, genėjimas, klasterizavimas efektyvumui įrenginyje.
„TensorFlow“ modelių optimizavimo vadovas
[3] „Google Coral Edge TPU“ – našumo/svorio rodikliai, skirti krašto spartinimui.
„Edge TPU“ lyginamieji testai
[4] NVIDIA Jetson Orin (oficialus) – „Edge“ dirbtinio intelekto moduliai ir našumo ribos.
„Jetson Orin“ modulių apžvalga
[5] „PyTorch ExecuTorch“ (oficialūs dokumentai) – įrenginyje įdiegta „PyTorch“ vykdymo aplinka mobiliesiems įrenginiams ir periferiniams įrenginiams.
„ExecuTorch“ apžvalga