Ar kada susimąstėte, kas slepiasi už madingo žodžio „DI inžinierius“? Aš irgi. Iš išorės tai skamba puikiai, bet iš tikrųjų tai lygiomis dalimis projektavimo darbas, netvarkingų duomenų tvarkymas, sistemų sujungimas ir obsesyvus tikrinimas, ar viskas veikia taip, kaip turėtų. Jei norite vienos eilutės versijos: jie neryškias problemas paverčia veikiančiomis DI sistemomis, kurios nesugriūva, kai pasirodo tikri vartotojai. Ilgesnis, šiek tiek chaotiškesnis variantas – na, tai žemiau. Griebkite kofeino. ☕
Straipsniai, kuriuos galbūt norėsite perskaityti po šio:
🔗 Dirbtinio intelekto įrankiai inžinieriams: efektyvumo ir inovacijų skatinimas
Atraskite galingus dirbtinio intelekto įrankius, kurie padidina inžinerijos produktyvumą ir kūrybiškumą.
🔗 Ar programinės įrangos inžinierius pakeis dirbtinis intelektas?
Tyrinėkite programinės įrangos inžinerijos ateitį automatizavimo eroje.
🔗 Dirbtinio intelekto inžinerinės taikymo sritys, transformuojančios pramonės šakas
Sužinokite, kaip dirbtinis intelektas keičia pramonės procesus ir skatina inovacijas.
🔗 Kaip tapti dirbtinio intelekto inžinieriumi
Žingsnis po žingsnio vadovas, padėsiantis pradėti karjerą dirbtinio intelekto inžinerijos srityje.
Trumpai: ką iš tikrųjų veikia dirbtinio intelekto inžinierius 💡
Paprasčiausiu lygmeniu dirbtinio intelekto inžinierius projektuoja, konstruoja, siunčia ir prižiūri dirbtinio intelekto sistemas. Kasdieniai darbai paprastai apima:
-
Neaiškių produkto ar verslo poreikių vertimas į tai, ką modeliai iš tikrųjų gali patenkinti.
-
Duomenų rinkimas, žymėjimas, valymas ir – neišvengiamai – pakartotinis tikrinimas, kai jie pradeda dreifuoti.
-
Modelių pasirinkimas ir mokymas, jų vertinimas naudojant tinkamus rodiklius ir užsirašymas, kur jie nepasiteisins.
-
Viso dalyko suvyniojimas į MLOps vamzdynus, kad jį būtų galima išbandyti, diegti ir stebėti.
-
Stebėti gamtoje: tikslumas, saugumas, sąžiningumas... ir prisitaikyti, kol viskas nenukryps nuo normos.
Jei galvojate „taigi, tai programinės įrangos inžinerija ir duomenų mokslas su žiupsneliu produktų mąstymo“ – taip, maždaug taip ir yra.
geri skiriasi nuo kitų ✅
Galima žinoti visus architektūros straipsnius, paskelbtus nuo 2017 m., ir vis tiek sukurti trapią netvarką. Žmonės, kurie klesti šiame vaidmenyje, paprastai:
-
Mąstykite sistemingai. Jie mato visą ciklą: duomenis įveda, sprendimus išveda, viską galima atsekti.
-
Nesivaikykite magijos pirmiausia. Prieš kaupdami sudėtingumą, naudokitės baziniais taškais ir paprastais patikrinimais.
-
Išsaugokite atsiliepimus. Pakartotinis mokymas ir ankstesnių nustatymų atšaukimas nėra priedai, jie yra dizaino dalis.
-
Užsirašykite viską. Kompromisai, prielaidos, apribojimai – nuobodu, bet vėliau bus aukso vidurys.
-
Rimtai vertinkite atsakingą dirbtinį intelektą. Rizika neišnyksta dėl optimizmo, ji yra registruojama ir valdoma.
Trumpa istorija: viena palaikymo komanda pradėjo nuo neaiškių taisyklių ir paieškos bazinių linijų. Tai suteikė jiems aiškius priėmimo testus, todėl vėliau, kai jie pakeitė didelį modelį, jie turėjo aiškius palyginimus ir lengvą atsarginį sprendimą, jei jis veikė netinkamai.
Gyvavimo ciklas: netvarkinga realybė ir tvarkingos diagramos 🔁
-
Suformuluokite problemą. Apibrėžkite tikslus, užduotis ir kaip atrodo „pakankamai gerai“.
-
Apdorokite duomenis. Išvalykite, pažymėkite, skaidykite, versuokite. Nuolat tikrinkite, kad būtų galima pastebėti schemos nukrypimus.
-
Modeliuokite eksperimentus. Išbandykite paprastus veiksmus, testuokite bazinius taškus, kartokite, dokumentuokite.
-
Išsiųskite. CI/CD/CT srautai, saugūs diegimai, kanarėlės, atšaukimai.
-
Stebėkite tikslumą, delsą, dreifą, sąžiningumą, naudotojų rezultatus. Tada permokykite .
Skaidrėje tai atrodo kaip tvarkingas apskritimas. Praktiškai tai labiau panašu į spagečių žongliravimą šluota.
Atsakingas dirbtinis intelektas, kai padanga atsitrenkia į kelią 🧭
Esmė ne gražiose skaidrių demonstracijose. Inžinieriai naudoja sistemas, kad rizika taptų reali:
-
NIST dirbtinio intelekto RMF suteikia struktūrą rizikų nustatymui, matavimui ir valdymui visame projektavimo ir diegimo procese [1].
-
EBPO principai veikia labiau kaip kompasas – bendros gairės, kuriomis vadovaujasi daugelis organizacijų [2].
Daugybė komandų taip pat sukuria savo kontrolinius sąrašus (privatumo peržiūros, žmogaus valdomi vartai), susietus su šiais gyvavimo ciklais.
Dokumentai, kurie neatrodo neprivalomi: modelių kortelės ir duomenų lapai 📝
Du dokumentai, už kuriuos vėliau sau padėkosite:
-
Modelių kortelės → aiškiai nurodoma numatyta paskirtis, vertinami kontekstai, įspėjimai. Parašytos taip, kad produkto / teisiniai specialistai taip pat galėtų jas suprasti [3].
-
Duomenų rinkinių duomenų lapai → paaiškinkite, kodėl duomenys egzistuoja, kas juose yra, galimi šališkumai ir saugūs bei nesaugūs jų naudojimo būdai [4].
Ateityje jūs (ir būsimi komandos draugai) tyliai jums paplekšnosite už tai, kad juos parašėte.
Išsami analizė: duomenų srautai, sutartys ir versijų kūrimas 🧹📦
Duomenys tampa nepaklusnūs. Išmanūs dirbtinio intelekto inžinieriai vykdo sutarčių laikymąsi, įrašo patikrinimus ir susieja versijas su kodu, kad vėliau galėtumėte atsukti.
-
Patvirtinimas → kodifikuoti schemą, diapazonus, naujumą; automatiškai generuoti dokumentus.
-
Versijų kūrimas → sugrupuokite duomenų rinkinius ir modelius naudodami „Git“ pakeitimus, kad turėtumėte pakeitimų žurnalą, kuriuo iš tikrųjų galite pasitikėti.
Mažas pavyzdys: vienas mažmenininkas įvedė schemų patikras, kad blokuotų tiekėjų srautus, pilnus nulių. Šis vienas klaidos pranešimas sustabdė pasikartojančius „recall@k“ kritimus, kol klientai to nepastebėjo.
Išsami analizė: siuntimas ir plėtra 🚢
Modelio paleidimas funkcijoje „prod“ neužtenka vien model.fit() . Čia pateikiami šie įrankiai:
-
„Docker“ nuosekliam pakavimui.
-
„Kubernetes“ orkestravimui, mastelio keitimui ir saugiam diegimui.
-
MLOps karkasai kanarėlėms, A/B skaidymas, išskirtinių verčių aptikimas.
Už uždangos vyksta sveikatos patikrinimai, sekimas, CPU ir GPU planavimas, skirtojo laiko derinimas. Ne žavinga, o absoliučiai būtina.
Išsamiai: „GenAI“ sistemos ir RAG 🧠📚
Generatyvinės sistemos suteikia dar vieną posūkį – įžeminimą pagal paieškos kriterijus.
-
Įterpimai + vektorių paieška panašumų paieškai dideliu greičiu.
-
Orkestravimo bibliotekos, skirtos grandinės paieškai, įrankių naudojimui, tolesniam apdorojimui.
Pasirinkimai dėl fragmentavimo, perkvalifikavimo, vertinimo – šie maži sprendimai lemia, ar gausite gremėzdišką pokalbių robotą, ar naudingą antrąjį pilotą.
Įgūdžiai ir įrankiai: kas iš tikrųjų yra rinkinyje 🧰
Įvairių klasikinių mašininio mokymosi ir gilaus mokymosi įrankių rinkinys:
-
Karkasai: „PyTorch“, „TensorFlow“, „scikit-learn“.
-
Vamzdynai: oro srautas ir kt., skirti suplanuotiems darbams.
-
Gamyba: „Docker“, „K8s“, aptarnavimo karkasai.
-
Stebimumas: dreifo stebėjimai, delsos sekikliai, sąžiningumo patikrinimai.
Niekas nenaudoja visko . Visa esmė – žinoti pakankamai apie visą gyvenimo ciklą, kad būtų galima protingai samprotauti.
Įrankių lentelė: ko inžinieriai iš tikrųjų siekia 🧪
| Įrankis | Auditorija | Kaina | Kodėl tai patogu |
|---|---|---|---|
| PyTorch | Tyrėjai, inžinieriai | Atvirojo kodo | Lankstūs, „pythonic“, didžiulė bendruomenė, pritaikyti tinklai. |
| TensorFlow | Produktų orientuotos komandos | Atvirojo kodo | Ekosistemos gylis, TF aptarnavimas ir Lite diegimui. |
| scikit-learn | Klasikiniai mašininio mokymosi vartotojai | Atvirojo kodo | Puikios bazinės linijos, tvarkinga API, integruotas išankstinis apdorojimas. |
| MLflow | Komandos su daugybe eksperimentų | Atvirojo kodo | Tvarko serijas, modelius, artefaktus. |
| Oro srautas | Vamzdynų žmonės | Atvirojo kodo | DAG, planavimas, stebimumas pakankamai geri. |
| Docker | Iš esmės visi | Nemokamas branduolys | Aplinka (dažniausiai) ta pati. Mažiau ginčų dėl „veikia tik mano nešiojamajame kompiuteryje“. |
| Kubernetes | Infraraudonųjų spindulių komandos | Atvirojo kodo | Automatinis mastelio keitimas, diegimai, įmonės lygio raumenys. |
| Modelis, aptarnaujantis K8 | K8s modelio naudotojai | Atvirojo kodo | Standartinis patiekimas, dreifuojantys kabliai, keičiamo dydžio. |
| Vektorinės paieškos bibliotekos | RAG statybininkai | Atvirojo kodo | Greitas panašumas, draugiškas GPU. |
| Tvarkomų vektorių saugyklos | Įmonės RAG komandos | Mokami lygiai | Serverių neturintys indeksai, filtravimas, patikimumas dideliu mastu. |
Taip, formuluotė atrodo netolygi. Įrankių pasirinkimas paprastai toks ir yra.
Sėkmės matavimas nepaskęstant skaičiuose 📏
Svarbūs rodikliai priklauso nuo konteksto, bet paprastai yra šių veiksnių derinys:
-
Prognozavimo kokybė: tikslumas, atkūrimas, F1, kalibravimas.
-
Sistema + naudotojas: delsa, p95/p99, konversijų padidėjimas, užbaigimo rodikliai.
-
Sąžiningumo rodikliai: paritetas, skirtingas poveikis – naudojami atsargiai [1][2].
Metrikos egzistuoja tam, kad būtų galima nustatyti kompromisus. Jei jų nėra, pakeiskite jas vietomis.
Bendradarbiavimo modeliai: tai komandinis sportas 🧑🤝🧑
Dirbtinio intelekto inžinieriai paprastai sėdi sankryžoje su:
-
Produktų ir sričių specialistai (apibrėžkite sėkmę, apsauginius turėklus).
-
Duomenų inžinieriai (šaltiniai, schemos, SLA).
-
Saugumas / teisinė informacija (privatumas, atitiktis).
-
Dizainas / tyrimai (vartotojų testavimas, ypač skirtas „GenAI“).
-
Operacijų / SRE (veiklos laiko ir gaisro pratybos).
Tikėkitės rašinėjamų lentų ir retkarčiais kylančių aršių diskusijų apie metriką – tai sveika.
Spąstai: techninių skolų pelkė 🧨
ML sistemos pritraukia paslėptą skolą: susipynusias konfigūracijas, trapias priklausomybes, pamirštus kliūčių scenarijus. Profesionalai nustato apsauginius barjerus – duomenų testus, įvestas konfigūracijas, atšaukimus – prieš pelkei išaugant. [5]
Sveiko proto palaikytojai: praktikos, kurios padeda 📚
-
Pradėkite nuo mažų dalykų. Įrodykite, kad procesas veikia, prieš komplikuodami modelius.
-
MLOps srautai. CI duomenims / modeliams, CD paslaugoms, CT perkvalifikavimui.
-
Atsakingų dirbtinio intelekto kontroliniai sąrašai. Susieti su jūsų organizacija, pateikiami tokie dokumentai kaip modelių kortelės ir duomenų lapai [1][3][4].
Greitas DUK pakartojimas: atsakymas vienu sakiniu 🥡
Dirbtinio intelekto inžinieriai kuria kompleksines sistemas, kurios yra naudingos, išbandomos, diegiamos ir tam tikru mastu saugios, kartu aiškiai nurodydami kompromisus, kad niekas neliktų nežinioje.
TL;DR 🎯
-
Jie imasi neaiškių problemų → patikimų dirbtinio intelekto sistemų, taikydami duomenų apdorojimą, modeliavimą, MLOp, stebėjimą.
-
Geriausi pirmiausia laikosi paprastumo, negailestingai matuoja ir dokumentuoja prielaidas.
-
Gamybos dirbtinis intelektas = gamybos srautai + principai (CI/CD/CT, sąžiningumas ten, kur reikia, integruotas rizikos mąstymas).
-
Įrankiai yra tik įrankiai. Naudokite tik tai, kas būtina norint eiti traukiniu → bėgiais → aptarnauti → stebėti.
Nuorodos
-
NIST dirbtinio intelekto RMF (1.0). Nuoroda
-
EBPO dirbtinio intelekto principai. Nuoroda
-
Modelių kortelės (Mitchell ir kt., 2019). Nuoroda
-
Duomenų rinkinių duomenų lapai (Gebru ir kt., 2018/2021). Nuoroda
-
Paslėpta techninė skola (Sculley ir kt., 2015). Nuoroda