Kaip dirbtinis intelektas prognozuoja tendencijas?

Dirbtinis intelektas (DI) gali pastebėti modelius, kurių plika akis nepastebi, ir išryškinti signalus, kurie iš pirmo žvilgsnio atrodo kaip triukšmas. Tinkamai atliktas darbas paverčia netvarkingą elgesį naudinga įžvalga – pardavimai kitą mėnesį, srautas rytoj, klientų praradimas vėliau šį ketvirtį. Neteisingai atliktas darbas – tai pasitikintis savimi gūžtelėjimas pečiais. Šiame vadove apžvelgsime tikslų DI tendencijų prognozavimo mechanizmą, iš kur ateina laimėjimai ir kaip neapsigauti dėl gražių diagramų. Laikysiuosi praktiškumo, su keliomis tikromis akimirkomis ir retkarčiais pakelsiu antakius 🙃.

Straipsniai, kuriuos galbūt norėsite perskaityti po šio:

🔗 Kaip išmatuoti dirbtinio intelekto našumą
Pagrindiniai dirbtinio intelekto sistemų tikslumo, efektyvumo ir patikimumo vertinimo rodikliai.

🔗 Kaip kalbėtis su dirbtiniu intelektu
Praktiniai patarimai, kaip bendrauti su dirbtiniu intelektu, siekiant pagerinti atsakymų kokybę.

🔗 Kas yra dirbtinio intelekto raginimas?
Aiškus paaiškinimas, kaip raginimai veikia dirbtinio intelekto elgesį ir rezultatus.

🔗 Kas yra DI duomenų ženklinimas?
Įvadas į efektyvų duomenų žymėjimą mašininio mokymosi modelių mokymui.

Kas lemia gerą dirbtinio intelekto tendencijų prognozavimą ✅

Kai žmonės klausia, kaip dirbtinis intelektas prognozuoja tendencijas, jie dažniausiai turi omenyje: kaip jis prognozuoja kažką neapibrėžto, bet pasikartojančio. Geras tendencijų prognozavimas turi keletą nuobodžių, bet gražių ingredientų:

• Duomenys su signalu – iš akmens neišspausi apelsinų sulčių. Reikia praeities vertybių ir konteksto.

• Realybę atspindinčios savybės – sezoniškumas, šventės, akcijos, makro kontekstas, net orai. Ne visos, tik tos, kurios jus domina.

• Modeliai, atitinkantys laiką – tai laiko atžvilgiu taikomi metodai, kurie atsižvelgia į tvarką, spragas ir poslinkį.

• Įvertinimas, kuris atspindi diegimą – atgaliniai testai, imituojantys, kaip iš tikrųjų prognozuosite. Jokių peržiūrų [2].

• Pokyčių stebėjimas – pasaulis keičiasi; jūsų modelis taip pat turėtų keistis [5].

Tai yra skeletas. Visa kita – raumenys, sausgyslės ir šiek tiek kofeino.

Pagrindinis procesas: kaip dirbtinis intelektas prognozuoja tendencijas iš neapdorotų duomenų į prognozę 🧪

1. Surinkite ir suderinkite duomenis.
   Sujunkite tikslines duomenų serijas ir išorinius signalus. Tipiniai šaltiniai: produktų katalogai, reklamos išlaidos, kainos, makroindeksai ir įvykiai. Suderinkite laiko žymas, tvarkykite trūkstamas vertes, standartizuokite vienetus. Tai negražu, bet labai svarbu.

2. Inžinerinės funkcijos
   Sukurkite vėlavimus, slenkančius vidurkius, slenkančius kvantilius, savaitės dienos žymas ir konkrečioms sritims būdingus rodiklius. Sezoniniam koregavimui daugelis specialistų prieš modeliavimą suskaido eilutę į tendencijos, sezoninius ir likučio komponentus; JAV surašymo biuro X-13 programa yra kanoninis šaltinis, paaiškinantis, kaip ir kodėl tai veikia [1].

3. Pasirinkite modelinę šeimą.
   Turite tris didelius segmentus:

• Klasikinė statistika : ARIMA, ETS, būsenos erdvė/Kalmanas. Interpretuojama ir greita.

• Mašininis mokymasis : gradiento stiprinimas, atsitiktiniai miškai su laiko atžvilgiu funkcijomis. Lankstus daugelyje serijų.

• Gilusis mokymasis : LSTM, laikini CNN, transformatoriai. Naudinga, kai turite daug duomenų ir sudėtingą struktūrą.

4. Teisingas praeities duomenų patikrinimas.
   Laiko eilučių kryžminis patikrinimas naudoja slenkantį kilmės tašką, todėl testuojant praeitį niekada nereikia mokytis iš ateities duomenų. Tai skirtumas tarp sąžiningo tikslumo ir tikėjimo svajonėmis [2].

5. Prognozuokite, kiekybiškai įvertinkite neapibrėžtumą ir pateikite
   grąžos prognozes su intervalais, stebėkite klaidas ir perkvalifikuokite jas keičiantis pasauliui. Valdomos paslaugos dažnai iš karto pateikia tikslumo metrikas (pvz., MAPE, WAPE, MASE) ir atgalinio testavimo langus, o tai palengvina valdymą ir ataskaitų suvestines [3].

Trumpa karo istorija: vieno paleidimo metu skyrėme papildomą dieną kalendoriaus funkcijoms (regioninės šventės + reklaminės vėliavėlės) ir pastebimai labiau sumažinome ankstyvųjų klaidų skaičių nei kaitaliodami modelius. Funkcijų kokybė pranoko modelio naujumą – tema, kurią dar pamatysite.

Palyginimo lentelė: įrankiai, kurie padeda dirbtiniam intelektui numatyti tendencijas 🧰

Netobulas tyčia – tikras stalas su keliomis žmogiškomis ypatybėmis.

Taip, formuluotė netolygi. Toks yra tikras gyvenimas.

Funkcijų inžinerija, kuri iš tikrųjų pajudina adatą 🧩

Paprasčiausias naudingas atsakymas į klausimą, kaip dirbtinis intelektas prognozuoja tendencijas, yra toks: mes paverčiame seriją prižiūrimo mokymosi lentele, kuri prisimena laiką. Keletas praktinių žingsnių:

• Vėlavimai ir langai : apima y[t-1], y[t-7], y[t-28], plius riedėjimo vidurkius ir standartinį nuokrypį. Tai fiksuoja impulsą ir inerciją.

• Sezoniškumo signalai : mėnuo, savaitė, savaitės diena, paros valanda. Furjė terminai suteikia tolygias sezonines kreives.

• Kalendorius ir įvykiai : šventės, produktų pristatymai, kainų pokyčiai, akcijos. Pranašo stiliaus šventiniai efektai yra tik funkcijos su ankstesniais pakeitimais.

• Skaidymas : atimkite sezoninį komponentą ir modeliuokite likusią dalį, kai modeliai yra stiprūs; X-13 yra gerai patikrintas šio metodo pradinis lygis [1].

• Išoriniai regresoriai : orai, makroindeksai, puslapių peržiūros, paieškos susidomėjimas.

• Sąveikos patarimai : paprasti kryželiai, pvz., promo_flag × day_of_week. Tai atrodo šiurkščiai, bet dažnai veikia.

Jei turite kelias susijusias serijas, tarkime, tūkstančius SKU, galite kaupti informaciją apie jas naudodami hierarchinius arba globalius modelius. Praktiškai globalus gradientu paremtas modelis su laiko ypatybėmis dažnai pranoksta savo svorį.

Modelinių šeimų pasirinkimas: draugiškos muštynės 🤼♀️

• ARIMA/ETS
  privalumai: lengvai interpretuojamos, greitos, patikimos bazinės linijos. Trūkumai: derinimas pagal serijas gali būti sudėtingas dideliu mastu. Dalinė autokoreliacija gali padėti atskleisti eiles, bet stebuklų nesitikėkite.

• Gradiento stiprinimas.
  Privalumai: tvarko lentelinius elementus, atsparus mišriems signalams, puikiai tinka daugeliui susijusių serijų. Trūkumai: reikia gerai suprojektuoti laiko elementus ir atsižvelgti į priežastingumą.

• Gilusis mokymasis.
  Privalumai: fiksuoja netiesiškumą ir skirtingų serijų modelius. Trūkumai: reikalauja daug duomenų, sudėtingiau derinti. Kai turite turtingą kontekstą arba ilgą istoriją, jis gali sužibėti; kitu atveju tai – sportinis automobilis piko valandos eisme.

• Hibridiniai ir ansambliai.
  Būkime atviri, sezoninio bazinio sluoksnio sujungimas su gradiento stiprikliu ir jo derinimas su lengvu LSTM yra gana malonus užsiėmimas. Esu daugiau kartų nukrypusi nuo „vieno modelio grynumo“ principo, nei pripažįstu.

Priežastingumas ir koreliacija: elkitės atsargiai 🧭

Vien dėl to, kad dvi linijos juda kartu, dar nereiškia, kad viena lemia kitą. Grangerio priežastingumas tikrina, ar pridėjus potencialų veiksnį pagerėja prognozavimas dėl tikslinio rodiklio, atsižvelgiant į jo paties istoriją. Kalbama apie prognozavimo naudingumą esant tiesinėms autoregresinėms prielaidoms, o ne apie filosofinį priežastingumą – subtilų, bet svarbų skirtumą [4].

Gamybos procese vis dar tikrinate logiką, remdamiesi srities žiniomis. Pavyzdys: darbo dienos poveikis yra svarbus mažmeninei prekybai, tačiau praėjusios savaitės skelbimų paspaudimų pridėjimas gali būti nereikalingas, jei išlaidos jau yra modelyje.

Testavimas atgal ir metrika: kur slepiasi dauguma klaidų 🔍

Norėdami įvertinti, kaip dirbtinis intelektas realistiškai prognozuoja tendencijas, imituokite savo prognozes realiomis sąlygomis:

• Riedančios kilmės kryžminis patvirtinimas : pakartotinai apmokymas naudojant ankstesnius duomenis ir kito fragmento prognozavimas. Tai atsižvelgia į laiko tvarką ir apsaugo nuo būsimo nutekėjimo [2].

• Paklaidų metrikos : pasirinkite tai, kas atitinka jūsų sprendimus. Procentinės metrikos, tokios kaip MAPE, yra populiarios, tačiau svertinės metrikos (WAPE) arba mastelio nepriklausomos metrikos (MASE) dažnai geriau veikia portfelius ir agregatus [3].

• Prognozavimo intervalai : neduokite tiesiog taško. Išreikškite neapibrėžtumą. Vadovai retai mėgsta intervalus, bet jie mėgsta ir mažiau staigmenų.

Mažas keblumas: kai elementai gali būti lygūs nuliui, procentiniai rodikliai tampa keisti. Pirmenybę teikite absoliučioms arba mastelio keitimo paklaidoms arba pridėkite nedidelį poslinkį – tiesiog būkite nuoseklūs.

Pokyčių aptikimas ir prisitaikymas prie jų – pokytis

Keičiasi rinkos, kinta pageidavimai, sensta jutikliai. Koncepcijos poslinkis yra bendras apibūdinimas, kai keičiasi ryšys tarp įvesties duomenų ir tikslinio rodiklio. Poslinkį galite stebėti naudodami statistinius testus, slenkančio lango klaidas arba duomenų pasiskirstymo patikrinimus. Tada pasirinkite strategiją: trumpesnius mokymo langus, periodinį perkvalifikavimą arba adaptyvius modelius, kurie atnaujinami internetu. Šioje srityje atlikti tyrimai rodo įvairius poslinkio tipus ir adaptacijos strategijas; nėra vienos strategijos, tinkančios visiems [5].

Praktinis vadovas: nustatyti įspėjimo slenksčius dėl tiesioginės prognozės klaidos, perkvalifikuoti pagal tvarkaraštį ir parengti atsarginį bazinį planą. Ne itin žavinga, bet labai efektyvu.

Paaiškinimas: juodosios dėžės atidarymas jos nesudaužant 🔦

Suinteresuotosios šalys klausia, kodėl prognozė padidėjo. Pagrįsta. Modelio nepriklausomi įrankiai, tokie kaip SHAP, teoriškai pagrįstu būdu priskiria prognozę funkcijoms, padėdami pamatyti, ar sezoniškumas, kaina ar reklamos būsena padidino skaičių. Tai neįrodys priežastingumo, bet pagerins pasitikėjimą ir derinimo galimybes.

Mano paties atliktuose bandymuose trumpalaikėse mažmeninės prekybos prognozėse dažniausiai dominuoja savaitės sezoniškumas ir akcijų žymės, o ilgalaikėse prognozėse – makroekonominiai rodikliai. Jūsų rezultatai maloniai skirsis.

Debesijos ir MLOps: siuntimo prognozės be lipnios juostos 🚚

Jei pageidaujate valdomų platformų:

• „Google Vertex AI Forecast“ teikia valdomą darbo eigą laiko eilučių įvedimui, „AutoML“ prognozių vykdymui, atgaliniam testavimui ir galinių taškų diegimui. Ji taip pat puikiai dera su moderniu duomenų rinkiniu.

• „Amazon Forecast“ daugiausia dėmesio skiria didelio masto diegimui, naudodama standartizuotus atgalinius testus ir tikslumo rodiklius, kuriuos galima išgauti per API, o tai padeda valdymui ir ataskaitų suvestinėms [3].

Abu variantai sumažina standartinius sprendimus. Tiesiog stebėkite vieną akies kraštą – išlaidas, o kitą – duomenų perdavimo liniją. Dvi akys – sudėtinga, bet įmanoma.

Trumpas atvejo aprašymas: nuo neapdorotų paspaudimų iki tendencijos signalo 🧭✨

Įsivaizduokime, kad prognozuojate dienos registracijų skaičių nemokamajai programėlei:

1. Duomenys : kasdienių registracijų, reklamos išlaidų pagal kanalą, svetainės veikimo sutrikimų ir paprasto reklaminių akcijų kalendoriaus duomenys.

2. Savybės : 1, 7, 14 vėlavimai; 7 dienų slenkamasis vidurkis; savaitės dienos žymės; dvejetainė reklaminė žymė; Furjė sezoninis terminas; ir išskaidyta sezoninė liekana, todėl modelis orientuotas į nepasikartojančią dalį. Sezoninė dekompozicija yra klasikinis žingsnis oficialioje statistikoje – nuobodus pavadinimas, didelis atlygis [1].

3. Modelis : pradėkite nuo gradientu sustiprinto regresoriaus kaip pasaulinio modelio visose geografinėse vietovėse.

4. Atgalinis testas : slenkantis pradinis rodiklis su savaitiniais pelno kritimais. Optimizuokite WAPE savo pagrindiniame verslo segmente. Laiko atžvilgiu praeities testai yra nekeičiami siekiant patikimų rezultatų [2].

5. Paaiškinkite : kas savaitę tikrinkite funkcijų priskyrimus, kad pamatytumėte, ar reklaminė vėliavėlė iš tikrųjų atlieka kokią nors funkciją, be to, kad atrodo šauniai skaidrėse.

6. Stebėjimas : jei reklamos poveikis išnyksta arba pasikeičia darbo dienų modeliai po produkto pakeitimo, inicijuokite pakartotinį mokymą. Nuokrypis nėra klaida – dabar trečiadienis [5].

Rezultatas: patikima prognozė su pasitikėjimo intervalais ir ataskaitų suvestinė, rodanti, kas pajudino adatą. Mažiau diskusijų, daugiau veiksmų.

Spąstai ir mitai, kurių reikia tyliai apeiti 🚧

• Mitas: daugiau funkcijų visada geriau. Ne. Per daug nesvarbių funkcijų skatina pernelyg didelį pritaikymą. Palikite tai, kas padeda praeities testavimui ir atitinka srities prasmę.

• Mitas: gilieji tinklai pranoksta viską. Kartais taip, dažnai ne. Jei duomenų trūksta arba jie triukšmingi, klasikiniai metodai laimi dėl stabilumo ir skaidrumo.

• Spąstas: informacijos nutekėjimas. Atsitiktinis rytojaus informacijos įtraukimas į šiandienos mokymus pažemins jūsų rodiklius ir nubaus jūsų produktyvumą [2].

• Spąstas: vaikytis paskutinio skaičiaus po kablelio. Jei jūsų tiekimo grandinė yra netolygi, ginčytis tarp 7,3 ir 7,4 procento paklaidos yra teatras. Sutelkite dėmesį į sprendimų priėmimo slenksčius.

• Mitas: priežastingumas iš koreliacijos. Grangerio testai tikrina prognozavimo naudingumą, o ne filosofinę tiesą – naudokite juos kaip apsauginius turėklus, o ne kaip evangeliją [4].

Įdiegimo kontrolinis sąrašas, kurį galite nukopijuoti ir įklijuoti 📋

• Apibrėžkite horizontus, agregavimo lygius ir sprendimą, kurį priimsite.

• Sukurkite švarų laiko indeksą, užpildykite arba pažymėkite spragas ir suderinkite išorinius duomenis.

• Amatų atsilikimai, besisukanti statistika, sezoninės vėliavos ir kelios domeno funkcijos, kuriomis pasitikite.

• Pradėkite nuo tvirto bazinio lygio, tada, jei reikia, pereikite prie sudėtingesnio modelio.

• Naudokite slenkančios kilmės atgalinius testus su metrika, atitinkančia jūsų verslą [2][3].

• Pridėti prognozavimo intervalus – nebūtina.

• Išsiųsti, stebėti dėl dreifo ir perkvalifikuoti pagal grafiką bei gavus įspėjimus [5].

Per ilga, neskaičiau – baigiamosios pastabos 💬

Paprasta tiesa apie tai, kaip dirbtinis intelektas prognozuoja tendencijas: tai mažiau susiję su magiškais algoritmais, o daugiau su drausmingu, laiko atžvilgiu orientuotu dizainu. Gaukite teisingus duomenis ir funkcijas, sąžiningai įvertinkite, paprastai paaiškinkite ir prisitaikykite prie besikeičiančios realybės. Tai tarsi radijo derinimas su šiek tiek riebaluotais rankenėlėmis – šiek tiek sudėtinga, kartais statiška, bet kai stotis įsijungia, ji stebėtinai aiški.

Jei atimsite vieną dalyką: gerbkite laiką, vertinkite kaip skeptikas ir nuolat stebėkite. Visa kita tėra įrankiai ir skonis.

Nuorodos

1. JAV gyventojų surašymo biuras – X-13ARIMA-SEATS sezoninio koregavimo programa . Nuoroda

2. Hyndman ir Athanasopoulos - Prognozavimas: principai ir praktika (FPP3), §5.10 Laiko eilučių kryžminis patvirtinimas . Nuoroda

3. „Amazon Web Services“ – prognozavimo tikslumo vertinimas („Amazon Forecast“) . Nuoroda.

4. Hiustono universitetas – Grangerio priežastingumas (paskaitų užrašai) . Nuoroda

5. Gama ir kt. - Apklausa apie koncepcijos poslinkio adaptaciją (atvira versija). Nuoroda

Raskite naujausią dirbtinį intelektą oficialioje dirbtinio intelekto asistentų parduotuvėje

Apie mus