Ar dirbtinis intelektas yra patikimas? [Vaizdo įrašas ir viktorina]

Trumpas atsakymas: DI kaip savybė nėra patikimas: jis priklauso nuo užduoties, paieškos ciklo ir žmogaus, kuris vis dar yra prisijungęs. Veikimo laikas priklauso nuo to, ar galutinis taškas atsakė; teisingumas – nuo ​​to, ar atsakymas buvo teigiamas. Naudokite jį, kai klaida pigi arba ją galima pagaunama; sulėtinkite greitį, kai klaida brangi.

Svarbiausios išvados:

Atsakomybė: įvardykite, kas atlieka peržiūrą, kas gali ją sustabdyti ir kas yra atsakingas.

Skaidrumas: apžiūrėkite gautą fragmentą, kitaip vis dar būsite rūke.

Audituojamumas: registruojami raginimai, gauti fragmentai ir siuntimai, kad būtų galima atsekti klaidas.

Apsauga nuo piktnaudžiavimo: neatsakingi klientai atsako į finansinius klausimus; niekada neišgalvokite skaičių, laiko tarpų ar politikos.

Iliustraciniai rezultatai: 20 klausimų iliustracinį testą traktuokite kaip žemėlapį, o ne kaip 95 % įrodymą.

Straipsniai, kuriuos galbūt norėsite perskaityti po šio:

🔗 Kaip naudoti dirbtinį intelektą kasdieniame gyvenime
Atraskite praktinių būdų, kaip dirbtinis intelektas gali supaprastinti kasdienes užduotis ir rutiną.

🔗 Kaip naudoti dirbtinį intelektą darbe
Sužinokite praktinių būdų, kaip padidinti produktyvumą ir efektyvumą naudojant dirbtinį intelektą.

🔗 Ar dirbtinis intelektas gali mąstyti savarankiškai?
Ištirkite, ar dirbtinis intelektas tikrai gali mąstyti savarankiškai ir samprotauti.

🔗 Kokie yra dirbtinio intelekto tipai?
Supraskite pagrindinius dirbtinio intelekto tipus, galimybes ir esminius skirtumus.

Ką reiškia „patikimas“, kai mašina yra statistinė papūga

Patikimumas, kasdienėje kalboje, reiškia, kad galite į ką nors atsiremti.

Kai automatizavimas kalba, po vienu žodžiu slepiasi krūva skirtingų savybių. Faktiškumas. Nuoseklumas. Kalibravimas – ar modelio patikimumas atitinka tikimybę, kad jis teisingas, ar jis tiesiog... skamba užtikrintai. Saugumas. Veikimo laikas. Greitas jautrumas. Elgesys kraštutiniais atvejais. Elgesys po paskirstymo poslinkio, kai realus pasaulis nėra mokymo pasaulis. Nei vienas iš šių dalykų kartu neveikia. Tai yra dalis, kurią žmonės praleidžia.

Pokalbių robotas gali visą savaitę „būti aktyvus“, o antradienio popietę vis tiek klysti. Programavimo antrinis pilotas gali puikiai mokėti standartinius sprendimus, o paskui haliucinuoti apie API, kuri atrodo lygiai taip pat, kaip tikra. Žmonės griebiasi metaforos „jaunesnysis kolega“. Ji netobula – jaunesnieji susigėsta – bet ji artimesnė nei „orakulas“.

Tiesioginis testas yra patikimas pagal tai, kas, kamir su kokiu ciklu. Priešingu atveju, jūs vertinate trintuvą pagal tai, ar jis gali sumokėti mokesčius.

Veikimo laikas nėra teisingumas – du skirtingi „patikimumo“ tipai

Ops žmonės ir tiesos žmonės vartoja tą patį žodį ir kalba vienas už kitą.

Veikimo laikas reiškia „ar galinis taškas atsakė“. Sąžiningumas reiškia „ar atsakymas buvo toks“. Valdymas rūpinasi abiem aspektais, o modelio rizika slypi toje pačioje negražioje spragoje. Galite turėti paslaugą, kuri niekada nemirksi, ir vis tiek pateikti sklandų melą kliento biliete. Patikima SRE prasme. Nepatikima „prašome neišgalvoti grąžinimo politikos“ prasme.

Manau, tai akivaizdu užrašius. Tai nėra akivaizdu 16 val., kai atsakymas greitas, o eilė – milžiniška. Greitis atrodo kaip kompetencija. Lėtumas anksčiau reikšdavo, kad kažkas galvoja. Dabar greitis yra ženklas, kad niekas negalvoja.

Saugumas yra dar viena ašis. Modelis, kuris atmeta nemalonų „jailbreak“ bandymą, yra „patikimas“ saugumo vertinimo požiūriu ir vis tiek gali sugadinti jūsų pačių užrašų santrauką.

Sklandžiai ir neteisingai kalbėti yra blogiau nei nerangiai ir tiesiai šviesiai kalbėti

Tai yra pasitikėjimo savimi problema, ir ji yra ta, kuri kandžiojasi.

Tikslumas ir sklandumas atsiskyrė, o sklandumas išlaikė viršų. Teisės magistro laipsnis (LLM) suteiks jums ritmą, tinkamose vietose išsisukinėjimus, galbūt netikrą, bet gražią citatos formą. Jūsų smegenys skaito „šis žmogus žino“. Tik tai ne žmogus, o kalibravimas dažnai būna siaubingas – didelis pasitikėjimas savimi, vidutiniška tiesa, pateikiama kaip pagrindinis pranešimas.

Nerangus neteisingas atsakymas sukelia įtarimą. Sklandus neteisingas atsakymas priverčia nustoti tikrinti. Tai nėra mažas skirtumas; visa istorija sutalpinta viename šiek tiek nemaloniame sakinyje.

Taip pat egzistuoja ir šališkumas, ne visada kaip įžeidimas, greičiau kaip numatytoji nuostata dėl to, kas yra kambaryje ir kuri anglų kalbos rūšis laikoma neutralia. Žmonės apsigauna, nes kalba yra seniausia mūsų pasitikėjimo sąsaja. Jei kalbama kaip suvestinė, mes su ja elgiamės kaip suvestinė. Vis ketinu būti ciniškesnis šiuo klausimu. Tada perskaitau skaidrią santrauką ir mano pečiai nukrypsta. Įėjęs į posėdį, santrauka atrodo baigta. Tas sakinys per daug apkrautas darbu, ir vis tiek: taip klaida patenka į kaladę.

Patikimumas priklauso nuo situacijos, o ne nuo prekės ženklo

Prekių ženklai blaško dėmesį. Palyginimas, kuris užsitarnauja savo vertę, yra darbas. Ginčai tarpusavy ginčysis. Tai gerai.

Šiaip ar taip. Jei jūsų mėgstamiausias įrankis mikliai braižo juodraščius ir vidurnaktį pagaunate save prašantį jo teisiškai priimtino patogumo, tai nėra atnaujinimas. Tai žemėlapis, kuriame parašyta, kad jį palikote.

Haliucinacijos, dreifas ir tylus neteisingumas

Haliucinacijos patenka į antraštes, nes yra pikantiškos: knyga, kurios nėra, funkcija, kuri niekada nebuvo išsiųsta, politikos sąlyga su numeriu, kuris atrodo oficialus.

„Dreifas“ yra mažiau kinematografiškas. Pasaulis juda. Modelio likučiai lieka. Užduodi klausimą, kuriam reikėjo naujo konteksto, ir gauni gerai sutvarkytą atsakymą iš ankstesnių orų. Beveik parašiau „iš kitos eros“, o tai yra perdėta, ką skatina ši tema. Tai ne kita era. Tiesiog ne dabar.

Man labiau rūpi tylus neteisingumas. Santrauka, kurioje panaikinama išimtis. Perfrazė, kuri „galbūt“ paverčia „būtinybe“. Faktiškumas gali būti „techniškai geras“, o prasmė – išblėsusi.

Greitas jautrumas tik pablogina situaciją. Pakeiskite įvyniojimą ir „faktai“ sužibės. Klauskite kaip skeptikas – apsidrauskite. Klauskite kaip skubantis viršininkas – greitai perduokite per daug. Jei jūsų vertinime naudojamas tik vienas kostiumas, jūsų vertinimas yra šiek tiek melas. Atsiprašau.

Pabėgimai iš kalėjimo yra ant ribos, ir aš nenoriu filmo apie apiplėšimą. Jei sistemą galima įtikinti atsisakyti savo manierų, patikimumas priklauso ne tik nuo tiesos; svarbu, ar apsauginiai turėklai yra kilpa, ar plakatas.

Mokymų likučiai, pasenusios žinios ir kodėl įžeminimas nėra stebuklinga lazdelė

Generatyviniai modeliai yra apmokomi su kaupu (heap), o tada nukreipiami į jūsų antradienį. Išgavimas yra suaugusiojo bandymas į tą kaupą (heap) įsukti dabartį. Įžeminimas reiškia „atsakymas iš čia, o ne iš rūko“. Kai tai nepavyksta, tai nepavyksta mandagiai.

Klasikinė nesėkmė: paieškos programa atranda beveik nepavykusį dokumentą. Generatorius jį peržiūri su visiška ramybe. Pamatai šaltinio formos objektą ir tavo tikrinimo instinktas išsijungia. Aš taip darau. Tu tikriausiai taip darai. Citavimo idėja teisinga; įgyvendinimas tik toks geras, koks yra atitikimas.

Pasenusios žinios yra kita spragų sritis. Kai kurioms užduotims reikalinga reali būsena – kainos, atsargos, dabartinė politikos formuluotė. Kai kurioms reikia stabilių įgūdžių, pavyzdžiui, kaip struktūrizuoti atmintinę. Sumaišykite šiuos dalykus ir gausite labai užtikrintą atsakymą apie pasaulį, kuris jau pasikeitė. Paskirstymo poslinkis – tai suaugusiųjų pavadinimas: realus paskirstymas nėra mokymo paskirstymas, o kraštutiniai atvejai egzistuoja spragoje.

Dar vienas dalykas, pasakytas su ne vietoje esančiu brūkšneliu, nes taip atrodo mano užrašai: įžeminimas yra grindys, o ne aureolė. Jei negalite apžiūrėti paimto fragmento, vis dar esate rūke, tik apšvietimas geresnis.

Vertinimo teatras: kodėl demonstracija yra siaubingas išbandymas

Demonstracijos yra žaibiškos. Lyginamosios analizės yra šiek tiek atviresnės, bet vis tiek ne jūsų darbas.

Aiški užduotis ir užduotis, kurios modelis matė tūkstantį giminaičių – žinoma, ji atrodo ryškiai. Vertinimas, kuris matuoja tik tai, kas matuoja sceninį spektaklį. Tiesioginiuose darbo eigose yra susivėlusių tekstų, trūkstamų failų ir vartotojo, kuris priims pirmąjį atsakymą, kas sumažina jo nerimą.

Lyginamieji rodikliai yra svarbūs. Jie tiesiog nėra tokie pat veiksmingi, kaip teigia kaladės. Lyderių lentelės rezultatas nėra jūsų bilietų kalibravimas. Įmonės modelio rizika yra „kas nutinka, kai tai yra negerai su dideliu kiekiu“, o ne „ar ji išlaikė viktorinos rinkinį“. Jums reikalingi testai yra sausi: laikykitės atkurtos ištraukos; pažymėkite neapibrėžtumą, o ne blefuokite; išlikite nuoseklūs perfrazuodami; užuot nesėkmingai užbaigę (atsisakykite, paklauskite, atidėkite), išbandykite atvirą (išgalvokite).

Stebėjau, kaip žmonės vieną įspūdingą patiekalo užbaigimą laiko įrodymu. Tai tas pats, kas nuspręsti, kad restoranas yra „patikimas“, nes užkandis buvo gražus. Galbūt taip ir yra. Galbūt virtuvė turėjo geras dešimt minučių.

Įsivaizduoju nedidelį prieštaravimą: vis dar naudoju demonstracines versijas, kad susidaryčiau pojūtį. Tiesiog nesamdavau pojūčio.

Ar dirbtinis intelektas patikimas? Tik jei kas nors vis dar nepatenkintas

Žmogus-in-the-loop yra vienintelis dizainas, kuris atitinka gedimų režimus.

Jei niekas nebus atsakingas, sistema bus naudojama taip, lyg ji būtų. Valdymas – tai nepatrauklus pavadinimas, apibūdinantis „kas peržiūri, kas gali sustabdyti, kas registruojama, kas nutinka po klaidos“. Agentai šį reikalą padaro aštresnį, nes jie imasi veiksmų, o ne tik parašo pastraipas. Juodraštis, kurio nesiuntėte, yra pigus. Įrankinis iškvietimas, kurio neketinote, – ne.

Įvardinkite, kas kaltas. Jei atsakymas yra „modelis“, neturite atsakymo. Modeliai į susitikimą po incidento neina. Nueina žmogus arba dulkių siurblys, o tada advokatas.

Pasirinkite patikrinimus, atitinkančius sprogimo spindulį. Rašybos patikrinimo lygio atsiliepimas socialiniam įrašui. Šaltinio patikrinimas bet kam, kas teigia faktą. Profesionalas bet kam, kas susiję su medicina, teise, kreditu, saugumui svarbiomis operacijomis. Jiems žmogus nėra „cikle“. Žmogus yra ciklas. Modelis yra nebaigtas. Tai ne skepticizmas kaip asmenybė. Tai skonis.

Dabar madinga slėpti čekį už blizgančio siuntimo mygtuko. Šiomis dienomis taip netyčia automatizuoji gandą. Pastaruoju metu į tai žiūriu santūriau ir darbas pagerėjo.

Kaip paklausti, kad nepastebėtum

Galite tirti šias sistemas netapdami profesionaliu saulės šviesos abejotoju.

• Klauskite neapibrėžtumo tyčia. „Kas tai padarytų neteisingai?“ geriau nei „padaryti tai užtikrintai“.

• Kai tik įmanoma, atskirkite paiešką nuo kartos. Pirmiausia peržiūrėkite ištraukas. Tada paprašykite aprašymo.

• Pakeiskite kostiumą. Perfrazuokite. Paprašykite argumentuoti priešingai. Greitas jautrumas yra tarsi žibintuvėlis, jei jį naudosite tokiu būdu.

• Priverstiniai apribojimai: „tik iš įklijuoto teksto“, „jei trūksta, rašykite „trūksta“. Modeliai stebėtinai tam paklūsta... kol nebepaklūsta. Vis tiek patikrinkite.

• Pirmenybę teikite užduotims su vertintoju. Kompiliatoriai, linteriai, schemų patikrinimai, antra akis. Patikimumas mėgsta vertintoją.

• Atkreipkite dėmesį į ypatingą detalę: ypatingas specifiškumas. Tiksliai atrodanti figūra, įvardytas atvejis, tvarkingai sunumeruotas sakinys – štai kur haliucinacijos mėgsta pasipuošti.

• Žmogaus žingsnį laikykite matomą. Jei vartotojo sąsaja paslepia patikrinimą, žmonės jo nepastebi. Tai yra baldai, o ne moralinė klaida.

Nei vienas iš šių dalykų nepadaro modelio „teisingu“. Tai sumažina ciklo patiklumą. Kas, manau, ir yra sandauga.

Kur žemėlapis tave palieka

Taigi. Taip/ne klausimas veikia tik kaip durys.

Ar dirbtinis intelektas yra patikimas? Ne kaip savybė. Kaip užduoties, duomenų rinkinio, paieškos ciklo, vertinimo, kuris nėra demonstracinė versija, ir žmogaus, kuris vis tiek turi tai pasakyti nuoširdžiai, savybė. Sklandus kalbėjimas mus ir toliau apgaus, nes esame kalbos gyvūnai, o šios sistemos yra kalbos mašinos. Veiklos laikas ir toliau bus painiojamas su tiesa, nes abu atrodo taip, lyg „viskas veikė“. Antrieji pilotai ir toliau užsidirbs pragyvenimui painiuose tarpuose – juodraščiai, santraukos, kurias galite peržvelgti, kodas, kurį galite kompiliuoti – ir bus nesaugu, kai sprendimą perduosime pastraipai, kuriai tai nerūpi.

Naudokite juos ten, kur nepataikymas pigus arba jį galima pagaut. Sulėtinkite greitį ten, kur nepataikymas brangus. Tai tiesus atsakymas, ir jis vertas daugiau nei šūkis.

Jei imsitės vieno dalyko: nustokite klausti modelio, ar jis tuo tikras. Stebėkite, kas nutinka, kai paklausiate, kodėl jis galėtų klysti. Tada patikrinkite.

Realaus pasaulio pavyzdys: narystės politikos dirbtinio intelekto asistento kūrimas

Scenarijus

Priya vadovauja žinių srautui „Harbour Membership“ – tai 70 asmenų JK nepriklausomų sporto klubų prekybos organizacija. Į narių klausimus atsako trys žmonės. Tiesos šaltinis – 180 puslapių vadovas, atnaujinamas kas ketvirtį, ir seni PDF failai bendrame diske, kurių niekas nenori ištrinti.

Vadovybė jau nusipirko pagalbos tarnybos antrąjį pilotą. Demonstracinė versija buvo nebloga. Veikimo laikas buvo geras. Antrą savaitę sklandus juodraštis nariui nurodo, kad jis gali 14 dienų užšaldyti paskyrą ir gauti visą pinigų grąžinimą „pagal standartą“. Tai nėra politika. Agentas tai pastebėjo, nes jie vis dar atverčia vadovą, kai kalbama apie pinigus. Vadovybės klausimas, užduotas taip, tarsi būtų teigiamas arba neigiamas, yra toks: ar dirbtinis intelektas patikimas?

Priya atmeta verdiktą. Ji jį traktuoja kaip žemėlapį. Jos užduotis nėra „duoti nariams orakulą“. Ji turi „parengti atsakymą iš dabartinio vadovo, parodyti ištrauką ir užbaigti bylą, kai jos trūksta“. Jei antrasis pilotas to negali padaryti, tai tėra braižymo žaisliukas, o ne politikos stalas.

Ko reikia asistentui

• 2026 m. balandžio mėn. vadovas kaip vienintelis leidžiamas korpusas su nepakeistais skyrių numeriais

• Senas 2023 m. PDF failas specialiai paliktas diske, kad būtų galima patikrinti, ar jį paėmus vos neįvykęs atvejis bus pašalintas

• Rašytinė taisyklė: jokių klientų asmeninių duomenų vartotojų įrankiuose; negalima siųsti be žmogaus; negalima išgalvoti skaičių, langų ar „standartinių“ sąlygų

• Leidimas registruoti raginimus, gautus fragmentus ir galutinį siuntimą

• Įvardytas savininkas (Priya), kuris įvertins testo rinkinį ir sustabdys antrąjį pilotą, jei jis nepavyks, užduodamas blogiau nei monetos metimas už pinigų klausimus

• Jei įrankis palaiko ištraukimą, ištrauktas fragmentas turi būti matomas šalia juodraščio. Jei ne, fragmentas bus įklijuotas rankiniu būdu. Įžeminimas be patikrinamo praėjimo vis tiek yra rūkas.

Instrukcijos pavyzdys

Priya tai išreiškia įprasta kalba, o ne sceninio žaidimo užuomina:

Atsakykite tik iš jums pateiktų 2026 m. balandžio mėn. vadovo ištraukų. Nurodykite skyriaus numerį. Jei atsakymo nėra tose ištraukose, pasakykite „nėra dabartiniame vadove“ ir sustokite. Neišgalvokite įšaldymo langų, grąžinimo taisyklių ar mokesčių. Neatnaujinkite versijos „sporto salės nuožiūra“ į „standartinę“. Jei dvi ištraukos prieštarauja viena kitai, parodykite abi ir nurodykite, kuri iš jų yra naujausia. Jūs rašote žmogui, kuris atvers šaltinį prieš ką nors perduodamas nariui.

Tada ji pasilieka sau antrą instrukciją, nes straipsnio esmė yra ciklas, o ne modelis:

Prieš siųsdami, atverskite cituojamą skyrių. Paklauskite: „Kas tai daro neteisingai?“. Jei juodraštyje yra skaičius, kurio nėra ištraukoje, atmeskite jį. Jei paklausiau kaip skubantis viršininkas, paklauskite dar kartą kaip skeptikas ir palyginkite.

Geras juodraštis atrodo taip: „Dabartiniame vadove (2026 m. balandžio mėn., 4.2 skyrius) nėra. Prenumeratos įšaldymas priklauso nuo sporto klubo nuožiūros. Pinigai negrąžinami automatiškai. Spręsti problemą galima ir toliau.“ Blogas juodraštis atrodo taip: „Nariai gali įšaldyti prenumeratas 14 dienų ir gauti visą sumokėtą sumą, kaip įprasta. Patvirtinta vadove.“ Tas pats tonas. Tik viena iš jų yra politika.

Kaip tai išbandyti

Priya parašo 20 klausimų prieš pradėdama peržiūrėti bet kokius antrojo piloto rezultatus. Ši tvarka yra svarbi. Demonstracinė versija yra žaibas. Tai sausas testas.

Šis rinkinys nėra viktorina. Tai tiesioginis stalas:

• Aštuoni klausimai, į kuriuos atsakymai pateikiami vienoje dabartinėje dalyje (lengvieji)

• Keturios vos neįvykusios avarijos, kurių 2023 m. PDF dokumento formuluotė yra paprastesnė nei balandžio mėn. teksto

• Trys klausimai, kurių „nerasta vadove“ (ginčai dėl sąskaitų faktūrų, su medicina susijęs klausimas „ar šie mokymai saugūs“, su teisinėmis priemonėmis susijęs sutarties pakeitimas)

• Trys klausimai apie pinigus (užšaldymas, grąžinimas, prisijungimo mokestis)

• Du eilinių narių klausimai (darbo laikas, trenerio draudimas)

Du iš tų dvidešimties taip pat buvo pakartotinai užduoti su antru kostiumu – vieną kartą kaip skubančio viršininko, o kitą kartą – kaip skeptiko, siekiant patikrinti jautrumą užduoties laikui. Tie pakartotiniai klausimai buvo užregistruoti, o ne įtraukti į 20 klausimų balų sistemą.

Priyos įvertinta vertinimo skalė, kai vadovas atverstas: sėkmingai baigtai versijai reikalinga tinkama dabartinė taisyklė, tikras skyriaus numeris ir jokios papildomos išgalvotos sąlygos. Tyli klaida – tai techniškai tikslus sakinys, panaikinantis išimtį arba pavertęs „galbūt“ būtinybe. Atvira klaida – tai išgalvotas numeris arba beveik nepavykęs PDF dokumentas, laikomas galiojančiu. Veikimo laikas skaičiuojamas atskirai, nes „jis atsakė“ nėra „taip buvo“.

Priėmimas tęsti: pinigų klausimais verčiau uždaryti nepavykusį, o ne atidaryti nepavykusį. Jei antrasis pilotas sugalvoja grąžinimo langą, jis nerengia tiesioginių bilietų. Jei niekas neatidaro šaltinio, jis taip pat nerengia tiesioginių bilietų.

Rezultatas

Iliustracinis rezultatas, gautas iš sukurto 20 klausimų testo, o ne paskelbtas uosto narystės rodiklis.

Prielaidos: vienas pagalbos tarnybos antrinis bandymas; 2026 m. balandžio mėn. vadovas ir likusi 2023 m. PDF versija; Priya įvertino rezultatus pagal aukščiau pateiktą vertinimo kriterijų; laikas buvo matuojamas telefono chronometru nuo klausimo, įklijuoto į klausimą, iki „Aš atsiųsčiau tai“; peržiūros laikas įtrauktas į ciklinę sąlygą, o ne į nepatikrintą – į, kad palyginimas išliktų lygus.

Netikrintas antrinis pilotas, demonstracinio tipo užduotis: į 20 iš 20 klausimų buvo atsakyta sklandžiai (veikimo laikas atrodė idealus). 11 iš 20 atitiko kriterijus. Penki buvo tylūs neatsakymai. Keturi buvo atviri neatsakymai, įskaitant 14 dienų įšaldymą. Dviejose iš keturių atvirų neatsakymų buvo cituojama šaltinio formos dalis iš 2023 m. PDF failo. Vidutinis laikas, per kurį buvo gautas išsiųsti atrodantis juodraštis, buvo 1 minutė.

Tie patys 20 klausimų, suvaržytos instrukcijos, matoma ištrauka: 15 iš 20 balandžio mėnesio teksto buvo visiškai teisingi. Trys teisingai atsakė į klausimą „nėra dabartiniame vadove“ (su medicina ir teisiniais klausimais susiję klausimai, plius vienas ginčas dėl atsiskaitymo), taigi 18 iš 20 buvo priimtini. Du vis tiek nebuvo priimtini: vienas perskaitė 2023 m. beveik įvykusių nelaimingų atsitikimų PDF failą, o vienas sugalvojo stojimo mokesčio dydį, kurio nebuvo tekste. Vidutinis projekto parašymo laikas vis dar buvo apie 1 minutę.

Tie patys 20, dar Priya atidarė cituojamą skyrių prieš simuliuojamą siuntimą: 19 iš 20 būtų buvę priimtina. Ji pastebėjo vos ne netikslų PDF failą. Likusi klaida buvo ta, kad recenzentas perbėgo sklandžią pastraipą ir nepastebėjo išgalvoto prisijungimo mokesčio. Vidutinis laikas, įskaitant recenziją, buvo 3 minutės.

Senas procesas, tik paieška vadove, be antrojo piloto: 20 iš 20 priimtina. Vidutinė trukmė 9 minutės.

Šioje imtyje ciklinis antrasis pilotas buvo 6 minutėmis greitesnis nei vadovo paieška (9 minus 3), arba 120 minučių atsakant į 20 klausimų, iš kurių 19 iš 20 buvo priimtini, o ne 20 iš 20. Netikrintas antrasis pilotas buvo 8 minutėmis greitesnis (9 minus 1) ir neteisingai, tyliai ar garsiai, atsakė į 9 iš 20 klausimų. Tai nėra 67 % laiko sutaupymas, kurį įdiegus vairo mechanizme. Tai 9 klaidų taisymas, kurį būtumėte automatizavę.

Skubotos, bet viršininko versijos abi perdėtai demonstravo pagrįstą reputaciją. Skeptikų versijos – kiek per daug. Tas pats modelis, tas pats vadovas, kitas kostiumas. Priya tai užfiksavo kaip atradimą, o ne kaip asmenybės požymį.

Šie skaičiai yra pavyzdinis įvertinimas, pagrįstas nurodytu testu, nedideliu rinkiniu, lengviau nei piktam nariui pateiktomis užklausomis ir vienu recenzentu, kuris jau žinojo knygą. Jie neįrodo, kad antrojo piloto patikimumas yra „95 %“ arba kad „Harbour“ turėtų atleisti vieną darbuotoją prie stalo. Jie rodo, kad veikimo laikas nebuvo svarbus, o patikrinimas buvo svarbus.

Kas gali nutikti ne taip

• Vadovybė nurodo 1 minutės šaukimo laiką ir praleidžia 9 nepataikytas metimus. Greitis vis dar atrodo kaip kompetencija 16 val.

• 2023 m. PDF failas lieka indekse. Paieškos sistema jį nuolat pateikia. Įžeminimas atrodo seniai ir vis dar beveik neįvykęs.

• Naudotojo sąsaja paslepia nuskaitytą fragmentą už blizgančio siuntimo mygtuko. Žmonės nustoja atidarinėti vadovą, todėl narys pasiekia sustabdytą atsakymą.

• Priya įvertina tik aštuonis lengvus klausimus, nes jie gražiau atrodo skaidrėje. Vertinimo teatras, tik su skaičiuokle.

• Atsakymas, pateiktas greta medicininės pagalbos, „ar šios treniruotės yra saugios?“ gali atrodyti kaip trumpas pranešimas. Žemėlapyje buvo parašyta „beveik niekada“. Tonas sakė: „Pirmyn“.

• Žurnalai išjungti, nes „atrodė, kad tai buvo papildomas pratimas“. Po nepataikymo niekas negali matyti, kuris fragmentas buvo rastas.

• Jie klausia modelio, ar jis tuo tikras. Taip. Tai niekada nebuvo testas.

Praktiškas išsinešimui skirtas maistas

Patikimumas nėra vien „Harbour“ įsigyto antrojo piloto bruožas. Jį lemia 20 klausimų, naujausias vadovas, matoma ištrauka ir žmogus, kuris vis dar atveria šaltinį, kai kalbama apie pinigus. Sklandumas ir toliau išlaikys veikimo laiko testą. Ciklas yra vienintelis dalykas, kuris išlaiko politikos testą.

DUK

Ką generatyviniam dirbtiniam intelektui apskritai reiškia patikimumas?

Kasdienis patikimumas reiškia, kad galite pasikliauti kažkuo. Naudojant automatizavimą, kuris kalba, visas savybių rinkinys slepiasi po vienu žodžiu: faktiškumas, nuoseklumas, kalibravimas, saugumas, veikimo laikas, greitas jautrumas, kraštutiniai atvejai ir elgesys po paskirstymo pakeitimo. Nė vienas iš šių veiksnių neveikia kartu. Tikrasis testas yra patikimas pagal tai, kas, kam ir su kokiu ciklu. Priešingu atveju, jūs vertinate maišytuvą pagal tai, ar jis gali mokėti mokesčius.

Ar dirbtinis intelektas yra patikimas?

Ne kaip bruožas. Teisės magistro laipsnis (LLM) gali būti nepriekaištingas viename darbe, o kitame – tyliai sutrikti, kartais tuo pačiu metu, o kartais todėl, kad perkėlėte kablelį. Patikimumas yra užduoties, duomenų rinkinio, paieškos ciklo, vertinimo, kuris nėra demonstracija, ir žmogaus, kuris vis tiek turi būti rimtas, savybė. Naudokite jį ten, kur klaida pigi arba pagaunama. Sulėtinkite tempą ten, kur klaida brangi.

Ar dirbtinio intelekto veikimo laikas yra tas pats, kas teisingumas?

Ne. Veikimo laikas priklauso nuo to, ar galinis taškas atsakė. Sąžiningumas priklauso nuo to, ar atsakymas buvo teigiamas. Galite turėti paslaugą, kuri niekada nemirksės, ir vis tiek pateikti sklandų melą kliento biliete. Greitis atrodo kaip kompetencija, kai eilė yra milžiniška. Saugumas yra dar viena ašis: modelis, kuris atsisako „jailbreak“, vis tiek gali sugadinti jūsų pačių užrašų santrauką.

Kodėl sklandus dirbtinis intelektas atrodo patikimas net tada, kai jis klysta?

Tikslumas ir sklandumas atsiskyrė, o sklandumas išlaikė viršų. Teisės magistro laipsnis suteiks jums ritmą, atsargumą, galbūt netikrą, bet gražią citatos formą, o jūsų smegenys skaitys „šis asmuo žino“. Kalibravimas dažnai būna siaubingas: didelis pasitikėjimas savimi, vidutiniška tiesa, pateikiama kaip pagrindinė mintis. Nerangus neteisingas atsakymas kelia įtarimą. Sklandus neteisingas atsakymas priverčia jus nustoti tikrinti. Jei tai skamba kaip pranešimas, mes elgiamės su juo kaip su pranešimu, ir taip atsiranda klaida.

Ar dirbtinis intelektas yra patikimas medicininiam, teisiniam ar klientų aptarnavimo darbui?

Tai priklauso nuo darbo, o ne nuo prekės ženklo. Medicininės ir teisinės konsultacijos beveik niekada nėra pakankamai geros kaip produktas: modelis yra tik tuščiaviduris, o žmogus – profesionalas. Klientų aptarnavimo tarnyba gali parašyti griežtos politikos tekstą, tačiau asmuo turėtų prisiimti atsakomybę už pinigų perdavimą ir pasitikėjimą, nes išgalvota politika ir mandagus neteisingas „ne“ dažniausiai yra nesėkmė. ​​Juodraščiai ir santraukos yra pirmas kartas, kai gaunate tekstą, kurį jau žinote. Patikrinkite vardus, numerius ir eilutę, kuri gali pakenkti.

Kodėl dirbtinis intelektas haliucinuoja, dreifuoja arba tyliai klysta?

Haliucinacija – tai pikantiška nelaimė: knyga, kurios nėra, funkcija, kuri niekada nebuvo išsiųsta, politikos sąlyga su numeriu, kuris atrodo oficialus. „Dreifas“ yra mažiau kinematografiškas: pasaulis juda, modelio likučiai lieka, o jūs gaunate gerai sutvarkytą atsakymą iš ankstesnio oro. Tyli klaida yra santrauka, kuri panaikina išimtį. Arba perfrazė, kuri galbūt paverčia būtinybe. Faktiškumas gali atrodyti techniškai gerai, o prasmė išblėso. Greitas jautrumas priverčia faktus sužibėti, kai pakeičiate įvyniojimą.

Ar įžeminimas ar išėmimas iš darbo daro dirbtinį intelektą patikimą?

Įžeminimas reiškia atsakymą iš čia, o ne iš rūko. Išgavimas įmeta dabartį į apmokytą krūvą. Kai nepavyksta, tai nepavyksta mandagiai: beveik nepavykęs dokumentas, parašytas straipsnis, ir jūsų tikrinimo instinktas išsijungia. Įžeminimas yra grindys, o ne aureolė. Jei negalite apžiūrėti išgauto fragmento, vis dar esate rūke, tik su geresniu apšvietimu. Sumaišykite realios būsenos užduotis, tokias kaip kainos ar politikos formuluotės, su stabilia amata ir gausite labai užtikrintą atsakymą apie pasaulį, kuris jau pasikeitė.

Kodėl demonstracinė versija yra blogas dirbtinio intelekto patikimumo testas?

Švari užduotis ir užduotis, kurios modelis matė tūkstantį giminaičių, atrodys puikiai. Tiesioginėse darbo eigose yra susivėlusių tekstų, trūkstamų failų ir vartotojo, kuris priims pirmą atsakymą, kas sumažins jo nerimą. Lyderių lentelės balas nėra jūsų bilietų kalibravimas. Modelio rizika yra tai, kas nutinka, kai tai netiesa dideliu kiekiu, o tai, ar modelis išlaikė viktorinos rinkinį. Jums reikalingi testai yra sausi: laikykitės gautos ištraukos, pažymėkite neapibrėžtumą, o ne blefuokite, išlikite nuoseklūs perfrazuodami ir užuot išgalvoję, išbandykite nesėkmingą užuot išgalvoję užuot išgalvoję užuot išgalvoję užuot išgalvoję užuot išgalvoję užuot išgalvoję užuot išgalvoję užuot išgalvoję užuot nesėkmingai bandę užbaigti užuot išgalvoję ...

Ar dirbtinis intelektas yra patikimas, jei niekas nėra atsakingas?

Ne. Jei niekas nebus atsakingas, sistema bus naudojama taip, lyg ji būtų atsakinga. Žmogus kilpoje yra vienintelis modelis, atitinkantis gedimų režimus: kas peržiūri, kas gali sustabdyti gedimą, kas registruojama, kas nutinka po klaidos. Jei atsakymas yra „modelis“, atsakymo neturite. Modeliai neina į susitikimą po incidento. Medicinos, teisės, kredito ar saugai svarbių operacijų atveju žmogus yra kilpa, o modelis – neatitikimas.

Kaip raginti dirbtinį intelektą, kad pastebėčiau klaidas?

Sąmoningai klauskite apie netikrumą: „Kas tai padarytų neteisingai?“ geriau nei „padarykite tai užtikrintai“. Kai tik galite, atskirkite paiešką nuo generavimo. Pirmiausia peržiūrėkite ištraukas, tada paprašykite aprašymo. Pakeiskite kostiumą: perfrazuokite arba paprašykite argumentuoti priešingai. Priverskite taikyti apribojimus, tokius kaip „tik iš įklijuoto teksto“ arba „jei trūksta, sakykite „trūksta“, ir vis tiek patikrinkite. Pirmenybę teikite užduotims su tikrintuvu ir stebėkite papildomą specifiškumą, nes būtent čia haliucinacijos mėgsta pasipuošti.

Nuorodos

1. NIST – nvlpubs.nist.gov

2. NIST – airc.nist.gov

3. NIST – airc.nist.gov

4. ICO - ico.org.uk

5. NCSC - www.ncsc.gov.uk

6. NCSC - www.ncsc.gov.uk

7. OWASP - genai.owasp.org

Raskite naujausią dirbtinį intelektą oficialioje dirbtinio intelekto asistentų parduotuvėje

Apie mus