Algoritem, svoboda in pravo – fotografija danes

pogovor

Algoritem, svoboda in pravo – fotografija danes

pogovor

Pogovor je nastal na dogodku Fotografija na kavču 2016 maja 2016 v organizaciji zavoda Membrana, ki se je posvečal sodobnim pomenom fotografije in vprašanjem kamufliranja pred in za fotografijo v luči sodobnih nadzornih in kontrolnih državnih ter koorporativnih sistemov. Fotografija je danes več kot zgolj slikovna ploskev – je zbir elektronskih podatkov, vektorskih, bio-metričnih, binarnih … skratka digitalnih. Dileme skrivanja, razkrivanja in zmožnosti prikazovanja (reprezentacije) v povezavi s fotografijo tako danes zahtevajo nov pristop, novo misel in nove strategije. Strategije razmisleka kakor tudi strategije odpora – obrambe zasebnosti, svobode in nenazadnje ohranjanje družbene emancipatorne moči fotografske podobe. Kriminolog in pravnik Aleš Završnik in raziskovalec strojnega vida Peter Keše se lotevata tem moči algoritmov in strojnega vida, vseprisotnosti nadzora in vprašanj kaj ti sistemu nadzora in kontrole pomenijo za kriminologijo oz. za pravni in družbeni ustroj sodobnosti in prihodnosti.

AZ: Aleš Završnik
PK: Peter Keše
LK: Lenart J. Kučić, moderator

LK: Aleš Završnik je kriminolog, ki se ukvarja s pravno-kriminološkimi dilemami, kot so na primer: ali so računalniški sodniki že boljši od človeških, ali bomo imeli kmalu nad Ljubljano oko, ki nam bo pisalo prometne prekrške in bo poklicalo policijo, še preden bo vlomilec vlomil, in vsemi zadregami, ki so s tem povezane. Peter Keše se ukvarja s tem, kako elektronska očesa vidijo in kaj vidijo. Delovno je človek, ki programira elektronska očesa oziroma razume, kako te naprave razmišljajo. Dialoga med strokama ni veliko zato si zastavljamo vprašanje, kaj to pomeni za fotografijo, saj je danes vse več podob strojno zajetih. 

Začetno vprašanje za oba bi torej bilo, koliko se moramo bati scenarijev iz znanstvenofantastičnih filmov, glede na to, da v Ljubljani že obstajajo uspešni projekti tega, da dron iz zraka lahko prebere časopis, ki ga listamo? Da bomo kmalu imeli prediktivno policijo, ki bo na podlagi analize vseh zajetih podatkov ne samo videla, kaj nameravamo, temveč nas bo tudi diagnosticirala? Na lanski robotski konferenci v Sloveniji smo lahko videli, da že imajo robota z diagnostiko, kar pomeni, da zna z obraza razbrati veliko bolezni oziroma, če zelo dolgo analizira, lahko že skoraj razbere osebnostne motnje, ugotovi, ali obravnavani laže … Koliko je to še stvar filmov?

AZ: Eno so programi, ki že obstajajo, na primer pri dronih, ki se uporabljajo za vojaške namene. Pri njih umetna inteligenca prepoznava tarče. V okviru mednarodnega javnega prava obstajajo zanimiva pravila, kdaj lahko vojska uporabi orožje. To regulira mednarodno humanitarno pravo. Drug sklop prava, pravo v času vojne, pa regulira s pravili, ki veljajo, ko je vojna že dejansko stanje. Tipičen primer je Amerika (in druge države), ki uporablja umetno inteligenco za prepoznavanje svojih tarč. Tega prej nismo poznali. To pomeni, da obstajata dve kategoriji pravnih napadov. Ena so t.i. »signature strikes« – napadi na podlagi »podpisa« nekega osumljenca, ki ga algoritem spremlja in analizira vzorce njegovega gibanja, druženja ipd., in jih primerja s tistimi, ki naj bi jih imel terorist. Pravzaprav sploh ne vedo, kako je osebi ime, a ker zadosti nekim vnaprej določenim vzorcem gibanja, komuniciranja ipd., postane tarča napada. 

LK: Kaj se zgodi, če na primer pridem na podzemno železnico mogoče malo pretoplo oblečen, ko je poletje, imam en velik nahrbtnik, iz katerega gledajo žičke, ki so lahko slušalke, tisti algoritem pa me obkroži, v smislu – na tega je treba paziti?

AZ: Algoritmi, kolikor jih poznam jaz iz policijskega oziroma širše nadzornega represivnega aparata, kjer so uporabljeni (vojska, policija, obveščevalne službe), izračunajo verjetnost. Vprašanje, kako ukrepati na podlagi tako izračunane verjetnosti, pa je človeška odločitev. Dron prepozna neko gibanje kot gibanje potencialnega terorista, človek pa se odloči, kakšno težo bo dal temu. Dron lahko izračuna, da je na primer 81 % verjetnosti, da je to terorist. A kaj to pomeni? Da gremo v napad ali da ne gremo? Verjetnost nad 75 % je meja, ki zadostuje, da vojska nekoga ubije. Algoritmi pri policijskem ali vojaškem delu lahko dajo neko predikcijo nevarnosti, kar je trend nadzorovalnih praks in kar me zanima kot kriminologa. 

Fasciniran sem nad tem, kako je možno »kolonizirati« prihodnost. Da je možno ugotoviti, kaj se bo naredilo čez en korak. Film Minority Report je šolski primer tega, čeprav je star že četrt stoletja, saj je prepoznal trend preventivnega policijskega dela – ne policijske enote, temveč predpolicijske enote (»pre-crime police«), ki naj preprečijo zločin še preden se zgodi. Če se vrnemo nazaj, namen dronskega nadzorovanja je preprečiti zločin ali uloviti terorista, preden naredi ključno dejanje. Videti stvari še preden se zgodijo. In to je globalni premik v naravi policijskega dela. Če gremo v doktrino materialnega kazenskega prava, vidimo, da prihaja do inkriminacij ravnanj, ki so včasih veljala za nekazniva pripravljalna dejanja. V liberalni demokratični državi, naj bi bilo kaznivo le ravnanje (storitveno ali opustitveno), in ne tisto, kar mislimo. Kje naj torej kazenska represija poseže v izvedbo zločina: že v fazi miselnega načrta, v fazi pripravljalnih dejanj ali kasneje in kdaj kasneje? Vidimo, da se območje represije premika v vedno zgodnejše faze izvrševanja kaznivega dejanja. Zanimivo je torej predvidevanje, kaj se šele bo zgodilo in preprečitev nečesa, kar šele nastaja. Tukaj prihaja do anomalij oziroma posegov v človekove pravice, saj država z represijo poseže v posameznika, še preden je ta naredil škodo.

LK: Gospod Keše, ali bi vi zaupali tej presoji, glede na to, da veste, kako te nadzorne naprave razmišljajo?

PK: Če se navežem še na prvo vprašanje, kako se skriti pred dronom, bi rekel, da se je treba skriti v povprečnost. Vsi ti algoritmi si naredijo statistični model, kako je videti povprečen, neizstopajoč človek, in vsakogar označuje glede na odstopanje od povprečja. Ne nazadnje to počnemo tudi ljudje: ko vidimo nekoga, nam je na njem zanimivo tisto, kar odstopa od povprečja. Težava je v tem, da je v skupini povprečnih veliko ljudi, zato lahko veliko vemo o povprečnih. Tisti, ki izstopajo, pa so statistično manjši vzorec; na takih vzorcih pa se algoritem lahko kaj nauči tudi narobe. Tako da težko govorim o zaupanju algoritmu. Zaupal bi avtomobilu, ki pelje sam, da bo peljal bo varno kot bi jaz. Sem pa zadržan do tega, da bi to posplošili na področje kriminologije. 

LK: Kako gleda taka nadzorna kamera? Kaj se dogaja v ozadju, če me dron sam poišče kot glavni motiv? Kakšno je tehnično ozadje tega, kako delujejo elektronske oči?

PK: Glede na to, da sem fotograf, lahko govorim od faze pikslov naprej. Gre torej zato, kako priti od milijonov pikslov v vsakem okvirju do odločitev, kot so: približal bom, premaknil se bom malo levo … Dejstvo je, da ti »deep learning« algoritmi, ki so računalniške aproksimacije nevronskih mrež, le niso nevronske mreže, kot jih imamo v glavi. So drugačne, a vseeno funkcionirajo podobno. Razlika je v tem, da potrebujemo ogromne količine podatkov, da te algoritme učimo … Jaz se trenutno ukvarjam z obrazi. Vzorec 10.000 obrazov je absolutno premajhen, dovolj je šele milijon. 

Temu, kar počnem, je najbolj podobno učenje fotoaparatov, kako preprosto in hkrati zanesljivo postaviti zaslonko in osvetlitev. To delajo tako, da algoritmu »pokažejo« veliko fotografij in nakažejo, kaj je bila prava nastavitev. Zanimivo je na primer, da je algoritem sposoben napovedati dogodek. Pri analizi tekstov in jezika algoritmu poskusiš pokazati, kaj se je zgodilo do neke besede. Daš mu vso zgodovino, potem pa ga prosiš, da napove naslednjo besedo. Če je napovedal pravo besedo, ga nagradiš, če ne, ga malo kaznuješ. In količina prav napovedanih stvari (strokovno »perplexity«), pove, koliko je zmeden oziroma kako natančno lahko napove, kar od njega pričakuješ. Podobno stvar lahko narediš na vizualni ravni. Algoritmu lahko pokažeš videoposnetek in opazuješ, kaj bo naredil. Če mu pokažeš dovolj posnetkov, kadrov iz filmov in vneseš podatke, kako bi se ljudje odločali, ali pa vprašaš ljudi, kako bi naredili npr. svoj lasten izrez za avatarja na Facebooku, dobiš celotno sliko, kot programer pa se morda odločiš za malo manjši kader. To vse so stvari, iz katerih se da algoritem učiti. 

LK: Znan je zanimiv demo aplikacije za iPhone, ki uporabnika opozarja, če fotografira neoriginalno kompozicijo. Aplikacija črpa iz velike baze podatkov in pove na primer, da stojiš pred Eiffelovim stolpom, da je 13 milijonov ljudi že fotografiralo Eiffelov stolp v točno tej kompoziciji, in te spodbuja, da si bolj originalen. Na tem nivoju lahko torej danes algoritmu prepuščamo že estetske odločitve?

PK: Zanimivo je, da se je »deep learning« do leta 2009 dogajal predvsem v akademskih okoljih. Zdaj so ti akademiki zaposleni na Googlu, Yahooju, Baiduju, Microsoftu … predvsem zato, ker imajo tam možnost dostopa do setov podatkov oziroma zelo velikih računalniških mrež. Vsi zavidamo Facebooku, ker ima daleč največjo knjižnico, s pomočjo katere se da res vse učiti. Prednost je tudi to, da ljudje na teh mrežah že sami označujejo, kdo ali kaj je na sliki, dopišejo vrstico teksta. Zanimivo je, da danes lahko prosiš računalnik, naj napiše opis slike. Ti opisi so neverjetno blizu temu, kar bi napisal človek. Včasih celo vsebujejo besede, ki si jih sam ne bi izmislil.

LK: Aleš, kakšne pa so omejitve? Na področju kriminologije je vedno zanimivo to, da »operira« s prevladujočo znanostjo določenega obdobja. To ste tudi sami večkrat omenili v svojih predavanjih. Pred 200 leti so francoski kriminologi vse stavili na statistiko; potem so začeli meriti lobanje in obraze ter na podlagi tega ugotavljali, kateri je »kriminalni obraz«; potem je prišla psihiatrija, pa psihoanaliza, danes že gledamo v glavo, pa vendar je osnovna vera tega trenutka napovedovanje. Če vam kdo rekel, da ima algoritem, ki je sposoben s 95 % gotovostjo napovedati, kaj se bo zgodilo v prihodnosti, bi mu verjeli? – Je to realno? Kje so nevarnosti take obljube? Če spet skočimo na fotografijo in aplikacijo, ki pove, katera kompozicija je boljša, ki priporočila črpa iz že narejenega gradiva. Namreč, ali ni tako, da se bo v trenutku, ko bodo vsi začeli malo drugače fotografirati Eiffelov stolp, aplikacija sesula. Ena od stvari, na katero večkrat opozarjate, je, da so ljudje zelo dinamičen sistem, in ko enkrat ugotovijo, da se nekaj dogaja, se temu prilagodijo in sistem pade. Zato je problematično zaupati črnim škatlam. Koliko je zavesti, o tem kaj se dogaja v črnih škatlah?

AZ: To je bil lep opis zgodovine kriminologije – kako znanstveno odkriti in napovedati, kdo je ali bo postal kriminalec in kdo ne, ter tako preprečiti zločin. Kriminologija se je rodila kot dekla oblasti, je rekel Michel Foucault. Oblast je želela preprečiti kriminaliteto, saj je potrebovala delavce, ki bi delali. Rojstvo kriminologije zato sovpade z zgodnjim kapitalizmom. V 19. stoletju so se tega lotevali znanstveno tako, da so statistično izračunavali. Kriminologija je zanimiva, ker se vedno opre na znanosti, ki v nekem trenutku veljajo za zares znanstvene. Hitchcockov film Psiho je lep šolski primer tega. Na koncu slišimo stavek: »Psihoanalitika je treba vprašati, zakaj je on moril.« Mogoče se komu to zdi danes smešno, ampak takrat je imela psihoanaliza izredno velike družben ugled in kriminologi so se oprli nanjo, da bi odkrili kriminogene vzroke .

Ameriška kriminologija se danes loči od evropske, pri kateri so v ospredju še vedno vrednote. Njihova kriminologija je »dokazna« kriminologija (»evidence based criminology«). Oni izračunavajo kriminal na neki ulici, visoko tehnološko, statistično podprto. V njihovih člankih je toliko statistike, da je evropski kriminologi z doktoratom ne znajo več brati. Criminology, osrednja publikacija Ameriškega združenja za kriminologijo, samo še statistika. Ne želim reči, da je to samo dobra ali slaba kriminologija, želim reči samo, da je opustila naslonitev kriminologije na vrednote. Kaj neka družba pojmuje za zločin, pa je pravzaprav stvar vrednot. S tem, kakšen pomen pripisujemo videzu nekoga, se je včasih ukvarjala frenologija. Zločinskost je našla v tem, kakšen je bil kdo videti. Lombroso je meril lobanje. Neolombrosianizem, kakor mu jaz pravim, pa je to, kar lahko delajo računalniki, ko prebirajo obraze ali manjše enote – gene ali možgane. Pred 15, 20 leti so to počeli psihologi, ki so opravili sodniške tečaje in so poskušali razbrati iz pričanja priče, iz njene neverbalne komunikacije (ki predstavlja 90 % komunikacije, 10 % pa verbalna), kdaj laže. Urili so se v tem, da so znali prepoznavati 10, 15 znakov … Danes lahko računalnik zaznava in ugotovi, ali oseba bolj verjetno laže ali ne na podlagi mikro obraznih sprememb. To pa je pravno problematično, ker temeljno načelo v kazenskem pravu – to je načelo prepovedi samoobtožbe – pravi, da se nisi dolžen izpovedati zoper sebe in zoper svoje bližnje. Torej, da si kot osumljenec lahko tudi lažeš. A tukaj te izda lastno telo. To tudi pomeni, da ti policija lahko na silo vzame prstni odtis ali kri, ne sme pa te prisiliti v verbalno izpoved zoper sebe. A če telo govori samo zase, bi lahko policija na silo izvlekla takšen dokaz iz osumljenca, ne bi pri tem kršila načelo prepovedi samoobtožbe. Kar želim povedati je, da so verbalni dokazi varovani, neverbalni dokazi pa ne, in pri tehnologijah, ki posegajo tako daleč v telo, smo na meji. Kako to opredeliti? Če rečemo, da to ni verbalni dokaz, pomeni, da policija to lahko uporabi tudi proti naši volji. 

Kriminologija se je v zgodovini vedno naslanjala na znanost, ki je veljala za pravo znanost, in to bi bili danes nekateri algoritmi. Na Stanfordski univerzi so digitalizirali milijon dvesto tisoč primerov sodnih spisov odločanja o varščini. S polovico teh primerov so algoritem naučili prepoznavati ljudi, ki bodo pobegnili ali pa ponovno storili zločin, z drugo polovico pa so primerjali odločitve računalnika z obstoječimi odločitvami sodnika in v vseh primerih je bil računalnik boljši od sodnika. Torej tehnologijo, ki že obstaja, uporabljajo v neki drugi domeni. 

LK: Kaj je tukaj ključni problem? Če so računalniki toliko zanesljivejši, zakaj jim torej ne bi prepustili teh odločitev? Zakaj bi sploh še imeli fotografe, če bomo imeli napredno aplikacijo, ki bo naredila popolno fotografijo? Ali pa zakaj bi sploh še imeli sodnika in porotnika, če bo računalnik na podlagi tisoč vhodnih podatkov, demografskih, telesnih in drugih, veliko natančnejši kot vsak sodnik? Zakaj se tega preprosto ne prepusti stroju?

AZ: Algoritmi se lahko »zaciklajo« (verjetno bo kolega Keše to znal bolje razložit), ujamejo v začarani krog, ko se računalnik nauči presojati na podlagi polovice primerov, potem pa pripisuje vsem primerom enake lastnosti, se pravi se odloča na podlagi naučenega, in ne prepozna drugih parametrov primera, ki bi pa samo v tistem enem primeru, bili ključni za odločitev. Za osumljenca računalnik in sodnik presojata, da obstaja 90 odstotna verjetnost, da bo ponovil kaznivo dejanje – računalnik se zato odloči za pripor, sodnika pa ga izpusti, ker opazi, da ima doma otroke in lepo plačo in mu želi dati še eno priložnost, čeprav je prepričan, da obstaja le 10 odstotna verjetnost, da osumljeni ne bo ponovil kaznivega dejanja.

Vse velike odločitve v zgodovini kazenskega postopka so izstopale iz povprečja in bile »zunaj škatle«. Računalnik bi težko sprejel odločitev, ki bi izstopala iz povprečja in zato ne bi premaknil smeri razvoja celotne pravne doktrine. Tak primer je odločitev za pravice osumljenca v primeru Miranda proti Arizoni, ki jo je sprejelo Vrhovno sodišče ZDA, ki so prešle v evropske pravne rede (na primer pravica do zagovornika, pravica do molka …). Vse te velike odločitve Vrhovnega sodišča ZDA, ki so temeljito spremenile razvoj, ne bi bile možne, če bi odločitve prepustili algoritmu, ker bi algoritmično odločanje zašlo v začarani krog.

LK: Kje so ti začarani krogi danes? Živimo v času, ko se zdi, da so podatki res neomejeni; če delaš na Facebooku in se ukvarjaš z »deep learningom«, imaš občutek, da imaš 20 let ali več za raziskovanje in učenje, ker je danes tako ogromno podatkov, o čemer so pionirji umetne inteligence pred 20 leti lahko samo sanjali. Koliko ta dostopnost podatkov in ti veliki podatkovni seti res spremenijo način dela? 

PK: V splošnem so računalniki in algoritmi še vedno omejeni, saj vso raznolikost reducirajo na vzorce, ki se pojavljajo. Računalnik bi težko zgeneriral nekaj res novega. Računalniku lahko daš poslušati vse Beethovnove simfonije in bo generiral nekaj, kar je podobno Beethovnu, ne bo pa naredil Bacha. Zdi se mi, da je umetna inteligenca eden od velikih svetovnih projektov na svetu, primerljiv s tekmovanjem v 50. in 60. letih, kdo bo šel prej na Luno. 

LK: Kakšne so lastnosti prave umetne inteligence?

PK: Jaz bi rekel, da ravno to – kreativnost, generiranje. Gre za to, da ljudje običajno nekaj vidimo, si zgeneriramo model oziroma zgradimo neko hipotezo, potem jo pa potrdimo ali ovržemo. Ljudje smo dobri pri generiranju hipotez. Največja težava, ki jo imamo, je, da imamo težnjo po potrditvi (»confirmation bias«) in zgeneriramo napačno hipotezo in najdemo tisoč razlogov, zakaj tako velja. Hipoteze so nekaj, kar epistemološko živi v nekem simbolnem prostoru, iz A sledi B, to povemo z neko logiko. Ta verbalni element se lahko izoblikuje šele, ko imaš jezik. Prej si verjetno na nivoju živali. Tudi živali sanjajo, doživljajo, vendar pa pri vse tem niso pa tako specificirane, kot smo ljudje. Računalniki so v tem smislu bolj na ravni živali. Ne znajo generirati lastnih hipotez in jih potrjevati ali ovreči ter jih potem integrirati v svoj model sveta. Ta del umetni inteligenci manjka. Znamo pa delati modele sveta, ki so bolj numerični – torej če se navežemo na tiste številke: v 95 % je tako in ni tako, to znamo opisati s številkami, ne znamo pa tega diskreditirati.

LK: Se bo računalniška umetna inteligenca znala izogniti težnji po potrjevanju ali bo razvila svojo? Ali bo tudi računalnik začel iskati potrditve za nekaj, kar želi verjeti? Je to bolj človeška lastnost?

PK: Težnja po potrjevanju je precej človeška lastnost, nekaj, česar je človeški »wetware« deležen. Ego, status, razvrščanje, čustva, kemija. Zdi se, da računalniki še zelo dolgo časa ne bodo imeli tega »wetwara«, torej hormonov, ki bi se jim sprožili, kadar bi bilo fino ali slabo. Menim, da so bolj zaščiteni pred težnjo po potrjevanju, ki pride iz socialne plati, po drugi strani pa se že zdaj vidi, da se znajo kar konkretno zmotiti. O tem kroži zabavna anekdota (za katero se ne ve, ali je resnična, je pa čisto realna): Za Pentagon so delali računalniški algoritem, ki je prepoznal, ali se za drevesi skrivajo tanki ali ne. Naredili so tisoč slik dreves, za katerimi so bili tanki skriti, in še tisoč slik istih dreves, za katerimi ni bilo skritih tankov. Potem so vzeli 500 slik iz vsake skupine in naučili algoritem razlikovati med tistimi slikami, na katerih so tanki, in tistimi, na katerih jih ni. Preostalih 500, na katerih se niso učili, pa so uporabili za preverjanje. Izkazalo se je, da je bil algoritem učinkovit 100 %. A v praksi se je pokazalo, da je bil učinkovit 0 %, saj je našel tanke zgolj v 50 % primerov. Niso namreč upoštevali tega, da je bilo, ko so slikali s tanki, lepo vreme, ko so tanke odstranili, pa oblačno, in računalnik se je naučil super razlikovati sončne dneve od oblačnih. Zato so ljudje, ki se ukvarjajo s statističnimi podatki, zelo previdni, kakšne podatke dajejo notri in katerih ne. Zdi se mi, da bomo morali iti v tem razvoju naprej. 

LK: Vaš odgovor na moje vprašanje, kako se učinkovito skriti pod algoritmom za prepoznavanje obraza, je bil zelo preprost. Rekli ste, naj si narišem neko dodatno črno packo na obrazu, ker če računalnik zazna nekaj, kar nima samo dveh oči, nosu in ust, potem to že ni več obraz in ga ne vidi. Je to realno? Včasih se še vedno podcenjuje, da so ti algoritmi še vedno dosti nenatančni.

PK: Osnovna stvar so človeška čustva, obstajata pravi in nepravi nasmeh. Pri pravem nasmehu se naredijo gubice okoli oči, pri nepravem je pa tako kot pri stevardesah, nasmeh do ušes, okoli oči pa ni gubic. In ko učiš računalnik prepoznavati človeška čustva, vzameš stanja vseh teh šestih čustev, ki se jih oceni od 0 do 100 %, torej veselje, žalost, gnev itd. Poskušaš se jih naučiti. Nato pogledaš obraz in prekriješ oči ter se poskušaš isto stvar naučiti samo iz ust, ali pa prekriješ usta, da se poskušaš naučiti isto čustvo samo iz stanja oči. Naslednji korak bo video, iz katerega se boš lahko učil še mimiko, položaj telesa ipd. Isto stvar so naredili tudi pri prepoznavanju govora. Ločili so algoritme za računalniški vid in prepoznavanje govora ter zahtevali, da se računalniški vid iz mimike obraza in položaja ust nauči isto stvar kot algoritem za prepoznavanje govora, kar pomeni, da so se naučili brati iz ustnic. In zdaj, kot pravijo, znajo računalniki natančneje brati iz ustnic kot ljudje.

LK: Pred kamero se lahko zelo dobro skriješ, če uporabiš maskirne barve, če si maškara ali če je nenavadna svetloba. Vendar pozabljamo, da se podatki združujejo, kar omogoča zlorabe. Torej tudi če si zamaskiraš obraz in identitete ni mogoče prepoznati z njega, jo je mogoče prepoznati iz govora, podatkov mobilnega telefona, prstnih odtisov. Kako se skriti pred tem? Ali se je že treba in ali se bo sploh dalo skriti pred kombiniranimi algoritmi?

AZ: Menim, da zelo težko, in to je tudi ključni problem. Evropska splošna uredba o varstvu osebnih podatkov določa ravno to, da je potrebno soglašati z obdelavo osebnih podatkov, za legitimne, zakonite in v naprej določene namene. Ne pa zato, da se ti podatki prodajajo drugemu ponudniku, ki naredi fuzijo teh podatkov in ugotovi »meta« podatke o teh podatkih ter jih preproda. Tukaj res vidimo, da smo mi gorivo v podatkovni dobi. Pravo to skuša regulirati, kar mu uspeva zelo slabo, saj je nadzor in uveljavljanje teh pravic drago in dolgotrajno. Ti podatki potujejo naprej in ni nobenega informiranega soglasja, kako to poteka. Ko na aplikaciji za Ljubljanski potniški promet kliknemo, da se strinjamo, lahko ta zbira tudi podatke o naših fotografijah, o vseh naših klicih …., ponuja nam pa samo vpogled o prihodih avtobusov. In tukaj se mi zdi, da je prekoračena sorazmernost, ki je v pravu zelo pomembna, torej da bi se podatki zbirali sorazmerno glede na namen. Tukaj prihaja do kršitev celih pravnih načel prava varstva osebnih podatkov, pa se ne zgodi popolnoma nič. Pravo je tukaj zelo neadekvatno orodje. 

Če gremo še korak nazaj, zakaj se torej pri policiji ali pa kriminalistiki sploh ukvarjamo toliko s podatki. Zakaj fascinacija s podatki na primer ob migrantski krizi? Ne gre toliko za osredotočanje na stisko posameznika, temveč za to, koliko jih je. Štejemo jih. Torej naj politika, odločevalci ukrepajo glede na te podatke. Številke legitimirajo dejavnost – podatki, kvote. 

Podobno, sodnik je tisti, ki odloči, kdo bo šel v pripor, vendar te funkcije ni več. Včasih so bile odločitve dolge 20 strani, danes so dolge 300 strani, saj je treba razložiti vsako besedo. Bistvo sojenja je ravno v tem, da ima sodnik tezo in antitezo logičnega razmišljanja, da se je nekaj zgodilo oziroma da se ni. Sodnik je tam, da to preseka. Torej temu verjamem bolj, in pika. V ozadju pa je spet to, da je sodnik samo človek in da je treba danes njegovo odločanje podkrepiti in to ne več s psihoanalizo, temveč s »trdno« znanostjo. Torej algoritem je rekel, da če nekoga izpustim na prostost in mu dovolim varščino, bo ponovil kaznivo dejanje, zato se sklicujem na to avtoriteto algoritma. Torej naj bi bil sodnik bolj objektiven. 

Največja težava, ki jo imamo, je, da imamo težnjo po potrditvi (»confirmation bias«) in zgeneriramo napačno hipotezo in najdemo tisoč razlogov, zakaj tako velja.
Bralni čas: 17 min.

Sorodne objave

Za boljšo kvaliteto klikni na fotografijo.

prijavi se

prijavi se na novice in pozive za projekte in prispevke
novice

Koža, 19. januar – 1. marec 2022
Mednarodna fotografska razstava
Cankarjev dom, prvo preddverje

otvoritev: 19.1.2022 ob 19:00

avtorji: Goran Bertok, Ewa Doroszenko, Görkem Ergün, Karina-Sirkku Kurz, Anne Noble, Špela Šivic
zasnova razstave: zavod Membrana – Jan Babnik, Kristina Ferk in Nataša Ilec Kralj
kuratorstvo: Kristina Ferk in Nataša Ilec Kralj
produkcija: Cankarjev dom in zavod Membrana

Podaljšan rok za oddajo predlogov prispevkov (povzetki dolžine do 150 besed in/ali slikovno gradivo) je 30. avgust 2021. Podaljšan rok za oddajo celotnih prispevkov na podlagi izbranih predlogov je 4. oktober 2021. Predloge pošljite prek spletnega obrazca ali se obrnite na nas prek kontaktnega obrazca in/ali naslova editors(at)membrana.org.

Podaljšan rok za oddajo predlogov prispevkov (povzetki dolžine do 150 besed in/ali slikovno gradivo) je 11. junij 2021. Podaljšan rok za oddajo celotnih prispevkov na podlagi izbranih predlogov je 16. avgust 2021. Predloge pošljite prek spletnega obrazca ali se obrnite na nas prek kontaktnega obrazca in/ali naslova editors(at)membrana.org.

Prijave sprejemamo do vključno ponedeljka 26. 10. 2020 na:
elektronski naslov: info@membrana.org
in/ali
poštni naslov: Membrana, Maurerjeva 8, 1000 Ljubljana

Rok za oddajo osnutkov prispevkov (150 besed povzetka in/ali vizualije) je 27. julij 2020. Rok za oddajo dokončanih prispevkov sprejetih osnutkov je 21. september 2020. Osnutke pošljite preko spletnega obrazca na: https://www.membrana.si/proposal/ ali nas kontaktirajte neposredno na editors@membrana.org.

kje: Cankarjev dom, sejna soba M3/4
kdaj: 27. februar 2020, 0b 18. uri

kje: Galerija Jakopič, Ljubljana, v sklopu razstave Jaka Babnik: Pigmalion
kdaj: 5. december 2019
trajanje: 18.00 – 21.00
sodelujeta: dr. Victor Burgin, dr. Ilija T. Tomanić
moderator: dr. Jan Babnik

  • 18.00: Predavanje Victorja Burgina: Kaj je kamera? Kje je fotografija?
  • 19.00: Predstavitev nove številke revije Fotografije (Kamera in aparat: Izbrani spisi Victorja Burgina) v pogovoru z umetnikom in teoretikom Victorjem Burginom in Ilijo T. Tomanićem, piscem spremne besede k slovenskemu prevodu. Pogovor bo moderiral Jan Babnik, gl. in odgovorni urednik revije Fotografija
  • 20.30: razprodaja preteklih številk revije Fotografija

Rok za oddajo osnutkov prispevkov (150 besed povzetka in/ali vizualije) je 16. december 2019. Rok za oddajo dokončanih prispevkov sprejetih osnutkov je 16. marec 2020. Osnutke pošljite preko spletnega obrazca na: https://www.membrana.si/proposal/ ali nas kontaktirajte neposredno na editors@membrana.org.