Posljednjih godina čitam dosta tekstova u kojima se umjetna inteligencija predstavlja kao nekakav univerzalni spas za sve sisteme koji su se pokazali tromim, skupim ili korumpiranim. Pravosuđe je oduvijek bilo jedan od tih sistema. Sudovi su spori, presude su nepredvidive, advokati su skupi, a građani se često osjećaju kao da su zalutali u lavirint bez izlaza. Pa onda netko uzme mikrofon i kaže: “Imamo rješenje, algoritam.” I publika, iscrpljena čekanjem i frustrirana nejednakošću, kimne glavom.

Meni se, međutim, pri svakom takvom obećanju upali lampica. Ne zato što sam tehnološki konzervativan, niti zato što mislim da je AI beskoristan alat. Dapače, koristim ga svaki dan i znam koliko može pomoći u obradi podataka, prepoznavanju obrazaca i ubrzavanju dosadnih poslova. Ali kada čujem da algoritam treba da odlučuje o tome hoće li neko dobiti kaznu, koliku kaznu će dobiti, ili da li će mu biti odobren uslovni otpust, onda stajem i pitam se jesmo li zaista razmislili do kraja.

Članak koji sam pročitao bavi se upravo tom temom: sve prisutnijom upotrebom algoritama u sudnicama, od procjene rizika ponovnog počinjenja krivičnog djela do predviđanja ko je “vjerovatnije” počinio neko djelo. Autor teksta ne ulazi u tehnologiju kao takvu, nego se pita šta se dešava kada mašina preuzme ulogu koja je, htjeli to mi priznati ili ne, duboko ljudska.

Šta algoritam zapravo radi u sudnici

Većina sistema koji se danas koriste u pravosuđu, od COMPAS-a u Sjedinjenim Američkim Državama do sličnih alata u Evropi, funkcioniše na istom principu. Algoritam analizira podatke o osuđenom: prethodne presude, starost, ranije hapšenje, mjesto stanovanja, obrazovanje, zaposlenje, pa čak i podatke o porodici. Na osnovu toga izračunava “faktor rizika”. Sudije taj faktor koriste kao jedan od elemenata prilikom odlučivanja o kazni, uslovnom otpustu ili produženju pritvora.

Zvuci racionalno. Kada bih sada prvi put čuo za to, možda bih i pomislio da je to dobra ideja. Ljudi su pristrasni, kažu zagovornici. Umorni su, pod stresom su, imaju loš dan, imaju predrasude. Algoritam je, navodno, hladan, precizan i dosljedan. Problem je samo u tome što to jednostavno nije tačno.

Algoritam ne analizira podatke u vakuumu. On uči iz prošlih odluka ljudi, a te odluke su pune predrasuda. Ako su, recimo, u jednom sistemu crnci historijski dobijali duže kazne za ista djela, algoritam će to “naučiti” i reproducirati. Ne zato što je zlonamjeran, nego zato što je doslovno istreniran na takvim podacima. To nije objektivnost. To je automatizacija postojeće nepravde.

Pitanje koje se rijetko postavlja

Ono što mi najviše smeta u cijeloj ovoj priči jeste pitanje odgovornosti. Kada sudija donese lošu presudu, postoji sistem žalbe, postoji javna rasprava, postoji mogućnost da se utvrdi da je odluka bila pogrešna. Kada algoritam donese lošu procjenu, šta se dešava? Ko je odgovoran? Programer koji je napisao kod? Firma koja je proizvela softver? Sudija koja je slijedila preporuku? Institucija koja je softver uvela?

Ako neko dobije višu kaznu jer je algoritam procijenio da je “rizičniji”, a kasnije se ispostavi da je procjena bila pogrešna, ko to popravlja? Godine provedene u zatvoru su nepovratne. Čovjek ne može vratiti mjesece ili godine života. Možemo se izvinuti, možemo platiti odštetu, ali ništa od toga ne briše činjenicu da je jedan broj u softveru odlučio da neko treba da ostane iza rešetaka.

Ovdje se ne radi samo o tehnologiji. Radi se o tome kakvo društvo želimo biti. Želimo li sistem u kojem pojedinac može biti kažnjen na osnovu statističke korelacije? Jer algoritam, u suštini, ne kaže da je neko kriv. On kaže da ljudi sa sličnim profilom, u prošlosti, jesu bili krivi. To je potpuno drugačija stvar od dokazivanja krivice.

Mit o neutralnosti mašine

Jedna od najštetnijih ideja koja se nameće u javnim raspravama o AI-u jeste da su mašine “neutralne”. Kao da je neutralnost nešto što postoji izvan ljudskih odluka. Kao da je kod nekakav čist matematički prostor koji nema nikakve veze sa stvarnošću.

Svaki algoritam je nastao iz ljudskih izbora. Netko je odlučio koje varijable su važne. Netko je odlučio kako će se bodovati. Netko je odlučio šta će biti “visok rizik”, a šta “nizak rizik”. Sve te odluke su subjektivne, čak i kada su napravljene od strane inženjera koji misle da su potpuno objektivni. Uostalom, sama ideja da se nečije ponašanje u budućnosti može predvidjeti na osnovu nekoliko demografskih varijabli nije naučna činjenica. To je pretpostavka. Često korisna pretpostavka, ali svejedno pretpostavka.

Meni je posebno zanimljivo to što se ta pretpostavka predstavlja kao da je neupitna. Kao da je algoritam rekao nešto, pa je to automatski istina. A zapravo, algoritam je samo rekao ono što su mu ljudi omogućili da kaže. Ako su mu podaci pristrasni, i rezultat će biti pristrasan. Ako su podaci nepotpuni, i rezultat će biti nepotpun. Ako su podaci odraz društva koje sistematski kažnjava siromašne i manjine, onda će algoritam tačno to reproducirati, samo sa prividom naučne autoriteta.

Šta se gubi kada se ljudska prosudba zamijeni statistikom

Ovo je, mislim, ključno pitanje cijelog problema. Pravosuđe nije samo mašina za donošenje odluka. Ono je, ili bi barem trebalo biti, prostor u kojem se uzima u obzir kontekst. Sudija, kada donosi odluku, treba da sagleda ne samo statistički profil osobe, nego i njenu životnu priču, okolnosti djela, namjeru, kajanje, mogućnost rehabilitacije.

Algoritam to ne može. On ne poznaje nikoga. On poznaje brojke. A brojke, koliko god bile korisne, ne mogu zamijeniti ljudsko razumijevanje tuđe situacije. Kada kažem “razumijevanje”, ne mislim na sažaljenje ili sentimentalnost. Mislim na sposobnost da se prepozna da je svaki slučaj drugačiji, da iza svakog dosijea stoji osoba sa svojim razlozima, svojim strahovima, svojim mogućnostima.

Naravno, to ne znači da algoritam nema nikakvu ulogu. Može pomoći u identifikaciji obrazaca koji su ljudima teško uočljivi. Može ukazati na potencijalne rizike. Može ubrzati administrativne procese. Ali kada algoritam postane zamjena za ljudsku prosudbu, a ne njena dopuna, onda ulazimo u zonu u kojoj se odluke donose bez razumijevanja, bez milosrđa, bez mogućnosti da se uzmu u obzir izuzetne okolnosti koje statistika ne može obuhvatiti.

Strah koji je razuman

Kada govorim s ljudima o ovoj temi, često čujem dva ekstremna stava. Prvi je: “AI je budućnost, nemojte se opirati progresu.” Drugi je: “AI je opasan, treba ga potpuno zabraniti.” Oba su, po mom mišljenju, plitka.

Tehnologija nije ni dobra ni loša sama po sebi. Ona je ono što mi od nje napravimo. Isto kao što nož može biti alat kirurga ili oružje ubice, algoritam može biti koristan alat ili opasan mehanizam. Razlika nije u tehnologiji, nego u tome kako je koristimo, kako je kontrolišemo i kome dajemo moć da odlučuje.

U pravosuđu, ta moć je posebno osjetljiva. Jer se radi o ljudskim životima. O slobodi. O pravdi, ma kako god je definisali. I zato me ne čudi da postoji otpor prema algoritmima u sudnicama. Taj otpor nije iracionalan, nije tehnofobičan, nije zaostao. On je, naprotiv, duboko razuman.

Balkan u ovoj priči

Kada čitam o algoritmima u pravosuđu, obično su primjeri iz Amerike ili Evrope. Balkan se, kao i u mnogim drugim temama, javlja kasnije, sa zakašnjenjem. Ali to ne znači da nas tema ne tiče. Naprotiv.

U zemljama kao što su Bosna i Hercegovina, Srbija, Crna Gora, Hrvatska, pravosuđe je često sporo, politički pod uticajem i nedosljedno. U takvom okruženju, poziv na “tehnološka rješenja” zvuči posebno primamljivo. Pomisli, ako algoritam može smanjiti korupciju, ako može ubrzati procese, ako može pomoći u donošenju pravednijih odluka, zašto ga ne bismo koristili?

Ali Balkan ima svoje specifične probleme. Institucije su slabije, podaci su manje pouzdani, diskriminacija je često otvorenija i manje dokumentovana. Algoritam koji bi se implementirao u takvom sistemu ne bi neutralizirao te probleme. On bi ih, vrlo vjerovatno, učinio još gorim. Jer bi im dao privid naučne legitimacije.

Kada bi, recimo, algoritam u jednom bosanskohercegovačkom sudu analizirao podatke o presudama za Bošnjake, Srbe, Hrvate, Rome, da li bi bio “objektivan”? Ne, jer bi učio iz sistema koji je već bio pristrasan. I ta pristrasnost bi postala “naučna”. To je možda i najgora moguća varijanta.

Šta treba tražiti od tehnologije u pravosuđu

Ako bih morao sažeti svoj stav u nekoliko rečenica, rekao bih sljedeće. Algoritmi u pravosuđu mogu biti korisni samo ako ispunjavaju nekoliko uslova.

Prvo, moraju biti transparentni. Svako ko je pogođen odlukom mora moći znati kako je odluka donesena, koji su podaci korišteni i kako su bodovani.

Drugo, moraju biti provjerljivi. Nezavisni stručnjaci moraju imati mogućnost da testiraju algoritam, da analiziraju njegove greške i da javno objave rezultate.

Treće, moraju ostati samo pomoćni alat, a ne zamjena za ljudsku prosudbu. Nijedan sudija ne bi smio reći: “Pustio sam algoritam da odluči.” Svaka odluka mora ostati ljudska, sa svim svojim ograničenjima, ali i sa svojom odgovornošću.

Četvrto, mora postojati jasan sistem odgovornosti. Ako algoritam pogriješi, mora biti jasno ko snosi posljedice. Ako niko ne snosi posljedice, onda sistem nije fer.

Peto, mora se preispitati da li algoritam uopšte donosi bolje odluke od ljudi. Ne na osnovu marketinških tvrdnji proizvođača softvera, nego na osnovu stvarnih, nezavisnih istraživanja.

Pitanja koja ostaju otvorena

Nakon čitanja ovog članka i razmišljanja o svemu što sam napisao, ostaje mi nekoliko pitanja na koja nemam jasan odgovor, ali mislim da ih je važno postaviti.

Ako algoritam donosi odluke na osnovu prošlih podataka, a prošli podaci odražavaju društvenu nepravdu, kako uopšte možemo govoriti o pravednijoj budućnosti koju donosi AI? Ne zatvaramo li time krug nepravde samo uz dodatni sloj tehnološkog autoriteta?

Tko bi, u bosanskohercegovačkom kontekstu, uopšte kontrolisao te algoritme? Koje institucije imaju dovoljno znanja, dovoljno nezavisnosti i dovoljno resursa da provjere da li softver zaista radi ono što tvrdi da radi?

I na kraju, najteže pitanje: jesmo li spremni prihvatiti odluke koje ne razumijemo? Jer algoritam je, po definiciji, složen. Čak i programeri koji su ga napisali ne mogu uvijek objasniti zašto je dao baš takvu preporuku. Ako prihvatimo takve odluke bez razumijevanja, polako ali sigurno predajemo dio naše ljudskosti mašinama.

Zašto me ovo brine

Ono što me u cijeloj ovoj priči najviše zabrinjava nije sama tehnologija. Tehnologija je samo alat. Zabrinjava me kultura u kojoj algoritam postaje autoritet. Kultura u kojoj se kaže: “Kompiuter je rekao tako.” Kao da je to dovoljan razlog.

Jer ako prihvatimo da algoritam može odlučivati o kazni, zašto ne bismo prihvatili da odlučuje o zapošljavanju, kreditima, zdravstvenom osiguranju, pa na kraju i o tome ko je “dovoljno dobar” da živi u određenom dijelu grada? Sve te primjene već postoje. Sve već imaju iste probleme.

Pravosuđe je možda najosjetljivije od svih tih područja, jer se u njemu radi o najgorem što država može učiniti pojedincu: oduzeti mu slobodu. I zato bi tu, ako igdje, trebalo biti najviše opreza, najviše provjere, najviše ljudske odgovornosti.

Završna misao

Ne znam kako će ova priča završiti. AI će sigurno postati sve prisutniji u sudnicama, kao i u drugim institucijama. Pitanje nije da li ćemo ga koristiti, nego kako. I tu leži moja nada.

Moja nada je da ćemo, prije nego što algoritam dobije mjesto u sudnici, imati dovoljno hrabrosti da kažemo: “Hajde da prvo vidimo šta zapravo radimo. Hajde da vidimo jesu li podaci koje koristimo fer. Hajde da vidimo razumijemo li dovoljno ono što softver radi. Hajde da vidimo tko preuzima odgovornost kada stvari krenu loše.”

Jer ako ne postavimo ta pitanja sada, postaćemo dio sistema koji odlučuje o ljudima na osnovu brojki koje niko ne razumije. A to nije budućnost koju želim ni za sebe, ni za društvo u kojem živim.

Tehnologija nas neće spasiti od nas samih. Ako želimo pravednije društvo, moramo ga izgraditi kao ljudi, sa svim svojim greškama, ali i sa svim svojim mogućnostima da učimo, da se ispravimo i da jedni drugima damo šansu. Algoritam to ne može umjesto nas.

IZVOR: WriteAs