"Screenshot of classic clip from 'Little Britain USA' featuring rude cranky nurse Carol Beer. In this clip she is her usual impatient self [...]"

Rejo Zenger

8 februari 2017 08:17
Door Rejo Zenger

Transparantie
Verkiezingen 2017

Zeg ‘nee’ tegen ‘computer says no’

Een ambtenaar mag nooit wegkomen met “computer says no”. De overheid moet altijd haar beslissingen kunnen uitleggen. En dat betekent ook een bovengrens aan de complexiteit van de daarbij gebruikte computersystemen.

Stel, je aanvraag voor huursubsidie wordt afgewezen. Of de aanvraag voor een vergunning voor een dakkapel op je huis. Dan wil je natuurlijk weten waarom de overheid in al haar wijsheid tot die beslissing is gekomen. En stel dat de ambtenaar dan van zijn scherm omhoog kijkt en tegen je zegt: sorry, maar dat is wat hier staat, de computer heeft dat bepaald. Onbevredigend hé?

Toch is dat een realiteit die er aan gaat komen als we niet goed oppassen. De algoritmen die nu al jaren door bedrijven in Silicon Valley en ver daarbuiten worden ingezet, vinden ook langzaam hun weg naar overheden. De vermeende efficiëntie van dat soort technologieën is voor de gemiddelde bestuurder iets om de vingers bij af te likken. De heilige graal voor fraudebestrijding, het voorspellen van criminaliteit en wat al niet meer. De belofte van innovatie, met minder meer doen en het geloof in de absolute objectiviteit van informatie, is een grote verleiding.

Het is belangrijk dat jij als burger kunt begrijpen waarom de overheid een bepaalde beslissing over je heeft genomen. Omdat je de beslissing anders niet kunt aanvechten, geldt nu al het uitgangspunt dat onze overheid haar beslissingen moet motiveren. Juristen hebben het dan altijd over “het aspect van de juiste vaststelling van de feiten” en “dat die vaststelling dient te leiden tot de genomen beslissing.” Je moet dus als burger weten welke feiten, omstandigheden en belangen de overheid bij de beslissing heeft betrokken en hoe ze die vervolgens heeft afgewogen.

Als het gaat over beslissingen die met computers genomen zijn, is dat niet anders. Daarom is er altijd wel iemand die roept dat transparantie belangrijk is: inzicht in de broninformatie en het gebruikte algoritme. Maar wat is transparantie nog waard als je eerst een expert moet worden om goed wijs te kunnen uit een complex computersystemen? En wat betekent transparantie als zelfs de makers van algoritmen soms ook niet meer begrijpen hoe hun zelflerende informatie­systemen zich hebben doorontwikkeld? Als computersystemen te complex om te bevatten worden, is transparantie niet de oplossing.

Bits of Freedom vindt dat onze overheid (en soms ook bedrijven) geen beslissingen mag nemen die ze niet ook helder kan uitleggen. Jij moet kunnen begrijpen welke informatie het uitgangspunt was, hoe die informatie en alle belangen is afgewogen en hoe dat dan leidde tot de beslissing. Het kabinet lijkt, in haar reactie op een onderzoek naar “big data in een vrije en veilige samenleving” dat standpunt te delen: “de juistheid van de analyse moet altijd in twijfel getrokken kunnen worden.” Dat geldt dus ook voor beslissingen die met een computersysteem zijn genomen. Is dat computersysteem te complex voor die uitleg, dan kan het niet zo zijn dat onze overheid dat systeem gebruikt voor het nemen van beslissingen over burgers. Anders gezegd, er zit een bovengrens aan de complexiteit van computersystemen die de overheid mag gebruiken.

Overigens, ons standpunt maakt niet dat we tegen een verdere automatisering van onze overheid zijn. Het kan goed zijn dat je het nemen van beslissingen beter en sneller door een computer kunt laten doen, zonder dat dit de consequentie heeft dat die beslissing niet meer uit te leggen is. Het zou soms zelfs zo kunnen zijn dat het uitleggen alleen maar makkelijker is als de beslissing met de computer genomen is.

3 reacties

laat een bericht achter

Anoniem schreef:

Saus = says – computer says YES instead of NO

f.maan schreef:

Richting andere kant, ‘computer says yes’ schuild ook een steeds groter wordend gevaar. Denk o.a. aan de beweging dat een computer een juridisch erkende eenheid kan worden zoals o.a. bij autonoom oorlogsmaterieel. Dat is alleen maar om de gebruiker, maar ook de opdrachtgever vrij te stellen van eventuele aanklachten en verantwoordelijkheden….

Anoniem schreef:

Schuild – computer saus NO

Geef een reactie

Het e-mailadres wordt niet gepubliceerd.

WORD DONATEUR

Zoek in blog

MEEST GELEZEN

  1. Memes met uitsterven bedreigd
    24 maart 2017 / 12:00
  2. In vier klikken naar meer privacy binnen Facebook
    7 april 2017 / 13:29
  3. De dilemma's van digitalisering - 3/3
    23 maart 2017 / 18:22
  4. Stop de censuurmachine!
    27 maart 2017 / 08:02
  5. Het sleepnet: wat speelt er nu?
    31 maart 2017 / 16:58