Geprinte versie: V.0.9, uitgebracht op 24-09-2020

Algoritmes & Accountability

Deze pagina geeft op hoofdlijnen het proces van het ontwerpen van een duurzaam toegankelijk algoritme tot en met het in beheer nemen daarvan. Door op de verschillende blokken te klikken, vindt u een beknopte toelichting op de betreffende processtap – uitgebreidere informatie leest u in de bijsluiter. Het proces is meer in detail uitgewerkt in een vragenlijst, die inzicht biedt in verschillende aspecten waar je per fase aan zou kunnen denken. Tot slot staat in de bijsluiter meer duiding en uitleg.

De eerste stap bij het ontwerp van een algoritme, is het maken van een korte analyse over het doel en de toepassing. Hierbij horen vragen als: welk proces wordt door het algoritme ondersteund, en: wie worden geraakt door de inzet van het algoritme? Dit inzicht helpt bij het nemen van de juiste maatregelen op het gebied van archivering en accountability.
Aan de hand van de vorige vragen, kan een eerste inschatting worden gemaakt van welk impactprofiel van toepassing is. Het bepalen van het impactprofiel helpt om in de volgende fasen de juiste maatregelen te bepalen.
Maatschappelijke
Het impactprofiel ‘maatschappelijke impact’ kenmerkt zich door in potentie groepen mensen te raken. Bijvoorbeeld bij het nemen van maatregelen in de openbare ruimte.
Persoonlijke
Het impactprofiel ‘persoonlijke impact’ kenmerkt zich door in potentie een individu te raken. Bijvoorbeeld bij het nemen van een besluit waartegen op grond van de AWB bezwaar kan worden gemaakt.
Bedrijfsmatige
Het impactprofiel ‘bedrijfsmatige impact’ kenmerkt zich door in potentie impact op de interne bedrijfsvoering te hebben, maar niet op de buitenwereld.
Cultuurhistorische
Het impactprofiel ‘cultuurhistorische impact’ kenmerkt zich door een unieke vorm van gebruik van een algoritme. Bijvoorbeeld een algoritme dat tot hele onverwachte inzichten leidt of door een innovatieve toepassing van een algoritme.
Een algoritme kan op verschillende wijzen worden ingezet. Bijvoorbeeld voor een eenmalige analyse of juist voor een periodiek of doorlopend gebruik. Dit onderscheid kan van belang zijn bij het bepalen van de beheermaatregelen. Een ander aspect dat bij deze vraag hoort, is de vraag of de inzet van het algoritme tot volledig geautomatiseerde analyse en/of besluitvorming leidt, of dat de uitkomst van een algoritme input is voor verder menselijk handelen. Dit is relevant om te weten omdat bij volledige automatisering andere maatregelen horen ten aanzien van accountability dan wanneer er menselijk handelen bij komt kijken om de resultaten verder te interpreteren en verwerken.

In deze handreiking wordt een algoritme gezien als het geheel van een viertal componenten. De archivering heeft betrekking op alle vier deze componenten. De maatregelen zullen niet altijd voor alle componenten gelijk zijn, het is daarom van belang om de maatregelen per component te bepalen.

Documentatie
Met documentatie wordt alle documentatie bedoeld die gaat over het ontwerp of de werking van het algoritme.
Trainingsdata
Met ‘trainingsdata’ wordt bedoeld: de data waarmee het algoritme wordt gevoed.
Outputdata
Met ‘outputdata’ wordt bedoeld: de uitkomst van een algoritme.
Logica
Met ‘logica’ worden de rekenregels en het datamodel bedoeld.
Dit gaat over de vraag: welke behoeften hebben verschillende belanghebbenden ten aanzien van beschikbaarheid van informatie? En welke informatie is zinvol om vast te leggen.
Dit gaat over de vraag hoe lang het zinvol is om informatie beschikbaar te houden. De Archiefwet schrijft voor dat hiervoor een selectielijst als grondslag wordt gebruikt. Sommige informatie is slechts korte tijd relevant en kent een korte bewaartermijn, sommige informatie zal langer bewaard moeten blijven.
In de ontwerpfase zal ook worden bepaald op welke locatie de bewaring van documenten en gegevens plaatsvindt. De keuze voor een opslaglocatie is in sterke mate afhankelijk van interne richtlijnen over archivering en, indien van toepassing, publicatie.
De vorm waarin gegevens worden vastgelegd en gebruikt, heeft invloed op de archivering. Als bijvoorbeeld de output in de vorm van rapporten wordt vastgelegd, dan kunnen deze rapporten als zelfstandige informatieproducten worden gearchiveerd. Als de output de vorm heeft van een realtime-weergave in een dashboard, dan is er een andere strategie nodig om de output te kunnen reproduceren.
Beschikbaarstelling gaat over het feitelijk toegankelijk maken. Welke openbaarheidsregime is van toepassing? Op welke wijze wordt inzage en/of publicatie ingericht? En in welke vorm worden informatie en gegevens beschikbaar gesteld?
Dit gaat over het inrichten van de beheerprocessen, bijvoorbeeld het opstellen van een procedure voor het vernietigen van gegevens nadat de bewaartermijn is verstreken.

Dit kopje gaat over het de belangrijkste beheerprocessen op het gebied van archivering: het vernietigen, overbrengen en beschikbaar stellen.

Vernietigen
Het uitvoeren van een vernietigingsproces is nodig om de bewaartermijnen na te leven. Het moet duidelijk zijn wie op welk moment welke handeling verricht ten aanzien van vernietiging.
Overbrengen
Als een deel van de documenten en gegevens voor permanente bewaring in aanmerking komt, dan is zinvol om te bepalen wanneer en hoe dit naar een archiefbewaarplaats wordt overgebracht en wie daarin de actoren zijn.
Beschikbaarstellen
Ook voor het beschikbaar stellen van informatie aan interne en externe belanghebbenden is het nodig om wat processen te hebben. Wie is bijvoorbeeld aanspreekpunt bij vragen of bij Wob-verzoeken? Ook kan het nodig zijn om (handmatige) anonimiseringshandelingen uit te voeren voorafgaand aan het delen van documenten en gegevens. Het moet duidelijk zijn waar dergelijke activiteiten zijn belegd.

Documenteren

In de beheerfase kunnen er situaties ontstaan die gedocumenteerd moeten worden om accountability te kunnen blijven afleggen.
Gedragsmonitoring
Het is niet altijd duidelijk hoe een algoritme tot een bepaald inzicht komt. Zeker wanneer een algoritme zichzelf ontwikkelt. Daarom is het zinvol om periodiek te toetsen of het algoritme nog het gedrag vertoont waar het ooit voor ontworpen is en eventuele afwijkingen op dat punt te corrigeren.
Scopewijzigingen
Als een algoritme dat ooit voor een bepaald doel is ontworpen later wordt ingezet voor een ander doel, dan zal voor het nieuwe doel een deel van het ontwerpproces opnieuw moeten worden uitgevoerd. Mogelijk zijn er nu bijvoorbeeld andere bewaartermijnen aan de orde.
Aanvullingen
Wanneer nieuwe databronnen worden aangewend om het algoritme te voeden, dan verdient het aanbeveling om opnieuw te kijken naar het onderdeel ‘trainingsdata’ in de vragenlijst van deze handreiking.