Vragenlijst

Doel

Deze vragenlijst biedt inzicht in de vragen m.b.t. archivering die bij de inrichting van algoritmes aan de orde kunnen komen. Deze vragenlijst dient als handvat om archiveringsprincipes ‘by design’ onderdeel te maken van de inrichting. Niet alle vragen zullen altijd relevant zijn, bovendien zullen er ongetwijfeld vragen ontbreken. Het doel is om de lezer op weg te helpen bij het uitvoeren van analyses die ten grondslag liggen aan te maken ontwerpkeuzes op het gebied van archivering.

Fase 1: analyse

• Welk proces wordt ondersteund door het algoritme?
• Wat is de mogelijke impact van het algoritme (zie bijsluiter)?
• Op welke wijze wordt het algoritme ingezet (bv.)?
  • Welke rol heeft het algoritme in het proces?
    Voorbeeld: levert het algoritme input voor verder menselijk handelen of automatiseert het algoritme het volledige proces?
  • Wordt het algoritme blijvend ingezet in het proces of is het algoritme voor een specifiek vraagstuk ontwikkeld?
  • Welk zaaktype en welke bewaartermijn(en) horen hierbij?

Fase 2: ontwerp

Documentatie

Wat?

• Welke inhoudelijke informatie is van belang om te bewaren?
  Voorbeelden:
  • Welke ethische vraagstukken zijn gedurende het project aan de orde geweest?
  • Wat is de inhoudelijke waarde van de data?
  • Wat is de kwaliteit van de data?
  • Welke betrokkenen zijn/kunnen potentieel getroffen worden door de inzet van het algoritme (zie bijsluiter)?
  • Welke risico’s zijn geïdentificeerd?
  • Welke risicomitigerende maatregelen zijn getroffen?
  • Welke business case is van toepassing?
• Welke documenten zijn/worden er vanuit het project opgesteld?
  Voorbeelden:
  • business case
  • projectarchitectuur
  • privacy impactanalyse
  • risicoanalyse
  • functioneel/technisch ontwerp
  • beheerplan
  • etc.
• Zijn de ontwerpkeuzes voldoende expliciet uitgewerkt i.h.k.v. verantwoording?

Hoe lang

• Hoe lang is het zinvol/nodig om de documentatie te bewaren? N.B. De bewaartermijn kan per documentatietype worden afgewogen.

Waar

• Welke beschikbare opslaglocatie is het meest geschikt om de documentatie te bewaren?
  • Is deze locatie voor toegankelijk voor geautoriseerden?
  • Is voldoende functionaliteit aanwezig voor het uitvoeren van beheeractiviteiten?

Vorm

• In welke vorm wordt de documentatie opgesteld?
  Bijvoorbeeld:
  • Tekstdocumenten
  • Afbeeldingen
  • Spreadsheets
• Is de documentatie voor alle betrokkenen zonder specifieke tools/viewers raadpleegbaar?
• Indien er een lange bewaartermijn is: zijn de gebruikte bestandsformaten geschikt voor langere bewaring?

Beschikbaarstelling

• Wie zijn belanghebbenden van de documentatie (primaire en secundaire gebruikers, ook op de lange termijn)?
• Welk openbaarheidsregime is van toepassing?
• In welke vorm moet de documentatie beschikbaar gesteld worden aan belanghebbenden (bv. open data)?

Beheer

• Hoe moet het vernietigingsproces gaan functioneren?
  • Bij welke rol(len) is dit belegd?
• Hoe ziet het overbrengingsproces eruit?
  • Bij welke rol(len) is dit belegd?
• Zijn er specifieke activiteiten te benoemen m.b.t. beschikbaarstelling aan derden (bv. bij WOB-verzoeken)?
  • Zo ja, welke en waar worden die belegd?

Trainingsdata

Wat?

• Van welke bronnen maakt het algoritme gebruik (dataverzameling)?
• Wat is de aard van de data?
• Zijn de data objectief of is er een mate van subjectiviteit?
  • In het geval van subjectiviteit, hoe heeft het proces gefunctioneerd waarin dataverzameling door het algoritme plaatsvindt?
  • Welke risico’s brengt deze subjectiviteit met zich mee?
  • Zijn er mitigerende maatregelen hiervoor geformuleerd (zie bijsluiter)?
• Wat is de kwaliteit van de data? Denk hierbij aan:
  • Consistentie in semantiek
  • Is de data genormaliseerd
  • De periode die de data bestrijkt
  • Zijn er hiaten of zijn de data consequent bijgehouden?
  • Is anonimisering/pseudonimisering toegepast?
  • Betreft het ruwe/samengevoegde data?
  • etc.
• Wordt in de beheerfase data toegevoegd, vervangen of blijven deze onveranderd?

Hoe lang

• Welk impactprofiel is van toepassing (zie bijsluiter)?
• Indien er regelmatig nieuwe versies worden gevoed aan het algoritme, is het dan zinvol om alle versies te bewaren of kan worden volstaan met een beperkt aantal?

Waar

• Is het archiefregime in de bron voldoende?
  • Zo nee, denk aan de toepassing van de volgende maatregelen:
    • archiefregime in de bron aanpassen (bv. langere bewaartermijnen met autorisatiemodel)
    • eigen archiefregime opstellen en keuzes maken over de beheerlocatie (bv. datawarehouse met beheerfunctionaliteiten)

Vorm

• In welke vorm wordt de data vanuit de bron aangeleverd?
  Denk aan:
  • Real-time (bv. via API)
  • Periodiek (bv. via datadumps op basis van een script)
  • Eenmalige extractie

Beschikbaarstelling

• Wie zijn belanghebbenden van de data (primaire en secundaire gebruikers, ook op de lange termijn)?
• Welk openbaarheidsregime is van toepassing?
• In welke vorm moet de data beschikbaar gesteld worden voor belanghebbenden (bv. open data)?

Beheer

• Hoe ziet het vernietigingsproces eruit?
  • Bij welke rol is dit belegd?
• Hoe ziet het overbrengingsproces eruit?
  • Bij welke rol is dit belegd?
• Hoe is in het wijzigingenproces geborgd dat de mogelijke impact van wijzigingen op het archiefregime wordt beoordeeld?
• Zijn er specifieke activiteiten te benoemen m.b.t. beschikbaarstelling aan derden (bv. bij WOB-verzoeken)?
  • Zo ja, welke en waar worden die belegd?

Outputdata

Wat

• Wat is de kwaliteit van de data?
  Denk hierbij aan:
  • Betrouwbaarheid
  • Toetsbaarheid
  • etc.
• Wordt de data gebruikt voor verdere verwerking?
  • Zo ja, welk informatieproduct wordt hiermee gecreëerd (bv. beleid)?

Wat is de kwaliteit van de data? Denk aan:

• betrouwbaarheid
• toetsbaarheid
• etc.

Hoe lang

• Welk impactprofiel is van toepassing (bijsluiter)? N.B. Maak deze afweging o.b.v. selectielijst(en).

Waar

• Is opslag van outputdata noodzakelijk of volstaat de reconstructie ervan o.b.v. de overige componenten?
• Kunnen informatieproducten (bv. beleid) voor de afnemende processen aansluiten op oplossingen die reeds voor het proces in gebruik zijn?
• Welke systemen zijn beschikbaar als mogelijke beheeromgeving?

Vorm

• In welke vorm wordt de data beschikbaar gesteld?
  Denk hierbij aan:
  • Rapportages
  • Ruwe data
  • Real time inzicht via dash boards
  • mondelinge terugkoppeling via AI (spraaktechnologie)
  • etc.

Beschikbaarstelling

• Wie zijn de belanghebbenden van de data (primaire en secundaire gebruikers, ook op de lange termijn)?
• Welk openbaarheidsregime is van toepassing?
• In welke vorm moet de data beschikbaar gesteld worden aan belanghebbenden (bv. open data)?

Beheer

• Hoe ziet het vernietigingsproces eruit?
  • Bij welke rol wordt dit belegd?
• Hoe ziet het overbrengingsproces eruit?
  • Bij welke rol wordt dit belegd?
• Hoe is in het wijzigingenproces geborgd dat de mogelijke impact van wijzigingen op het archiefregmie wordt beoordeeld?
• Zijn er specifieke activiteiten te benoemen m.b.t. beschikbaarstelling aan derden (bv. bij WOB-verzoeken)?

Logica

Wat

• Wie is de auteur van de broncode? Denk hierbij aan:
  • De organisatie zelf
    • dan moet de organisatie de archivering ook zelf regelen
    • dit geldt ook voor maatwerk dat een organisatie bovenop opensourcecode bouwt
  • Commerciële partij
    • de commerciële partij kan de broncode vrijgeven
    • toegang tot de broncode kan middels een escrow-regeling worden geregeld
  • Open source community
    • zelf regelen
    • uitbesteden via commerciële partij
• Heeft de organisatie/afdeling toegang tot de broncode?
  • Zo ja, hoe wordt deze opgeslagen?
  • Zo nee, is er een escrow-service?
• Ontwikkelt de broncode zich of is deze statisch?
• Is het datamodel statisch of dynamisch?

Hoe lang

• Welk impactprofiel is van toepassing?
• Volstaat het om enkel het datamodel langere tijd te bewaren en niet de broncode?
• Als broncode en/of datamodel zich in de loop der tijd ontwikkelen, met welke frequentie wordt er dan een nieuwe versie bewaard?

Waar

• Wordt de logica bij een commerciële partij opgeslagen? Zo ja, welke afspraken zijn gewenst rondom beschikbaarstelling?
• Wordt de logica intern opgeslagen? Zo ja, welke omgeving is hiervoor het meest geschikt?

Vorm

• In welke vorm wordt de logica opgeslagen?
• In welke vorm wordt de logica beschikbaar gesteld?

Beschikbaarstelling

• Wie zijn belanghebbenden van de data (primaire en secundaire gebruikers, ook op de lange termijn)?
• Welk openbaarheidsregime is van toepassing? Dient er rekening gehouden te worden met auteursrecht?

Beheer

• Als de broncode zich ontwikkeld: hoe wordt de gedragsmonitoring en het versiebeheer georganiseerd?
• Als er een dynamisch datamodel wordt gehanteerd: hoe wordt het versiebeheer georganiseerd?
• Hoe wordt nieuwe/actuele informatie toegevoegd aan de dataset?

Fase 3: beheer

Vernietigen

• Hoe ziet het vernietigingsproces eruit?
  • Bij welke rol wordt dit belegd?

Overbrengen

• Hoe ziet het overbrengingsproces eruit?
  • Bij welke rol is dit belegd?
  • Volgens welke standaard wordt data/informatie overgebracht?
• Welke data/informatie is blijvend te bewaren?
• In welke vorm wordt de data/informatie bewaard?
• Waar wordt de data/informatie naartoe overgebracht?

Beschikbaar stellen

• Wie zijn belanghebbenden van de data (primaire en secundaire gebruikers, ook op de lange termijn)?
• Welk openbaarheidsregime is van toepassing? Dient er rekening gehouden te worden met auteursrecht?
• In welke vorm wordt data/informatie beschikbaar gesteld (bv. open data)?

Documenteren

• Gedragsmonitoring
  • Hoe wordt de monitoring van de werking van het algoritme gedocumenteerd?
• Scope wijzigen
  • Is er een wijzigingenproces gedocumenteerd?
    Zo ja, hoe wordt de impact eventuele scopewijzigingen in kaart gebracht en gedocumenteerd?
• Aanvullingen
  • Worden er na de ingebruikname van het algoritme nieuwe trainingsdata verzameld?