Sikkerhetskontrollpunkt
Avhengig av sikkerhetsnivået en leveranse ønsker å legge seg på, kan det være nødvendig å definere mekanismer for å vurdere sikkerheten på faste punkter i utviklingsløpet, såkalte sikkerhetskontrollpunkt.
Disse kan defineres mellom logiske faser i prosjektet, eksempelvis mellom design og utviklingsfasene, eller når en går fra utvikling til første release i produksjon. Andre og flere kontrollpunkter kan også defineres, helt avhengig av kravene leveranseteamet må forholde seg til.
IBM har i en studie fastslått at generelle svakheter i applikasjoner utviklet for det amerikanske forsvaret kostet langt mindre å utbedre jo tidligere de ble oppdaget.
Ved å ta i bruk sikkerhetskontrollpunkt er det ikke bare lettere å sikre etterlevelse av sikkerhet- og kvalitetskrav, men også lettere å sikre at en fanger opp svakheter tidlig. En vanlig praksis der slike kontrollpunkt benyttes er at det eksempelvis
- skal foreligge et design av prosjektet før utviklingsløpet starter
- at implementasjonen skal følge designet
- og at en har verifisert at design og implementasjon faktisk matcher før en kan gå i produksjon
AI-spesifikke sikkerhetskontrollpunkt
For løsninger som bruker KI, bør det etableres egne kontrollpunkt før produksjonssetting. Målet er å sikre at data, modellatferd og driftsgrunnlag er vurdert og dokumentert før løsningen eksponeres i produksjon.
Et praktisk minimum er å innføre følgende gates:
1. Data review-gate
Før modelltrening, finjustering eller større endringer i datagrunnlaget bør teamet dokumentere:
- hvilke datakilder som brukes, eierskap og tillatt bruksformål
- grunnleggende kvalitetsvurdering av data (representativitet, mangler, støy, duplikater)
- identifiserte personvern- og sikkerhetsrisikoer i datagrunnlaget
- beslutning om eventuelle avgrensninger, filtrering eller avviste datasett
2. Evaluerings- og V&V-gate
Før produksjon bør modellen verifiseres og valideres mot definerte akseptansekriterier:
- dokumentert evalueringsoppsett med relevante testsett og scenarier
- vurdering av sikkerhets- og misbruksscenarier (for eksempel prompt injection og uønsket verktøybruk)
- tydelige grenser for når modellen ikke skal brukes uten menneskelig kontroll
- beslutning om go/no-go med begrunnelse
3. Logging- og monitoreringsgate
Før produksjon bør driftsteamet verifisere at nødvendig observabilitet er på plass:
- hvilke hendelser som skal logges (modellkall, tilgangsendringer, feil, avvik)
- hvordan logger beskyttes mot manipulering og uautorisert innsyn
- hvilke alarmer og terskler som skal utløse oppfølging
- hvem som har ansvar for løpende overvåking og hendelseshåndtering
For mer om drift av logger og oppfølging i produksjon, se Logging og monitorering.
Se også:
- Dokumentasjon for hva som bør dokumenteres før og etter gate-beslutninger
- Verifiser designet for kontroll av at løsning i drift matcher dokumentasjon og beslutninger
- Revisjon av prosjekt eller leveranse for hvilken evidens som typisk etterspørres