Dette er flersidevisningen av denne seksjonen. Klikk her for å skrive ut.

Gå tilbake til vanlig sidevisning.

Utvikle

Det er ikke mulig å gi en oppskrift på hvordan man skriver sikker programkode i noen få, enkle og kortfattede artikler. Det betyr derimot ikke at det er en uoverkommelig oppgave forbeholdt sikkerhetseksperter! Alle som utvikler programvare i Bouvet skal være kjent med OWASP Top 10, som er et godt utgangspunkt for å bli kjent med hvilke utfordringer man står overfor som utvikler.

Artiklene du finner under temaet Utvikle på denne siden vil fokusere på det som foregår på en utviklers arbeidsmaskin, som ikke er konkret kode. De vil ikke gå i dybden på konkrete angrepsmetoder eller hvordan beskytte mot disse. Du vil også finne råd om hvordan et team bør arbeide for å være i stand til å forebygge, identifisere, og fikse sårbar kode.

1 - Forsyningskjedesikkerhet

Alle som lager programvare bruker tredjepartspakker. Alle tredjepartspakker representerer kode skrevet av andre, og utgjør en risiko for leveransen dersom vi ikke har kontroll over hva vi bruker og oversikt over svakheter og risiko assosiert med disse.

Når vi bygger software har vi avhengigheter til en hel haug med ulike tredjepartspakker fra økosystem som npmjs, nuget, PyPi og liknende. I CI/CD-pipelines har vi actions og kode som gjennomfører testing, bygging, deployment og liknende. Alt dette er kode og komponenter som kommer fra tredjepart, der vår grad av sikkerhet er prisgitt hvordan disse aktørene jobber. En svakhet i en avhengighet kan resultere i at vårt prosjekt lekker data, at kode manipuleres eller brukes til ondsinnede handlinger.

Sikkerhetsrisiko

Når vi tar i bruk tredjepartskomponenter er det viktig å ha et forhold til risiko. Nyttige kontrollspørsmål er:

  • Hvem står bak?
  • Trenger vi egentlig denne komponenten?
  • Vedlikeholdes den aktivt?
  • Har utgiver en historikk som tilsier at sikkerhet tas seriøst?

Det finnes ingen fasitsvar som sier når risiko er for stor, men du kan redusere den med noen forholdsvis enkle grep. Her er det imidlertid viktig å skille mellom ondsinnede og sårbare komponenter!

Ondsinnede komponenter

De ondsinnede komponentene lages for å utføre uønskede handlinger som datalekkasjer, kryptomining, stjeling av hemmeligheter og mye annet. De siste få årene har vi sett helt nye typer ondsinnede pakker som går målrettet etter utviklingsprosjekter og utviklere, som GlassWorm, Shai-Hulud og andre. Felles for disse er at de utgir seg for å være legitime, enten ved å benytte seg av pakkenavn som likner på reelle ufarlige komponenter, alternativt ved at de som en del av angrepet henter ut brukernavn, passord, accesstokens og annet til utviklere som også eier legitime pakker, slik at de kan infisere disse.

Kampanjer med ondsinnede komponenter går ofte i bølger, der trusselaktørene forsøker å utnytte trender. For noen år siden var kryptovaluta det store, og en kunne observere mye malware som utga seg for å være kjente eller nyttige biblioteker relatert til dette. De siste par årene har en sett det samme med KI, der en går målrettet etter utviklere og brukere som er nysgjerrige og ute etter å bruke “det siste nye”.

Sårbare komponenter

Det er veldig sjelden vi klarer å lage perfekt software helt uten svakheter. I mange tilfeller har vi noen kjente sårbarheter som regnes som så harmløse at vi kan leve med dem, men i forholdsvis mange tilfeller oppdages det alvorlige sårbarheter etter release.

Utfordringen som har dukket opp de siste årene med bruk av KI er at det å oppdage samt utnytte slike sårbarheter kan gå svært raskt, og vi er nødt til å følge med. I mange tilfeller der det oppdages en sårbarhet vil det typisk også opprettes en CVE-rapport (Common Vulnerabilities and Exposures), som sier noe om hva svakheten går ut på og ofte hvordan den kan mitigeres.

I noen tilfeller kan vi løse problemet ved å oppgradere pakkene til siste versjon, mens andre har mer grunnleggende utfordringer som krever mer innsats. Det hender også at noen CVE’er lages på svakheter som teknisk sett er en sårbarhet, men der den er ‘by-design’. Et eksempel på dette er Python-pakken Pandas som blant annet har sårbarheten CVE-2020-13091. Denne lar brukeren deserialisere filer uten sjekk av hvor disse kommer fra - dette har da blitt registrert som en sårbarhet da den kan utnyttes dersom andre tiltak ikke er på plass.

Lisensmodell

Det finnes mange ulike lisensmodeller; noen er helt frie og får ingen konsekvenser for brukerne, mens andre som AGPL og GPL stiller klare krav til alle som konsumerer kode under denne lisensen, også inkludert det øvrige systemet som benytter seg av den. De aller fleste økosystemer tillater også bruk av proprietære lisenser, som kan begrense hva du kan bruke en pakke til. Noen har spesifikke krav i lisensen, andre er gratis for personlig bruk, men krever at du kjøper en lisens dersom den skal brukes kommersielt.

Hvordan sikrer vi oss?

For å beskytte systemet mot disse truslene er det flere effektive tiltak vi kan gjøre. Mange av disse er allerede dekket andre steder, men det er likevel noen som er unike for eksterne pakker.

Trusselmodell og kompleksitet

I mange tilfeller har vi avhengigheter til mange pakker som ikke brukes av oss direkte, såkalte transitive avhengigheter. Hver enkelt pakke kjører i samme kontekst som vår egen kode, og kan bruke de samme ressursene og tilgangene den har. Hver avhengighet representerer derfor en økning i kompleksitet og angrepsflate, og øker sjansen for at noe skjærer seg på et senere tidspunkt.

Din kode
braces
Avhengighet
fill-range to-regex-range is-number
Transitive avhengigheter
Koden din avhenger av én pakke, men drar samtidig inn pakkene den igjen avhenger av. Hver av dem kjører med de samme tilgangene som din egen kode.

Et viktig spørsmål alle må stille seg er “trenger vi denne pakken?” Hva er kosten ved å lage funksjonaliteten selv sammenliknet med risikoen og kompleksiteten assosiert med å legge den til?

Overvåkning av avhengigheter

Et viktig hjelpemiddel er analyseverktøy som hjelper oss å ha kontroll på sårbarheter og risiko i avhengighetene våre. Denne typen analyse kalles Software Composition Analysis (SCA), og gir oversikt over både direkte og transitive avhengigheter samt risikoen knyttet til dem. Det finnes mange aktører på markedet, alt i fra helt enkle som Githubs Advanced Security med Dependabot, til mer avanserte som Snyk og Sonatype. I mange tilfeller er det datagrunnlaget for løsningen som utgjør den store forskjellen, men det finnes også en del nyttige funksjoner en bør vurdere:

  • Policystyring - Sonatype tagger alle pakker med metadata, slik at du kan definere policyer som sier noe om hva som kan brukes eller ei.
  • Automatisk utbedring - Verktøy som dependabot (Github) oppgraderer automatisk pakker når sårbarheter oppdages og oppdateringer er tilgjengelige.
  • Integrasjoner og varsling - Mange verktøy som eksempelvis Snyk SCA kan integreres i IDE og i CICD.
  • Risikobilde - Mange løsninger gir deg en totaloversikt der du kan se det totale risikobildet for enkeltapplikasjoner eller større deler av porteføljen

AI-avhengigheter er også en del av forsyningskjeden

For systemer som bruker KI er ikke avhengigheter bare biblioteker fra npm, nuget eller PyPI. Modeller, tokenizers, embeddings, evalueringsdatasett og containere for inferens må behandles som tredjepartsavhengigheter med samme krav til kontroll.

Det betyr blant annet at teamet bør:

  • bruke godkjente kilder og unngå nedlasting av artefakter direkte fra ukjente speil
  • låse versjoner og referere til immutable identifikatorer (tag alene er ikke nok)
  • dokumentere hvilke AI-artefakter som faktisk inngår i en release
  • vurdere lisens og bruksvilkår også for modeller og datasett, ikke bare kode

Modenhet

Denne kan være vanskelig å si noe konkret om, men hvor aktivt er miljøet rundt en pakke? Vedlikeholdes den av enkeltpersoner, grupper med utviklere eller har den økonomisk eller annen støtte fra et selskap?

Hvor sannsynlig er det at pakken fortsatt kommer til å være vedlikeholdt om eksempelvis 5 år? Hvordan er historikken i forhold til sårbarheter og kvalitet; finnes det et aktivt miljø som rapporterer svakheter som deretter utbedres, eller henger innmeldte saker i limbo over lengre tid? Verktøy som libraries.io og Security Scorecard kan være nyttige for å finne ut mer.

Pinning av versjoner

En av angrepsvektorene er når ondsinnede aktører overtar populære pakker, og publiserer sin egen versjon med ondsinnet innhold. Dersom vi har bygg- eller deployprosesser som henter siste versjon av avhengighetene hver gang, vil disse automatisk hente den infiserte pakken. Et tiltak her kan være å låse pakkeversjonene vi bruker, eksempelvis i package-lock.json eller liknende.

Et beslektet tiltak er å innføre en form for cooldown eller alderskrav på nye versjoner, slik at vi ikke tar i bruk oppdateringer før de er et visst antall dager gamle. Hensikten er å redusere risikoen for å plukke opp fersk malware eller kompromitterte pakker før økosystemet rekker å oppdage problemet og fjerne eller flagge versjonen. Dette kan være spesielt nyttig for automatiserte oppdateringsløp, men bør brukes risikobasert slik at kritiske sikkerhetsoppdateringer fortsatt kan tas inn raskt gjennom en kontrollert unntaksprosess.

Provenance og policy-gates i CI/CD

I tillegg til pinning bør byggløpet verifisere opprinnelse og integritet for avhengigheter før de tas i bruk. Teamet bør etablere policy-gates i CI/CD som kan stoppe merge eller deploy ved kritiske avvik, eksempelvis ved alvorlige sårbarheter, ulovlige lisenser eller avhengigheter fra ikke-godkjente kilder.

Veien videre

2 - Versjonskontroll

Versjonskontroll er et essensielt verktøy i alle utviklingsprosjekt, men hvordan bruker du det effektivt og hva bør du tenke på?

Git er i dag standard i de fleste prosjekter som kjøres i Bouvet, men skulle du havne i et prosjekt som bruker noe annet vil mange av prinsippene likevel være overførbare. Git i seg selv er selve versjonskontrollverktøyet som håndterer historikk og versjonering, mens Github håndterer alt rundt som CI/CD, sikkerhetstesting og liknende. Azure DevOps har mange av de samme funksjonene som beskrives under; selv om Github er brukt som eksempel bør du anta at det samme gjelder for Azure DevOps.

Kildekode er kritisk

Husk også på at kildekode er en del av prosjektet, og må vurderes i forhold til disaster recovery og backups!

.gitignore

Det første du bør gjøre i et nytt eller eksisterende repository, er å sjekke at det finnes en .gitignore-fil. Denne brukes for å ekskludere filer fra git, slik at de kan leve i mappene dine lokalt uten å bli sjekket inn til git. Det finnes ferdige templates for de fleste programmeringsspråk, som sikrer at byggfiler, .env-filer og annet som kan inneholde sensitiv informasjon ikke sjekkes inn i git.

Ikke baser deg på at du skal “huske” å ikke inkludere filer når du committer; det er fort gjort å bomme når du skal fikse noe i forbifarten. .gitignore sjekkes inn som med andre filer, slik at andre i teamet også kan få glede av den. Husk bare på at den kun gjelder nye filer; dersom du også vil ekskludere filer som allerede ligger i repoet må de først slettes fra githistorikken.

Hemmeligheter og historikk

Mange tester lokalt på egen maskin mens de utvikler, og har gjerne nøkler og liknende hardkodet mens de tester. Det skjer forholdsvis ofte at man glemmer å slette slike hemmeligheter, og at de sjekkes inn som med annen kode. Dersom dette skjer, må hemmeligheten ugyldiggjøres. Nøkler, passord, sertifikater og liknende må roteres slik at det som havnet i git ikke lenger er gyldig.

Å overskrive i git er ikke nok; historikken vil fremdeles være tilgjengelig for alle med tilgang. Alle som har klonet repoet vil også ha en kopi av historikken; selv om det finnes en teknisk mulighet for å omskrive historikken vil dette i mange tilfeller kunne være vanskelig eller umulig.

Håndtering av hemmeligheter

Bruk passordhvelv for å håndtere hemmeligheter: Du refererer til hemmeligheten, men kan skille miljøer fra hverandre ved å peke på ulike hvelv!

Secret scanning

Vurder å sette opp workflows som scanner repoet for hemmeligheter, eksempelvis ved bruk av Trufflehog eller liknende slik at merge blokkeres ved funn av hemmeligheter. Det vil ikke kunne være en perfekt løsning, men vil varsle ved funn og forhindre at hemmeligheter havner i main.

Github støtter også bruk av ulike actions, som kan utføre oppgaver på kode som sjekkes inn, som CI/CD, sikkerhetstesting og mye annet.

Tilgangsstyring

Tilgangsstyring er første punkt på agendaen i et nytt prosjekt. Hvem skal ha tilgang til repoet - enkeltbrukere, organisasjonen, eller skal det være public? Vær obs på at vi kun får lage private repos som utgangspunkt, skal det åpnes opp må dette skje via en BSD-sak.

Kodesignering

Git i seg selv har ingen form for tilgangsstyring; alle kan konfigurere git-klienten sin og kan kalle seg Pelle Pellesen, med eposten [email protected], og det er dette som normalt vil vises i historikken. Avhengig av prosjektet og eventuelle kundekrav bør en vurdere bruk av signed commits for å sikre at alle commits signeres kryptografisk.

Signed code

Bildet over viser eksempelvis hvordan en commit til akkurat denne artikkelen vises når den er signert.

Git hooks

Git hooks er skript som typisk kjøres clientside og trigges av ulike handlinger slik at en kan kjøre linting, kodescanning og annet for å sikre kvaliteten i det som utvikles. Selv om det finnes både clientside og serverside hooks, er det viktig å være klar over at Github ikke støtter kjøring av serverside hooks.

Hooks lever i utgangspunktet under .git; da denne ikke er versjonskontrollert bør skript legges inn under andre mapper slik at en kan dele dem på tvers i teamet. Husk at hooks må settes opp av hver enkelt utvikler, så ikke legg kritiske sjekker utelukkende i disse!

Workflows

Workflows kjøres på Github, og kan trigges av ulike hendelser som pushing av kode, i forbindelse med pull requests, tags og annet. En workflow kan bestå av en rekke ulike actions som kjøres mot kodebasen. Workflowene brukes ofte for å validere, teste, bygge eller deploye; i forkant av en pull request kan en eksempelvis kjøre en rekke tester for å se at endringene ikke brekker eksisterende funksjonalitet, før det kjøres en ny workflow etter merge til main som bygger og deployer koden på ønsket sted.

Vær obs på at workflows spinner opp en VM eller en container på baksiden der de ulike actionene kjøres, og at mange av disse i realiteten har avhengigheter til tredjepart. Ikke kjør actions ukritisk, men ta en vurdering på hvilken risiko/nytte de gir i likhet med alle andre avhengigheter.

Branchingstrategi

Git støtter ulike former for branching, avhengig av hvor kompleks arbeidsflyt en trenger. Uavhengig av hva en går for, er det viktig å ha et forhold til hvordan arbeidsflyten vil være dersom det plutselig dukker opp svakheter eller sårbarheter som må fikses, uavhengig av hva en ellers jobber med.

En typisk tilnærming er å operere med en produksjonsbranch, ofte main eller master. Denne bør være beskyttet slik at alle endringer skjer i egne feature-branches som så merges inn via pull-request med dertilhørende review fra andre i teamet. Produksjonsbranchen blir så grunnlaget for alle deployments videre.

Trunk-based branching Produksjonsbranchen går vannrett gjennom figuren. Feature-brancher greiner ut fra den, får noen commits hver, og merges tilbake inn i produksjonsbranchen. Flere feature-brancher er i arbeid samtidig, men alt ender i den samme branchen. Feature-brancher Produksjonsbranch Feature-brancher
Trunk-based branching. Produksjonsbranchen er beskyttet, og all kode kommer inn via feature-brancher som merges tilbake etter review. Det er den enkleste modellen som fortsatt gir deg kontroll på hva som havner i produksjon.

Det finnes andre og mer komplekse tilnærminger også, eksempelvis med separate branches samt tagging av versjoner. Denne er spesielt nyttig dersom en vedlikeholder flere ulike versjoner i ulike miljø, trenger mulighet for hotfixer eller liknende:

Branching med egne miljøbrancher Fem baner ligger over hverandre: feature, develop, test, prod og hotfix. Utviklerne jobber i feature-brancher som merges inn i develop, som deployes til dev-miljøet. Hver versjon tagges på develop og blir grunnlaget for en testbranch, som deployes til testmiljøet og videre til prod. En hotfix greiner ut fra prod, rettes og merges tilbake til prod, og plukkes i tillegg over til develop med den stiplede linja. Feature-brancher Develop-branch Test-branch Prod-branch Hotfixer Deployes til dev Deployes til test Deployes til prod Tag + branch: V1 Tag + branch: V2 Tag + branch: V3
Branching med egne brancher per miljø og tagging av versjoner. Nyttig når flere versjoner lever i ulike miljø samtidig, eller når du må kunne rette noe i produksjon uten å dra med deg alt som ligger i develop. Den stiplede linja er hotfixen plukket tilbake til develop, slik at rettelsen ikke forsvinner ved neste release.

I dette eksempelet jobber alle utviklere i egne feature branches mot develop-branchen, som beskyttes mot direkte endringer. Denne deployes til dev-miljøet for å verifisere at alt fungerer som det skal.

Når teamet er fornøyd med tilstanden på develop, merges denne til test via en egen pipeline som håndterer tagging av versjonsnummer automatisk. Denne pipelinen kan kreve godkjenning for å kjøre, slik at det trengs en person for å starte den, og en annen for å godkjenne.

Test-branchen deployes til testmiljøet, og når kunden er fornøyd med det som er levert merges den til prod-branchen på samme måte som til test. For både test og prod bruker vi versjonsnummeret som en del av branchnavnet, slik at vi kan ha branchen Test/v1 og Test/v2, som korresponderer med Prod/v1 og Prod/v2.

Dersom det er behov for hotfixing mot prod kan dette eksempelvis gjøres mot den aktuelle prodbranchen slik at en får korrigert kritiske feil raskt, for så å ta hotfixen tilbake til dev.

Veien videre

3 - Datavalidering

Datavalidering reduserer både sikkerhetsrisiko og kvalitetsfeil. Ikke stol blindt på data, verken fra brukere, integrasjoner eller AI-pipelines.

Datavalidering er grunnleggende i alle utviklingsprosjekter. Formålet er å sikre at data har forventet struktur, innhold og kvalitet før de brukes videre i systemet.

Feil eller ondsinnet data kan føre til:

  • sikkerhetssårbarheter, som injeksjon og XSS
  • funksjonelle feil og ustabil drift
  • feil beslutningsgrunnlag i rapportering og analyse
  • redusert kvalitet i AI-modeller og evaluering

OWASP Top 10 har over tid vist at mangelfull validering av input er en gjentakende årsak til alvorlige sårbarheter. Hovedregelen er enkel: data skal valideres ved tillitsgrensen, uansett kilde.

Grunnprinsipper

Datavalidering bør bygges inn i arkitektur og kode, ikke legges til som et etterslep.

  • Valider tidlig: Stopp ugyldige data så nær inngangspunktet som mulig.
  • Valider eksplisitt: Definer hva som er gyldig, i stedet for å prøve å blokkere alt som er farlig.
  • Valider i flere lag: Kombiner klientvalidering, servervalidering og validering i meldings-/integrasjonslag.
  • Fail closed: Dersom data ikke kan verifiseres, avvis eller sett dem i karantene.
  • Logg avvik: Logg valideringsfeil med nok kontekst til feilsøking, uten å lekke sensitive data.

Anbefalte kontroller i alle prosjekter

Minimumskontroller som bør være på plass i vanlige utviklingsprosjekter:

  • Skjema og kontrakter: Bruk tydelige skjema (for eksempel JSON Schema, OpenAPI eller tilsvarende) mellom tjenester for å oppdage kontraktsbrudd tidlig.
  • Type- og formatvalidering: Valider datatype, lengde, tillatte tegn, intervaller, datoformat og encoding.
  • Semantisk validering: Sjekk regler som ikke fanges av type alene, som gyldige statusoverganger eller avhengigheter mellom felt.
  • Kontekstavhengig output-escaping: Escape data korrekt før visning i HTML, URL, JavaScript eller SQL-kontekst.
  • Filvalidering: Verifiser MIME-type, filsignatur, filstørrelse og tillatte filtyper. Skann opplastede filer for malware.
  • Isolert behandling av risikodata: Vurder sandbox for parsing og behandling av potensielt farlige filer.
  • Beskyttelse i nettleser: Bruk Content Security Policy (CSP) for å redusere konsekvens ved XSS.

Datakvalitet og datapreparering for AI-systemer

For løsninger med KI må kontrollene over også utvides. Datavalidering er da både et sikkerhetstiltak og et kvalitetstiltak.

Kontroller som bør være eksplisitt definert:

  • Input-validering til modellkall: Valider format, størrelse, språk, struktur og tillatte felt før data går til modell eller embedding-pipeline.
  • Datakvalitet for AI: Kontroller manglende verdier, duplikater, outliers, label-feil og skjevheter som påvirker modellens ytelse.
  • Datapreparering: Gjør preprocessing deterministisk, testbar og versjonert slik at transformasjoner kan reproduseres.
  • Datasett-hygiene for evaluering: Hold trening, validering og test adskilt, og unngå datalekkasjer mellom dem.
  • Kontaminering: Sørg for at evalueringssett ikke forurenses av produksjonsdata, prompt-historikk eller manuelle korreksjoner fra drift.
  • Sporbarhet: Dokumenter datakilder, transformasjoner, datasettversjoner og evalueringsgrunnlag.

Praktisk gjennomføring i team

Datavalidering fungerer best når den er en fast del av leveranseløpet.

  • Definer valideringsregler som kode og versjoner dem.
  • Legg valideringstester inn i CI/CD for kontrakter, skjema og kritiske transformasjoner.
  • Overvåk valideringsfeil i produksjon for å fange datadrift og integrasjonsbrudd tidlig.
  • Gjennomfør jevnlig revisjon av regler når datakilder, API-er eller modeller endres.

Veien videre

4 - Sikkerhetspraksiser

Det er mye å tenke på dersom en skal bygge en sikker løsning, og et viktig utgangspunkt er OWASP Top 10.

Det finnes mange ulike typer sårbarheter og svakheter vi må forholde oss til når vi utvikler nye applikasjoner. Organisasjonen Open Worldwide Application Security Project (OWASP) publiserer en prioritert liste over vanlige applikasjonssårbarheter som brukes av mange team som et praktisk utgangspunkt.

OWASP Top 10 er ikke en komplett sikkerhetsstandard, men en nyttig prioritering av hva som typisk går galt i virkelige prosjekter.

Gjeldende punkter i OWASP Top 10

Per i dag er siste publiserte versjon OWASP Top 10:2025:

  1. A01:2025 - Broken Access Control
  2. A02:2025 - Security Misconfiguration
  3. A03:2025 - Software Supply Chain Failures
  4. A04:2025 - Cryptographic Failures
  5. A05:2025 - Injection
  6. A06:2025 - Insecure Design
  7. A07:2025 - Authentication Failures
  8. A08:2025 - Software or Data Integrity Failures
  9. A09:2025 - Security Logging and Alerting Failures
  10. A10:2025 - Mishandling of Exceptional Conditions

Fra Top 10 til praksis i teamet

Dersom teamet ikke har noen prosesser rundt sikker utvikling, er dette et godt sted å starte. For å få effekt i praksis må punktene omsettes til konkrete kontroller i leveranseløpet.

For en mer praktisk gjennomgang av hvordan slike tiltak kan bygges inn i produktutvikling, se også Slik etablerer bedriften gode sikkerhetstiltak i produktutviklingen.

Et minimum er vanligvis å:

  • definere sikkerhetskrav tidlig og knytte dem til arkitektur og brukerhistorier
  • gjennomføre kodegjennomgang og tester som inkluderer sikkerhetsrelevante scenarioer
  • bruke automatiserte kontroller i CI/CD for avhengigheter, konfigurasjon og hemmeligheter
  • sikre sporbarhet på endringer, bygg og deploy
  • oppdatere trusselmodell og risikovurdering ved større endringer

For team med større modenhet innenfor applikasjonssikkerhet er OWASP ASVS et naturlig neste steg. ASVS går mer i dybden enn Top 10 og kan brukes som verifikasjonsgrunnlag i ulike modenhetsnivå.

Hva med AI?

OWASP Top 10 for webapplikasjoner dekker fortsatt mange grunnleggende problemer, også i løsninger som bruker KI. Samtidig introduserer KI egne trusler som ikke dekkes fullt ut av denne listen alene.

For prosjekter med KI-komponenter bør teamet i tillegg bruke:

Detaljer om trygg bruk av KI i utviklingsløpet er beskrevet i Bruk av kunstig intelligens. Risiko rundt avhengigheter, artefakter og byggkjede er beskrevet i Forsyningskjedesikkerhet.

OWASP publiserer mye annet i tillegg, både andre Top 10-lister og det de kaller “cheat sheets”, som gir mer detaljert informasjon om spesifikke sikkerhetstema.

Veien videre

5 - Utviklingsmiljø, verktøy og byggmiljø

Miljøene og verktøyene vi jobber med er essensielle for prosjektet. Teamet bør standardisere verktøybruk, dokumentere oppsett og redusere risiko i utviklings- og byggkjeden.

Utviklingsmiljøet og byggmiljøet er noe av det viktigste vi har i et utviklingsprosjekt. Disse miljøene er både en produktivitetsfaktor og en kritisk del av angrepsflaten. Noen team utvikler og bygger lokalt på egen laptop, mens andre bruker dedikerte utviklings- og byggmiljø basert på skytjenester eller on-prem utviklingsservere. Uavhengig av løsning er det noen grunnprinsipper som bør være på plass: tydelig eierskap, dokumenterte valg, standardiserte oppsett og jevnlig oppfølging.

Verktøy

Et typisk team benytter seg av:

  • IDE og utvidelser
  • versjonskontroll, typisk git
  • KI-baserte kodeassistenter
  • et verktøy for CI/CD
  • øvrige tjenester som teamet drifter eller konsumerer, for eksempel meldingstjenester, filoverføring og KI-verktøy

Disse verktøyene har stor betydning for sikkerhet og kvalitet i leveransen. Derfor bør teamet avklare hvilke verktøy som er tillatt, hvordan de settes opp, og hvordan endringer eller oppdateringer håndteres der dette er relevant.

Utvidelser og extensions

Mange verktøy tillater bruk av ulike utvidelser for å tilby funksjonalitet fra tredjepart som ikke er bygd inn i verktøyet fra leverandøren. Dette gjør det mulig å bruke standardverktøy som VS Code, som tilpasses til hvert enkelt prosjekt med de utvidelsene som er relevante for teknologivalg og arbeidsprosess.

Utvidelser er imidlertid en stor angrepsvektor, så det er viktig å ha noen grunnprinsipper som hjelper teamet å vurdere kvaliteten på dem. Leverandører som KOI tilbyr løsninger for å hjelpe med dette, men i mangel av verktøy er det noen grunnprinsipper som kan hjelpe:

  • Ikke ta utvidelser ukritisk i bruk. Vurder historikk, opphav og oppdateringsfrekvens.
  • Har utvidelsen historikk i form av tidligere sårbarheter eller liknende; dersom ja, hvordan ble de håndtert?
  • Følg med på utvidelsene du har, sett deg inn i endringer før du oppdaterer. Vurder også å avvente oppdatering til noen dager etter at den er tilgjengelig.

Som med alt annet på internett: stjerner, ratings og omtaler kan ikke stoles på og bør ikke være eneste grunnlag for å avgjøre hvorvidt noe skal tas i bruk eller ei.

KI i utviklingsmiljøet

Generative AI-verktøy kan gi høyere utviklingstakt, men innfører også nye risikoer. Bruk av KI må avklares med kunden før verktøy tas i bruk.

Sentrale avklaringer er:

  • hvilke KI-tjenester som er godkjent
  • hvilke data som kan brukes i prompt og som underlag
  • hvordan leverandøren lagrer og gjenbruker data
  • hvordan bruk av KI dokumenteres i teamet

En enkel tommelfingerregel er at kode, arkitektur, logger og konfigurasjon behandles som sensitiv informasjon inntil annet er avklart.

Versjonskontroll

Versjonskontroll gir sporbarhet og kontroll over endringer, men sikkerhetsgevinsten avhenger av hvordan arbeidsflyten brukes i praksis. Oppsett av repositories, branchingstrategi, signering og hooks er beskrevet i Versjonskontroll.

Kildekode er en kritisk verdi i prosjektet og bør vurderes i sammenheng med disaster recovery og backups.

CI/CD som sikkerhetskontroll

Et godt CI/CD-system (Continuous Integration / Continuous Deployment) kan øke sikkerheten betydelig ved å automatisere kvalitets- og sikkerhetskontroller tidlig i kjeden. Hvilke kontroller pipelinen bør kjøre, og hvordan tredjeparts actions må behandles som en del av forsyningskjeden, er beskrevet i CI/CD-artikkelen.

Forsyningskjedesikkerhet i praksis

Moderne programvare bygges av mange avhengigheter. Derfor må teamet ha kontroll på hele forsyningskjeden, ikke bare egen kode. Husk på at forsyningskjeden dekker alle avhengigheter teamet har, ikke bare pakker og biblioteker.

Teamet bør sikre at dere har kontroll på avhengigheter og risiko ved å bruke disse. Vanlige eksempler på komponenter en bør ha oversikt over er:

  • IDE og andre koderedigeringsverktøy
  • KI-verktøy
  • Utvidelser/plugins
  • Støtteverktøy som Figma, databasemodelleringsverktøy eller liknende
  • Skykomponenter
  • Versjonskontroll
  • CI/CD - også inkludert actions som kjøres
  • Rammeverk, pakker og bibliotek

Det er ikke gitt at teamet styrer alt, men en bør likevel ha et forhold til hvordan livssyklusen på disse håndteres og hvordan endringsprosessene fungerer i praksis.

Utviklingsmiljø og byggmiljø

Et av de store risikoelementene ved all utvikling er dersom:

  • uvedkommende kan nå en maskin som brukes til utvikling, bygging eller produksjon
  • maskinen kan nå internett uten særlige begrensninger
  • slike maskiner mangler monitorering

Alle utviklere har avhengigheter til biblioteker og pakker fra open source-økosystemer. Noen av disse kan kompromitteres eller forfalskes, og dermed introdusere bakdører eller eksfiltrering av data.

Viktige tiltak for å redusere risiko er å:

  • stenge for all innkommende nettverkstrafikk
  • stenge for all utgående nettverkstrafikk
  • kun åpne opp for de tilgangene som absolutt trengs
  • unngå bruk av generelle maskiner som brukes til surfing på nett, kontoraktiviteter og liknende til utvikling

Det er ikke alltid mulig å forsvare dedikerte maskiner for utvikling ut fra kost/nytte. Dette bør likevel vurderes bevisst, slik at teamet kjenner hvordan valget påvirker risikobildet.

Minimum som bør dokumenteres

Følgende bør minimum være dokumentert og vedlikeholdt:

  • godkjente verktøy og versjoner
  • krav til oppsett av utviklingsmaskiner og byggmiljø
  • nettverkstilganger og begrunnelser
  • logging og monitorering av miljøene
  • rutiner for patching og oppgraderinger
  • ansvar for forvaltning av verktøy og miljø

Veien videre

6 - Dokumentasjon

God dokumentasjon er avgjørende for kontinuitet, etterprøvbarhet og sikkerhet. Det gjelder valgene som er tatt, trusler som er vurdert, og systemets faktiske oppførsel – også i AI-systemer.

Dokumentasjon er ofte nedprioritert under leveranse, men manglende dokumentasjon skaper reell risiko. Kildekode beskriver hvordan noe fungerer, men ikke hvorfor valg ble tatt, hvilke trusler som er vurdert, eller hvilke forutsetninger løsningen er avhengig av.

Sikkerhetskontekst som kun finnes i hodet på enkeltpersoner er en sårbarhet. Sikkerhetsmekanismer som ikke er dokumentert risikerer å bli fjernet uten at noen forstår konsekvensen. Trusselmodeller som ikke er skrevet ned kan heller ikke vedlikeholdes eller revideres.

God dokumentasjon gir teamet mulighet til å vurdere risiko over tid, ikke bare ved ferdigstilling.

Dokumentasjonsløsning

Teamet må velge en løsning som faktisk brukes. Dokumentasjon som lever i et verktøy ingen åpner, gir liten verdi.

Populære tilnærminger inkluderer docs-as-code, der dokumentasjon skrives i Markdown og versjoneres i git ved siden av kildekoden. Dette gir lavere terskel for oppdateringer og full historikk over endringer.

Uansett løsning: husk at god dokumentasjon kan være like sensitiv som kildekoden. Trusselmodeller med åpne funn, arkitekturbeskrivelser og sikkerhetskonfigurasjoner må beskyttes på linje med systemet de beskriver.

Det gjelder også når noen utenfra ber om innsyn, for eksempel ved en revisjon. Vurder om et sammendrag dekker behovet, om deler av materialet må skjermes, og hvordan tilgangen logges og avgrenses. Målet er å være åpen nok til å dokumentere etterlevelse, uten å eksponere sårbarheter som ennå ikke er lukket.

Hva skal dokumenteres

Hva som må dokumenteres vil variere med prosjektets størrelse og kritikalitet, men følgende bør alltid være på plass:

  • Systemdesign: Skisser og diagrammer som viser infrastruktur, dataflyt, IAM og integrasjoner – på et nivå som gjør det mulig å ettergå arkitekturvalgene som er tatt.
  • Trusselmodell: Hvilke trusler er vurdert, hvilke tiltak er innført og hvilken restrisiko er akseptert. Trusselmodellen må vedlikeholdes og oppdateres ved endringer.
  • Sikkerhetskonfigurasjon: Konfigurasjoner som er sikkerhetskritiske skal dokumenteres, slik at de ikke utilsiktet endres eller utelates ved oppgradering og nyoppsett.
  • Hendelseslogg og avvik: Sikkerhetshendelser og avvik bør loggføres og dokumenteres, inkludert hva som ble gjort og hvilke læringspunkter som ble identifisert.
  • Kritiske avhengigheter: Eksterne tjenester, tredjepartsbiblioteker og integrasjoner som løsningen er avhengig av for korrekt sikkerhetsfunksjon.

Kritikaliteten til løsningen legger føringer for dybden: et system med 24/7-krav og høy konsekvens ved nedetid trenger mer detaljert dokumentasjon enn et internt lavrisikosystem.

Dokumentasjon av KI-systemer

KI-systemer stiller krav til dokumentasjon som tradisjonell teknisk dokumentasjon ikke fullt ut dekker. Modeller, treningsdata og evalueringsresultater endres over tid og påvirker systemets oppførsel på måter som ikke alltid er synlige i kode alene.

Følgende bør dokumenteres for løsninger med KI-komponenter:

  • Systemformål og tiltenkt bruk: Hva systemet er designet for å gjøre, hvem det er ment for, og hvilke bruksscenarioer som er utenfor scope.
  • Modellbeskrivelse: Hvilken modell brukes, hvem som har utviklet den, hvilken versjon og hvilken arkitektur. Dersom modellen er egentrent: treningsoppsett og metodikk.
  • Treningsdata og dataopphav: Beskrivelse av hvilke data modellen er trent på, inkludert kilder, lisensiering, eventuelle begrensninger og kjente svakheter i datagrunnlaget.
  • Evalueringsresultater: Dokumenterte målinger på ytelse, nøyaktighet, robusthet og eventuelle bias-funn. Evalueringsgrunnlag og metrikker bør beskrives slik at resultatene kan reproduseres og sammenlignes over tid.
  • Risikovurdering: Hvilke risikoer er identifisert knyttet til modellens oppførsel, og hvilke tiltak er innført. Dette inkluderer risiko for feilklassifisering, hallusinasjoner, urettferdig behandling og misbruk.
  • Menneskelig oversikt og grenser for autonomi: Hvor og hvordan mennesker involveres i beslutninger, og hvilke begrensninger som er lagt på hva systemet kan gjøre autonomt.
  • Endringsstyring: Hvordan modellversjoner styres, testes og rulles ut. Endringer i modell, treningsdata eller konfigurasjon bør spores og begrunnes.

Minimumsmal for KI-dokumentasjon

For å gjøre dette praktisk og konsistent kan teamet bruke en enkel minimumsmal per modellversjon eller vesentlig endring:

  • identifikator: modellnavn, versjon, dato og ansvarlig
  • formål og scope: hva modellen er godkjent for, og hva som er utenfor scope
  • datagrunnlag: kilder, avgrensninger, lisens og kjente svakheter
  • evaluering: testsett, metrikker, resultater og baseline-sammenligning
  • risiko og tiltak: sentrale funn, kompenserende kontroller og restrisiko
  • godkjenning: beslutning, godkjenner og eventuelle vilkår for produksjonsbruk
  • observabilitet: hva som logges/overvåkes i drift og hvilke terskler som utløser oppfølging

Malen trenger ikke være omfattende, men den bør være lik hver gang slik at sammenligning, revisjon og gjenbruk blir enkelt.

Denne dokumentasjonen er nødvendig både for intern kontroll og for å kunne demonstrere etterlevelse overfor kunder, tilsynsmyndigheter og andre interessenter.

Veien videre

7 - Hemmeligheter, nøkler og sertifikater

Alle utviklingsprosjekter har behov for hemmeligheter, nøkler og sertifikater: verdier som gir tilgang, som låser data, eller som beviser hvem en tjeneste er. De må oppbevares trygt, byttes med jevne mellomrom og fornyes før de går ut på dato — og de tre tåler ikke de samme feilene.

Hemmeligheter, nøkler og sertifikater er alt som gir tilgang, låser data eller beviser identitet: connection strings, passord, tokens, krypteringsnøkler og sertifikater. For skyløsninger har nøkkelhvelv som Azure Key Vault og tilsvarende blitt standarden, fordi de dekker oppbevaring, tilgangsstyring og rotasjon i én tjeneste.

Grunnprinsipper for håndtering av hemmeligheter

  • Hemmeligheter skal aldri hardkodes eller sjekkes inn i versjonskontroll
  • Skann koden, avvis commits med hemmeligheter og roter dem umiddelbart
  • Ha oversikt over hvilke hemmeligheter dere har, og hvilke tilganger de gir
  • Begrens levetiden — ingen hemmelighet bør leve mer enn et år, passord og nøkler mye kortere
  • Gi tilgang ved behov, ikke til alle hele tiden

Hemmelighet, nøkkel eller sertifikat?

Begrepene brukes om hverandre, men de tåler ikke de samme feilene:

  • En hemmelighet gir tilgang. Blir den eksponert, bytter du den: den nye verdien virker umiddelbart, og den gamle slutter å virke.
  • En krypteringsnøkkel låser data. En nøkkel som har kryptert tre år med data kan ikke bare byttes — dere må vite hva som er kryptert med hvilken nøkkel, og enten kryptere på nytt eller beholde den gamle for å lese historikken.
  • Et sertifikat er en identitet med utløpsdato. Det må fornyes i tide, og trekkes tilbake dersom den private nøkkelen kommer på avveie.

Skillet avgjør hva som skjer den dagen noe må erstattes i hast. Svikt her er A04:2025 Cryptographic Failures på OWASP Top 10.

Nøkkelhåndtering

Nøkkelens livsløp

  • Generering. Bruk en kryptografisk sikker tilfeldighetskilde, i tjenesten som skal eie nøkkelen — ikke på en utviklermaskin.
  • Oppbevaring. Nøkkelen bør ikke forlate nøkkelhvelvet. Be hvelvet utføre operasjonen i stedet for å hente ut nøkkelen.
  • Rotasjon. Nye data krypteres med ny nøkkel. Gamle nøkler beholdes så lenge det finnes data kryptert med dem.
  • Tilbaketrekking. En kompromittert nøkkel må kunne deaktiveres raskt, og dere må vite hva som slutter å virke i samme øyeblikk.
  • Destruksjon. Slettet nøkkel betyr slettede data: effektivt ved sletting av personopplysninger, alvorlig ved uhell.

Hvert steg bør være beskrevet, ikke bare konfigurert: hvem kan utføre det, og logges det?

Nøkler som krypterer nøkler

Data krypteres med en datanøkkel, som igjen krypteres med en hovednøkkel i et nøkkelhvelv (KMS) eller i maskinvare (HSM). Dette kalles envelope encryption, og gevinsten er at hovednøkkelen kan roteres uten at alle data må krypteres på nytt. Hovednøkkelen forlater aldri hvelvet. Et HSM garanterer i tillegg at nøkkelen bare kan brukes, aldri leses ut — aktuelt når kravene tilsier det, ikke som standardvalg.

Hvem eier nøklene?

Når kunden eier dataene, er det ikke gitt at vi skal eie nøklene. Avklar hvem som genererer dem, hvem som har tilgang, og hva som skjer ved avtaleslutt. Dette hører hjemme i ansvarsfordelingen, ikke i en konfigurasjonsfil.

Sertifikater

Et utløpt sertifikat er en av de vanligste årsakene til nedetid, og regnes sjelden som en sikkerhetssak før det smeller.

  • Utstedelse. Vit hvem som utsteder sertifikatene, og hvilke som bare er gyldige internt.
  • Fornyelse. Automatiser der det er mulig. Manuell fornyelse blir glemt.
  • Overvåking. Varsle i god tid før utløp. Dette bør monitoreres sammen med annen drift, ikke ligge som en kalenderpåminnelse hos én person.
  • Tilbaketrekking. Er den private nøkkelen eksponert, er fornyelse ikke nok.

Utløpte sertifikater og utilgjengelige nøkkelhvelv er også scenarier for beredskapsplanen.

Kryptografi og hashing

Kryptografi og hashalgoritmer krever store ressurser og mye kompetanse å bygge riktig. Lag derfor aldri dine egne, uansett hvor sikre de ser ut. Gjør dette i stedet:

  • sett deg inn i beste praksis for ditt språk, rammeverk og plattform
  • unngå sårbare algoritmer som SHA1, MD5 og DES
  • følg gjeldende anbefalinger for nøkkellengder og bruk

Kryptering i hvile og i transitt

Plattformen krypterer som regel lagring og trafikk som standard, og det dekker den vanligste trusselen: noen som får tak i en disk eller lytter på nettverket. Det løser ikke tilgangsproblemet — plattformkryptering er usynlig for en angriper som allerede har gyldig tilgang. Vurder derfor om:

  • særlig sensitive felter bør krypteres i applikasjonen, slik at de er uleselige også for en databaseadministrator
  • trafikk mellom interne tjenester krypteres på linje med trafikk utenfra
  • backup og eksporterte filer arver krypteringen fra kilden — det gjør de ikke nødvendigvis

Hemmeligheter og KI-verktøy

Hemmeligheter i prompt og kontekst

KI-verktøy kopierer gjerne store deler av kodebasen for å forstå konteksten. Ligger det hardkodede hemmeligheter, konfigfiler med ekte verdier eller testdata med passord i repoet, kan disse havne hos KI-tjenesten. Det er ofte et brudd på avtalen med kunden, og verktøyet kan i verste fall forsøke å bruke dem.

Hovedregel

Lim aldri hemmeligheter, tokens eller ekte credentials i prompt, selv ikke når du debugger eller spør om hjelp.

KI-generert kode som logger hemmeligheter

KI-generert kode følger ikke alltid beste praksis. Sjekk før den kjøres:

  • logges eller skrives sensitive data til stdout?
  • legges hemmeligheter i cache eller midlertidige filer?
  • vises hemmeligheter i feilmeldinger?

Redusert tilgang og exclusions

Noen KI-verktøy tilbyr content exclusion, slik at mapper eller filtyper utelates fra det verktøyet leser. Bruk det som et ekstra lag, men ikke som eneste barriere.

Rotasjon etter eksponering

Hemmeligheter som har vært eksponert — i logger, i kildekode, for KI-verktøy eller på annet vis — skal roteres. Det holder ikke å fjerne dem og håpe; anta alltid at en eksponert verdi kan utnyttes. Det samme gjelder nøkler og sertifikater.

Husk

Hemmeligheter skal aldri sjekkes inn i kildekodesystemet. Uhell kan skje, så om du er uheldig og likevel gjør det må du rotere den slik at den ikke lenger er gyldig. Å slette den fra historikken er ikke godt nok!

Veien videre

8 - Sikkerhetstesting

På linje med andre elementer assosiert med temaet kvalitet er vi avhengige av å kunne teste for å verifisere at vi har oppnådd målet. Sikkerhetstesting er et viktig ledd i dette, da vi gjennom testingen kan vise at leveransen ikke er sårbar for gitte angrepsmetoder.

Sikkerhetstesting bør alltid være et element av alle leveranser. Mange assosierer sikkerhetstesting med penetrasjonstesting, men det er mye mer enn dette. Noen former for testing kan gjøres automatisk som del av CICD, andre er mer manuelle og skjer typisk mot en deployert løsning.

Før en setter i gang med sikkerhetstesting er det viktig å sette seg inn i hva dette kan gi deg - det finnes ingen enkelttiltak som løser alle sikkerhetsproblemer, og heller ingen enkelt testmetode som avdekker alle svakheter. Sikkerhetstesting er også et av områdene som ofte krever spesifikk kompetanse for at resultatene skal bli gode og/eller tolket korrekt.

Advarsel

Bruk av verktøy som nmap og annet som brukes i forbindelse med sikkerhetstesting må alltid avklares med eiere av infrastruktur og nettverk, da det er vanskelig å skille vennligsinnet testing fra ondsinnede angrep. Dette gjelder også internt i Bouvet; Intern-IT & Sikkerhet skal alltid være i loopen før du starter en sikkerhetstest!

Dersom dette ikke tas hensyn til kan det få konsekvenser, både for kundeforholdet men også for tekniske løsninger mot nettleverandør og Microsoft.

Testmiljø

Når en skal bedrive sikkerhetstesting mot et kjørende miljø er det viktig at en alltid avklarer dette godt i forkant. Mange typer testing kan være destruktiv, så dersom miljøene ikke er godt nok adskilt kan en risikere å påvirke andre miljø enn tiltenkt.

En god løsning, spesielt dersom en bruker infrastruktur-som-kode (IAC) er å ha en pipeline som deployer et eget miljø som kan brukes for sikkerhetstesting. Dersom dette designes inn i leveransen fra starten, vil det ofte være enkelt å sette opp miljø som er identiske med produksjonsmiljøet, der en også kan kopiere databaser og eventuelt kjøre anonymiseringsprosesser mot dataene.

Statisk kodeanalyse (SAST)

Statisk kodeanalyse er en lavterskelteknikk som analyserer koden med avhengigheter for å finne svakheter. SAST kan gjennomføres helt automatisk, og det finnes mange gode verktøy som kan bygge dette inn i CICD slik at du kan skanne som en del av prosessene her.

SAST sjekker kun løsningen som lages, den avdekker ingenting rundt konfigurasjon av kjøremiljø, nettverk eller andre omkringliggende avhengigheter. Verktøy som brukes for å gjennomføre SAST er språkspesifikke, så det er viktig å sette seg inn i hvilke verktøy som gir best resultat for språk og eventuelt rammeverk som benyttes.

Dynamisk applikasjonssikkerhetstesting (DAST)

I motsetning til SAST er DAST en teknikk der en tester en løsning i kjørende tilstand. Dette er en språkagnostisk testmetode, der en eksempelvis tester en webapplikasjon gjennom å teste frontendløsningen for å finne svakheter. DAST kan automatiseres, men må ofte kjøres manuelt for at enkelte typer svakheter skal testes.

DAST vil kun dekke funksjonalitet eksponert i den kjørende løsningen, så dersom en har kode som er en del av løsningen men som ikke er tilgjengelig for DAST-verktøyet vil dette heller ikke kunne testes.

Sikkerhetstesting av AI-systemer

Løsninger som bruker kunstig intelligens introduserer sikkerhetstestingsbehov som går utover tradisjonell SAST og DAST. AI-systemer må valideres for at de oppfører seg som forventa og at de ikke introduserer nye sårbarhetsvektorer.

Validering av AI-modeller

AI-modeller skal valideres for:

  • Nøyaktighet og ytelse: Modellen skal oppfylle definerte kvalitetskrav under forventede bruksforhold
  • Bias og fairness: Tester for å avdekke om modellen diskriminerer basert på sensitive attributter
  • Robusthet: Testing av hvordan modellen oppfører seg ved uventet eller adversariell inndata
  • Hallusinasjoner: Verifisering av at modellen ikke genererer falsk informasjon eller usikre mønstre

Validering av AI-modeller krever ofte domene-spesifikk kompetanse og bør være en del av ansvaret til datalagene og ML-teamet, ikke bare infosikkerhet.

Sikkerhetstesting av AI-komponenter

I tillegg til modellvalidering må løsningen som helhet testes for:

  • Prompt injection: Tester for om inndata kan manipulere AI-agenten til å oppføre seg uventet
  • Dataeksfiltrering: Verifisering av at sensitive opplysninger ikke blir ekstrahert via prompts eller outputs
  • Tillitsgrenser: Testing av hvordan systemet oppfører seg når AI-assistansen overskrider sine definerte grenser

Disse truslene må håndteres med samme rigor som tradisjonelle applikasjonssikkerhetstester. For prosjekter med KI-komponenter bør teamet bruke OWASP Top 10 for LLM Applications som grunnlag.

Penetrasjonstesting

En penetrasjonstest går dypere enn SAST og DAST ved å teste systemet som en helhet, inkludert infrastruktur, nettverk og i noen tilfeller fysisk sikring — der testerne kan forsøke å ta seg inn i lokaler for å avdekke svakheter i fysiske barrierer eller rutiner. Der DAST primært fokuserer på webapplikasjoner, vil en pentest være mer omfattende og ofte avdekke sårbarheter som bare blir synlige når flere trusler kombineres.

En penetrasjonstest vil alltid ha et avtalt omfang som regulerer hva pentesterne kan gjøre, når de kan gjøre det og hvilke ressurser som kan testes. Det er ikke mulig å bevise at en løsning er sikker, kun at den ikke er sårbar mot gitte angrep. Pentesting er derfor særlig nyttig når løsningen har strenge sikkerhetskrav eller opererer innenfor et avtaleverk som krever uavhengig verifisering.

Planlegging og omfang

En pentest krever kompetanse og skal ikke gjennomføres på egen hånd uten relevant erfaring. Som team må dere sikre at miljøet som skal testes er tydelig identifisert, og at omfanget er godt definert før testingen starter. Det må være mulig å skille et faktisk angrep fra en avtalt test. Dersom du ser tegn på aktivitet mot et miljø som ikke er en del av testen og dere har segregert miljøene, bør dette håndteres som en reell hendelse.

Som en del av planleggingen må dere også avklare kundens rutiner for pentesting. Mange virksomheter har et sikkerhetssenter (SOC) og/eller nettverkssenter (NOC) som overvåker infrastrukturen kontinuerlig. Disse må være informert når testen er varslet, slik at en avtalt test ikke utløser unødvendig eskalering.

I noen tilfeller ønsker kunden en uvarslet test for å se om angrepet oppdages. Det må i så fall være eksplisitt avtalt, siden en pentest i praksis er et simulert angrep.

Når pentest er aktuelt

I en perfekt verden ville en gjennomført pentest ved alle større endringer, men dette er sjelden praktisk. Hvor ofte testen skal gjennomføres avhenger av kundekrav, regulatoriske føringer og hvor mye risiko løsningen bærer. Dette bør avklares tidlig, ikke først når dere ønsker å bestille en test.

Oppfølging under og etter test

Dersom testen er varslet i forkant, er det en god anledning til å følge med på logger og monitorering for å se om hendelsene blir fanget opp. Dersom funnene i rapporten kan korreleres med det dere observerer i logger og alarmer, gir det et godt grunnlag for å forbedre deteksjon og varsling.

Etter testen vil teamet normalt motta en rapport som beskriver hva som er testet, hvordan testen ble gjennomført og hvilke funn som ble gjort. Funnene må gjennomgås med produkteier, klassifiseres og legges i backloggen. Noen funn må lukkes raskt, mens andre kan aksepteres eller planlegges senere dersom andre tiltak reduserer risikoen. Sikkerhet er ikke et individuelt ansvar: leveranseansvarlig har ansvar for at sikkerhetstiltak blir innført, men det er teamets felles ansvar å følge opp kravene som gjelder for løsningen.

AI-fokuserte penetrasjonstester

Dersom løsningen inkluderer AI-komponenter, bør pentestingen også dekke:

  • Testing av API-sikkerhet rundt AI-modellen
  • Endrings- og versjonskontroll av modeller og treningsdata
  • Logging og overvåking av AI-systemets oppførsel
  • Tilgangskontroll til sensitive modeller og data

For løsninger med AI-komponenter bør pentestingen også vurdere prompt injection, manipulering av kontekst, uautorisert tilgang til modellkall og om modellen kan brukes til å hente ut sensitiv informasjon som systemet ellers ikke ville eksponert.

Veien videre

9 - Kodegjennomgang

Kodegjennomgang er at noen andre enn forfatteren ser over en endring før den slippes inn i løsningen. Det er en av de billigste sikkerhetskontrollene vi har, og i motsetning til mange verktøy kan den også stille viktige kontrollspørsmål rundt konsekvensene av endringen i en større sammenheng.

De fleste team har allerede kodegjennomgang som et krav: endringer skal inn via pull request, og noen skal godkjenne før de merges. Mange svikter imidlertid på et viktig punkt, og sier lite eller ingenting om hva den som godkjenner faktisk skal se etter. Dersom dette blir etablert praksis, er det fort gjort å ende opp med kodegjennomgang på autopilot; alle tester er grønne og vi klikker på approve fordi vi ikke har funnet noe tidligere.

Hva skiller en sikkerhetsgjennomgang fra en vanlig kodegjennomgang

En vanlig kodegjennomgang spør typisk: løser denne endringen oppgaven, og er den til å leve med? Spørsmålene handler om lesbarhet, navngiving, struktur, testdekning og om endringen passer inn i resten av kodebasen.

En sikkerhetsgjennomgang stiller et tilleggsspørsmål: hva kan denne endringen brukes til av noen som vil oss vondt? Forskjellen er ikke at det er et eget møte eller en egen prosess — det er de samme øynene på den samme endringen, med et ekstra sett spørsmål i bakhodet.

  • Hva-hvis? Mange sikkerhetsfeil er fravær: sjekken som mangler, begrensningen ingen tenkte på, feilhåndteringen som ikke ble skrevet. En diff viser tydelig hva som er lagt til, men sier ingenting om hva som burde vært lagt til, eller hvordan noe kan feile uventet.
  • Ikke ta forfatterens antakelser for gitt. Koden er som regel riktig for det tilfellet forfatteren hadde i hodet. Spørsmålet er hva som skjer med input som er tom, enorm, feil type, feil tegnsett, eller som kommer fra en bruker med en annen rolle enn den forfatteren så for seg.
  • Følg dataene. Hvor kommer inputen fra, hvor havner den, og hvem har kontroll over den underveis? Sårbarheter oppstår sjelden på én linje, men i avstanden mellom der data kommer inn og der de brukes.
Merk

En sikkerhetsgjennomgang erstatter ikke sikkerhetstesting, og testing erstatter ikke gjennomgangen. De finner ulike typer feil, og begge deler trengs.

Endringer som alltid bør ha et ekstra par øyne

Ikke alle endringer bærer samme risiko. En justering av en tekststreng i grensesnittet og en endring i hvem som får lov til å gjøre hva, er ikke i nærheten av å være like farlige. Noen kategorier av endringer er mer komplekse og bærer en annen risiko, og bør derfor ettergås i mer detalj.

  • Autorisering og tilgangskontroll. Hvem får gjøre hva, og sjekkes det hver gang — eller bare i grensesnittet? Dette er det vanligste alvorlige funnet i bransjen, og ligger på topp i OWASP Top 10 som A01:2025 Broken Access Control.
  • Kryptografi og hemmeligheter. Egenskrevet kryptering, utdaterte algoritmer, nøkler som havner i kode eller logg, eller tilfeldighet som ikke er tilfeldig nok. Det er nesten alltid riktig å bruke plattformens etablerte biblioteker framfor å finne opp noe selv.
  • Spørringer og annen strengsammensetning. Bygges spørringer, kommandoer eller stier ved å lime sammen tekst med data utenfra? Parameteriserte spørringer er regelen; strengkonkatenering er unntaket som må begrunnes.
  • Deserialisering og parsing av data utenfra. Alt som gjør et dokument, en melding eller en fil om til objekter i minnet er et angrepspunkt. Spør hvilke typer som faktisk kan oppstå, og om formatet i det hele tatt trenger å være så fleksibelt.
  • Filhåndtering. Opplasting, nedlasting og alt som setter sammen filstier. Her ligger både stimanipulering, filtyper som ikke burde vært tillatt, og filer som blir liggende der de ikke skal.
  • Endringer i byggkjeden. Nye avhengigheter, endringer i pipeline, nye actions eller endret konfigurasjon påvirker ofte sikkerheten mer enn selve applikasjonskoden.

Et praktisk grep er å gjøre denne lista eksplisitt i teamet: berører endringen noe av dette, kreves det en gjennomgang av noen som kan området — ikke bare en godkjenning fra den som er ledig.

En kort sjekkliste for den som gjennomgår

Lista er ment som en huskeliste, ikke et skjema som skal fylles ut:

  • Forstår jeg hva endringen faktisk gjør?
  • Hvor kommer data inn i denne endringen, og hvordan valideres de?
  • Påvirker dette tilgangsstyringen direkte eller som en bivirkning?
  • Er det lagt til nye hemmeligheter, nøkler eller tilganger, og ligger de der de skal?
  • Hva skjer når noe feiler, og hva vises for brukeren?
  • Har vi nok informasjon i loggen til å se når noe går galt samt finne ut hva i etterkant, og logger vi noe som ikke burde logges?
  • Har vi vurdert nye avhengigheter; blir de vedlikeholdt og er de nødvendige?

Når gjennomgangen blir flaskehalsen

Med KI-assistert utvikling har det blitt svært billig å produsere kode, mens gjennomgang er like dyrt som før. Et team som leverer tre ganger så mange endringer, har ikke tre ganger så mye kapasitet til å gjennomgå dem. Det finnes ingen måte å lese seg ut av dette på. Løsningen er å bruke kapasiteten der den gir mest:

  • Differensier på risiko. Alt trenger en gjennomgang, men ikke alt trenger samme dybde. Kategoriene over går til noen som kan området; for resten holder det med et raskt blikk.
  • Hold endringene små. KI gjør store pull requests nesten gratis, men lesekostnaden er uendret. En gjennomgang av 2000 linjer er ikke en gjennomgang.
  • Flytt det mekaniske til verktøy. Formatering, kjente mønstre, hemmeligheter på avveie og sårbare avhengigheter skal fanges av automatiske kontroller i pipeline. Hvert funn et verktøy tar, er oppmerksomhet frigjort.
  • Krev at forfatteren kan forklare endringen. Det flytter arbeidet dit det er billigst, og er det mest effektive filteret mot kode ingen egentlig har vurdert.
  • Planlegg for kapasiteten. Øker produksjonen kraftig, må gjennomgang ha tid satt av. Er ventetid på gjennomgang den dominerende delen av ledetiden, er det prosessen som må fikses — ikke kontrollen som skal fjernes.

Bruk KI til å effektivisere gjennomgangen

De samme verktøyene som gjør det billig å produsere kode, kan ta en stor del av gjennomgangen. Poenget er å legge kravene inn i verktøyet, ikke å be om en vurdering i etterkant.

Instruksjoner

Instruksjonsfiler er prosjektets stående ordre til KI-verktøyene. Et krav som skrives ned én gang, gjelder hver eneste endring, i stedet for å måtte fanges opp av en reviewer én endring om gangen. Sikkerhetskravene hører hjemme her, konkrete nok til å etterprøves:

  • autorisering sjekkes der handlingen utføres, ikke bare i grensesnittet
  • spørringer parameteriseres
  • hemmeligheter hentes fra teamets løsning for hemmelighetshåndtering
  • data utenfra valideres mot en eksplisitt liste over hva som er gyldig
  • feilmeldinger til brukeren inneholder ikke interne detaljer

«Følg beste praksis» betyr like lite for en modell som for et nytt teammedlem. Instruksjonene er en sikkerhetskontroll på linje med policy i CI/CD: de ligger i repoet og endres via pull request. Eksempler og mønstre finnes i bouvet-ai-harness.

Skills

En skill er en navngitt arbeidsmåte med steg og vurderingskriterier, lagret i repoet og tilgjengelig for alle. Sjekklista over er en naturlig kandidat: som skill kjøres den likt hver gang, uten at noen må huske den.

Gevinsten kommer over tid. Det teamet finner i én gjennomgang, legges inn i instruksjonen eller skillen og fanges automatisk neste gang.

Første gjennomgang

La modellen ta runden før pull requesten opprettes. Den er billigst, og forfatteren sitter fortsatt med endringen. Modellen er god på avvik fra instruksjonsfilen, manglende validering og sjekker som er glemt ett sted men gjort ti andre — forutsatt at den får samme kontekst som et menneske: hva endringen skal løse og hvilke krav som gjelder.

For endringer med lav risiko kan dette være hele gjennomgangen. Det bør være et valg teamet tar og skriver ned.

Der mennesket må inn

KI er svakere på det som krever å vite hva løsningen er ment å gjøre: en autorisasjonssjekk som er til stede, men sjekker feil ting, eller en forretningsregel som kan omgås ved å bytte rekkefølge på stegene. Kvalitetssikring før merge krever dessuten at en utvikler har forstått endringen. Godkjenningen er fortsatt menneskets.

Veien videre