Kursplan
Dag 1: Grundlag og kjernetrusler
Modul 1: Introduksjon til OWASP GenAI Sikkerhetsprosjekt (1 time)
Læringsmål:
- Forstå utviklingen fra OWASP Top 10 til GenAI-spesifikke sikkerhetsutfordringer
- Utforsk OWASP GenAI Sikkerhetsprosjekt økosystem og ressurser
- Identifiser viktigste forskjeller mellom tradisjonell applikasjonssikkerhet og AI-sikkerhet
Emner som dekkes:
- Oversikt over OWASP GenAI Sikkerhetsprosjekt oppdrag og omfang
- Introduksjon til Threat Defense COMPASS-rammeverk
- Forstå AI-sikkerhetslandskapet og reguleringsevner
- AI-trusleoverflater vs tradisjonelle webapplikasjonssårbarheter
Praktisk øvelse: Sette opp OWASP Threat Defense COMPASS-verktøy og utføre initiell trusselvurdering
Modul 2: OWASP Top 10 for LLMs - Del 1 (2,5 timer)
Læringsmål:
- Mester de fem første kritiske LLM-sårbarhetene
- Forstå angrepsvektorer og utnyttelsesmetoder
- Bruke praktiske mitigasjonsstrategier
Emner som dekkes:
LLM01: Prompt-injeksjon
- Direkte og indirekte prompt-injeksjonsmetoder
- Skjulte instruksangrep og tvers-prompt-kontaminasjon
- Praktiske eksempler: Jailbreaking chatbots og omgåelse av sikkerhetsforhold
- Forsvarsstrategier: Inputrensing, promptfiltrering, differensiell privatheit
LLM02: Avsløring av sensitive informasjon
- Treningdataekstraksjon og systempromptlekkasje
- Modellatferdsvanalyse for sensitiv informasjonsutslipp
- Personvern implikasjoner og overholdelsesvurderinger
- Mitigering: Outputfiltrering, tilgangskontroll, dataanonymisering
LLM03: Leverandørsårbarheter
- Tredjepartsmodellavhengigheter og plugin-sikkerhet
- Kompromitterte treningdatasett og modellforgiftning
- Leverandørrisikovurdering for AI-komponenter
- Sikker modelldeployering og verifiseringspraksis
Praktisk øvelse: Håndigeværksøvelser som demonstrerer prompt-injeksjonsangrep mot sårbar LLM-applikasjoner og implementering av forsvarsforhold
Modul 3: OWASP Top 10 for LLMs - Del 2 (2 timer)
Emner som dekkes:
LLM04: Data- og modellforgiftning
- Treningdatamanipulasjonsmetoder
- Modellatferdsmodifisering gjennom forgiftede innganger
- Backdoor-angrep og dataintegritetsverifisering
- Forebygging: Datavalideringspipelines, opprinnelsessporing
LLM05: Uegnet outputbehandling
- Usikker behandling av LLM-generert innhold
- Kodeinjeksjon gjennom AI-genererte utdata
- Cross-site scripting via AI-respons
- Outputvaliderings- og renseframeworks
Praktisk øvelse: Simulering av dataforgiftningsangrep og implementering av robuste outputrensmekanismer
Modul 4: Avanserte LLM-trusler (1,5 timer)
Emner som dekkes:
LLM06: Overmåkelig agens
- Risikier ved autonome beslutningsprosesser og grenseovertrampinger
- Agentautorisering og tillatelsesstyring
- Uvante systeminteraksjoner og privilegescalning
- Implementere vaktlinjer og menneskelig oversynskontroll
LLM07: Systempromptlekkasje
- Sårbarheter ved systeminstruksjonsutslipp
- Kredensial- og logikkavsløring gjennom prompts
- Angripteknikker for å ekstrahere systemprompts
- Sikre systeminstruksjoner og ekstern konfigurasjon
Praktisk øvelse: Design av sikre agentarkitekturer med passende tilgangskontroll og overvåkning
Dag 2: Avanserte trusler og implementering
Modul 5: Ny oppstående AI-trusler (2 timer)
Læringsmål:
- Forstå avanserte AI-sikkerhetstrusler
- Implementere avanserte deteksjons- og forebyggingsteknikker
- Design robuste AI-systemer mot sofistikerte angrep
Emner som dekkes:
LLM08: Vector- og embedding-svagheter
- RAG-systemsvulnerabiliteter og vektordatabasessikkerhet
- Embeddingforgiftning og likhetsmanipulasjonsangrep
- Adverserelle eksempler i semantisk søk
- Sikre vektordatabaser og implementering av anomalisdeteksjon
LLM09: Desinformasjon og modellforlidelighet
- Hallucination-deteksjon og -mitigering
- Bias-økning og rettferdighetsvurderinger
- Fakt-sjekking og kildeverifiseringsmekanismer
- Innholdsvalidering og integrering av menneskelig oversyn
LLM10: Ubegrenset forbruk
- Resursutmattelse og nektelstilstand-angrep
- Ratelimitering og resursadministrasjonsstrategier
- Kostoptimalisering og budsjetskontroller
- Ytelsesovervåkning og varslingssystemer
Praktisk øvelse: Bygging av et sikkert RAG-pipeline med vektordatabasebeskyttelse og hallucination-deteksjon
Modul 6: Agenter AI-sikkerhet (2 timer)
Læringsmål:
- Forstå unike sikkerhetsutfordringer ved autonome AI-agenter
- Bruke OWASP Agentic AI-tassifisering til reelle systemer
- Implementere sikkerhetskontroller for multiagentmiljøer
Emner som dekkes:
- Introduksjon til Agentic AI og autonome systemer
- OWASP Agentic AI Trusselklasifisering: Agentdesign, minne, planlegging, verktøybruk, distribusjon
- Multiagent-systemsikkerhet og koordineringsrisikoer
- Verktøymisbruk, minneforgiftning og målhjemlingangrep
- Sikre agentkommunikasjon og beslutningsprosesser
Praktisk øvelse: Trusselmodelløvelse ved hjelp av OWASP Agentic AI-klasifisering på et multiagent kundeservice-system
Modul 7: OWASP Threat Defense COMPASS-implementering (2 timer)
Læringsmål:
- Mester praktisk anvendelse av Threat Defense COMPASS
- Integrere AI-trusselvurdering i organisatoriske sikkerhetsprogrammer
- Utvikle omfattende AI-riksforvaltningsstrategier
Emner som dekkes:
- Dypdykk inn i Threat Defense COMPASS-metodologi
- OODA-løkkeintegrering: Observer, Retter seg mot, Bestemmer, Gjennomfører
- Mapping av trusler til MITRE ATT&CK- og ATLAS-rammeverk
- Bygging av AI-Trusselmodstandsstrategi-dashboards
- Integrering med eksisterende sikkerhetsverktøy og prosesser
Praktisk øvelse: Fullfør trusselvurdering ved hjelp av COMPASS for en Microsoft Copilot-distribusjonsscenarie
Modul 8: Praktisk implementering og beste praksis (2,5 timer)
Læringsmål:
- Design sikre AI-arkitekturer fra bunnen av
- Implementer overvåking og hendelsesrespons for AI-systemer
- Opprett styringsrammer for AI-sikkerhet
Emner som dekkes:
Sikker AI-utviklingslivssyklus:
- Sikkerhet-by-design-prinsipper for AI-applikasjoner
- Kodegennomsynspraksis for LLM-integrasjoner
- Testmetodologier og sårbarhetssanning
- Distribusjonssikkerhet og produksjonshårdforing
Overvåking og deteksjon:
- AI-spesifikke logging- og overvåkningskrav
- Anomalisdeteksjon for AI-systemer
- Hendelsesresponsprosedyrer for AI-sikkerhetshendelser
- Forensikk og undersøkelsesteknikker
Styring og overholdelse:
- AI-riksforvaltningsrammer og politikk
- Overholdelsesvurderinger (GDPR, AI Act osv.)
- Leverandørrisikovurdering for AI-leverandører
- Sikkerhetshva-oppmerksomhetsutdanning for AI-utviklingsteam
Praktisk øvelse: Design en fullstendig sikkerhetsarkitektur for et virksomhetens AI-chatbot, inkludert overvåking, styring og hendelsesresponsprosedyrer
Modul 9: Verktøy og teknologier (1 time)
Læringsmål:
- Evaluer og implementer AI-sikkerhetsverktøy
- Forstå den nåværende AI-sikkerhetsteknologi-landskapet
- Bygg praktiske deteksjons- og forebyggingsevner
Emner som dekkes:
- AI-sikkerhetstverktøyøkosystem og leverandørlandskap
- Open-source sikkerhetsverktøy: Garak, PyRIT, Giskard
- Kommersielle løsninger for AI-sikkerhet og overvåking
- Integreringsmønstre og distribusjonsstrategier
- Verktøyutvalgskriterier og evalueringstilpasningsrammer
Praktisk øvelse: Håndigeværksdemonstrasjon av AI-sikkerhetstestverktøy og implementeringsplanlegging
Modul 10: Fremtidige trender og oppsummering (1 time)
Læringsmål:
- Forstå nye trusler og fremtidige sikkerhetutfordringer
- Utvikle kontinuerlige læring- og forbedringsstrategier
- Opprette handlingssplaner for organisatoriske AI-sikkerhetsprogrammer
Emner som dekkes:
- Ny oppstående trusler: Deepfakes, avanserte prompt-injeksjon, modellinversjon
- Fremtidige utviklinger og veiledning for OWASP GenAI-prosjekt
- Bygging av AI-sikkerhetsfellesskap og kunnskapsdeling
- Kontinuerlig forbedring og truslinformasjonintegrasjon
Handlingssplan-øvelse: Utvikle en 90-dagers handlingssplan for implementering av OWASP GenAI-sikkerhetspraksis i deltagernes organisasjoner
Krav
- Generell forståelse av sikkerhetsprinsipper for webapplikasjoner
- Grunnleggende kjennskap til AI/ML-konsepter
- Erfaring med sikkerhetsrammer eller risikovurderingsmetodologier er foretrukket
Målgruppe
- IT-sikkerhetseksperter
- AI-utviklere
- Systemarkitekter
- Overholdelsestilsynere
- Sikkerhetpraktikere