Kursplan

Dag 1: Grundlag og kjernetrusler

Modul 1: Introduksjon til OWASP GenAI Sikkerhetsprosjekt (1 time)

Læringsmål:

  • Forstå utviklingen fra OWASP Top 10 til GenAI-spesifikke sikkerhetsutfordringer
  • Utforsk OWASP GenAI Sikkerhetsprosjekt økosystem og ressurser
  • Identifiser viktigste forskjeller mellom tradisjonell applikasjonssikkerhet og AI-sikkerhet

Emner som dekkes:

  • Oversikt over OWASP GenAI Sikkerhetsprosjekt oppdrag og omfang
  • Introduksjon til Threat Defense COMPASS-rammeverk
  • Forstå AI-sikkerhetslandskapet og reguleringsevner
  • AI-trusleoverflater vs tradisjonelle webapplikasjonssårbarheter

Praktisk øvelse: Sette opp OWASP Threat Defense COMPASS-verktøy og utføre initiell trusselvurdering

Modul 2: OWASP Top 10 for LLMs - Del 1 (2,5 timer)

Læringsmål:

  • Mester de fem første kritiske LLM-sårbarhetene
  • Forstå angrepsvektorer og utnyttelsesmetoder
  • Bruke praktiske mitigasjonsstrategier

Emner som dekkes:

LLM01: Prompt-injeksjon

  • Direkte og indirekte prompt-injeksjonsmetoder
  • Skjulte instruksangrep og tvers-prompt-kontaminasjon
  • Praktiske eksempler: Jailbreaking chatbots og omgåelse av sikkerhetsforhold
  • Forsvarsstrategier: Inputrensing, promptfiltrering, differensiell privatheit

LLM02: Avsløring av sensitive informasjon

  • Treningdataekstraksjon og systempromptlekkasje
  • Modellatferdsvanalyse for sensitiv informasjonsutslipp
  • Personvern implikasjoner og overholdelsesvurderinger
  • Mitigering: Outputfiltrering, tilgangskontroll, dataanonymisering

LLM03: Leverandørsårbarheter

  • Tredjepartsmodellavhengigheter og plugin-sikkerhet
  • Kompromitterte treningdatasett og modellforgiftning
  • Leverandørrisikovurdering for AI-komponenter
  • Sikker modelldeployering og verifiseringspraksis

Praktisk øvelse: Håndigeværksøvelser som demonstrerer prompt-injeksjonsangrep mot sårbar LLM-applikasjoner og implementering av forsvarsforhold

Modul 3: OWASP Top 10 for LLMs - Del 2 (2 timer)

Emner som dekkes:

LLM04: Data- og modellforgiftning

  • Treningdatamanipulasjonsmetoder
  • Modellatferdsmodifisering gjennom forgiftede innganger
  • Backdoor-angrep og dataintegritetsverifisering
  • Forebygging: Datavalideringspipelines, opprinnelsessporing

LLM05: Uegnet outputbehandling

  • Usikker behandling av LLM-generert innhold
  • Kodeinjeksjon gjennom AI-genererte utdata
  • Cross-site scripting via AI-respons
  • Outputvaliderings- og renseframeworks

Praktisk øvelse: Simulering av dataforgiftningsangrep og implementering av robuste outputrensmekanismer

Modul 4: Avanserte LLM-trusler (1,5 timer)

Emner som dekkes:

LLM06: Overmåkelig agens

  • Risikier ved autonome beslutningsprosesser og grenseovertrampinger
  • Agentautorisering og tillatelsesstyring
  • Uvante systeminteraksjoner og privilegescalning
  • Implementere vaktlinjer og menneskelig oversynskontroll

LLM07: Systempromptlekkasje

  • Sårbarheter ved systeminstruksjonsutslipp
  • Kredensial- og logikkavsløring gjennom prompts
  • Angripteknikker for å ekstrahere systemprompts
  • Sikre systeminstruksjoner og ekstern konfigurasjon

Praktisk øvelse: Design av sikre agentarkitekturer med passende tilgangskontroll og overvåkning

Dag 2: Avanserte trusler og implementering

Modul 5: Ny oppstående AI-trusler (2 timer)

Læringsmål:

  • Forstå avanserte AI-sikkerhetstrusler
  • Implementere avanserte deteksjons- og forebyggingsteknikker
  • Design robuste AI-systemer mot sofistikerte angrep

Emner som dekkes:

LLM08: Vector- og embedding-svagheter

  • RAG-systemsvulnerabiliteter og vektordatabasessikkerhet
  • Embeddingforgiftning og likhetsmanipulasjonsangrep
  • Adverserelle eksempler i semantisk søk
  • Sikre vektordatabaser og implementering av anomalisdeteksjon

LLM09: Desinformasjon og modellforlidelighet

  • Hallucination-deteksjon og -mitigering
  • Bias-økning og rettferdighetsvurderinger
  • Fakt-sjekking og kildeverifiseringsmekanismer
  • Innholdsvalidering og integrering av menneskelig oversyn

LLM10: Ubegrenset forbruk

  • Resursutmattelse og nektelstilstand-angrep
  • Ratelimitering og resursadministrasjonsstrategier
  • Kostoptimalisering og budsjetskontroller
  • Ytelsesovervåkning og varslingssystemer

Praktisk øvelse: Bygging av et sikkert RAG-pipeline med vektordatabasebeskyttelse og hallucination-deteksjon

Modul 6: Agenter AI-sikkerhet (2 timer)

Læringsmål:

  • Forstå unike sikkerhetsutfordringer ved autonome AI-agenter
  • Bruke OWASP Agentic AI-tassifisering til reelle systemer
  • Implementere sikkerhetskontroller for multiagentmiljøer

Emner som dekkes:

  • Introduksjon til Agentic AI og autonome systemer
  • OWASP Agentic AI Trusselklasifisering: Agentdesign, minne, planlegging, verktøybruk, distribusjon
  • Multiagent-systemsikkerhet og koordineringsrisikoer
  • Verktøymisbruk, minneforgiftning og målhjemlingangrep
  • Sikre agentkommunikasjon og beslutningsprosesser

Praktisk øvelse: Trusselmodelløvelse ved hjelp av OWASP Agentic AI-klasifisering på et multiagent kundeservice-system

Modul 7: OWASP Threat Defense COMPASS-implementering (2 timer)

Læringsmål:

  • Mester praktisk anvendelse av Threat Defense COMPASS
  • Integrere AI-trusselvurdering i organisatoriske sikkerhetsprogrammer
  • Utvikle omfattende AI-riksforvaltningsstrategier

Emner som dekkes:

  • Dypdykk inn i Threat Defense COMPASS-metodologi
  • OODA-løkkeintegrering: Observer, Retter seg mot, Bestemmer, Gjennomfører
  • Mapping av trusler til MITRE ATT&CK- og ATLAS-rammeverk
  • Bygging av AI-Trusselmodstandsstrategi-dashboards
  • Integrering med eksisterende sikkerhetsverktøy og prosesser

Praktisk øvelse: Fullfør trusselvurdering ved hjelp av COMPASS for en Microsoft Copilot-distribusjonsscenarie

Modul 8: Praktisk implementering og beste praksis (2,5 timer)

Læringsmål:

  • Design sikre AI-arkitekturer fra bunnen av
  • Implementer overvåking og hendelsesrespons for AI-systemer
  • Opprett styringsrammer for AI-sikkerhet

Emner som dekkes:

Sikker AI-utviklingslivssyklus:

  • Sikkerhet-by-design-prinsipper for AI-applikasjoner
  • Kodegennomsynspraksis for LLM-integrasjoner
  • Testmetodologier og sårbarhetssanning
  • Distribusjonssikkerhet og produksjonshårdforing

Overvåking og deteksjon:

  • AI-spesifikke logging- og overvåkningskrav
  • Anomalisdeteksjon for AI-systemer
  • Hendelsesresponsprosedyrer for AI-sikkerhetshendelser
  • Forensikk og undersøkelsesteknikker

Styring og overholdelse:

  • AI-riksforvaltningsrammer og politikk
  • Overholdelsesvurderinger (GDPR, AI Act osv.)
  • Leverandørrisikovurdering for AI-leverandører
  • Sikkerhetshva-oppmerksomhetsutdanning for AI-utviklingsteam

Praktisk øvelse: Design en fullstendig sikkerhetsarkitektur for et virksomhetens AI-chatbot, inkludert overvåking, styring og hendelsesresponsprosedyrer

Modul 9: Verktøy og teknologier (1 time)

Læringsmål:

  • Evaluer og implementer AI-sikkerhetsverktøy
  • Forstå den nåværende AI-sikkerhetsteknologi-landskapet
  • Bygg praktiske deteksjons- og forebyggingsevner

Emner som dekkes:

  • AI-sikkerhetstverktøyøkosystem og leverandørlandskap
  • Open-source sikkerhetsverktøy: Garak, PyRIT, Giskard
  • Kommersielle løsninger for AI-sikkerhet og overvåking
  • Integreringsmønstre og distribusjonsstrategier
  • Verktøyutvalgskriterier og evalueringstilpasningsrammer

Praktisk øvelse: Håndigeværksdemonstrasjon av AI-sikkerhetstestverktøy og implementeringsplanlegging

Modul 10: Fremtidige trender og oppsummering (1 time)

Læringsmål:

  • Forstå nye trusler og fremtidige sikkerhetutfordringer
  • Utvikle kontinuerlige læring- og forbedringsstrategier
  • Opprette handlingssplaner for organisatoriske AI-sikkerhetsprogrammer

Emner som dekkes:

  • Ny oppstående trusler: Deepfakes, avanserte prompt-injeksjon, modellinversjon
  • Fremtidige utviklinger og veiledning for OWASP GenAI-prosjekt
  • Bygging av AI-sikkerhetsfellesskap og kunnskapsdeling
  • Kontinuerlig forbedring og truslinformasjonintegrasjon

Handlingssplan-øvelse: Utvikle en 90-dagers handlingssplan for implementering av OWASP GenAI-sikkerhetspraksis i deltagernes organisasjoner

Krav

  • Generell forståelse av sikkerhetsprinsipper for webapplikasjoner
  • Grunnleggende kjennskap til AI/ML-konsepter
  • Erfaring med sikkerhetsrammer eller risikovurderingsmetodologier er foretrukket

Målgruppe

  • IT-sikkerhetseksperter
  • AI-utviklere
  • Systemarkitekter
  • Overholdelsestilsynere
  • Sikkerhetpraktikere
 14 timer

Antall deltakere


Pris per deltaker

Kommende kurs

Relaterte kategorier