AI & cybersäkerhet / AI-säkerhet / OWASP LLM Topp 10

AI-säkerhet

OWASP LLM Topp 10

AI-säkerhet

De tio mest kritiska säkerhetsriskerna för applikationer byggda på stora språkmodeller, enligt OWASP LLM Topp 10-projektet.

När organisationer började bädda in stora språkmodeller i produktionsapplikationer i stor skala under 2023 behövde säkerhetsbranschen ett strukturerat vokabulär för de risker som uppstod. OWASP-stiftelsen, redan standardreferensen för webbapplikationssäkerhetsrisker, samlade en arbetsgrupp för att ta fram ett likvärdigt ramverk för LLM-applikationer. Resultatet, OWASP Top 10 for LLM Applications, har uppdaterats två gånger sedan sin initiala lansering, senast i slutet av 2024 för att täcka den snabba tillväxten av agentisk AI och nya attacktekniker dokumenterade i praktiken. Det är inte en heltäckande attacktaxonomi, men det är det mest använda ramverket för att kommunicera om LLM-säkerhetsrisker inom säkerhetsteam, utvecklare och affärsinressenter, och att förstå det är nu en baslinjefÖrväntan för alla som arbetar i skärningspunkten mellan AI och säkerhet.

What you'll learn

Key takeaways from this topic.
  • Identifiera var och en av de tio riskkategorierna i OWASP:s LLM Top 10 för 2025 och förklara den kärnsårbarhet varje kategori adresserar.
  • Förklara hur LLM Top 10 skiljer sig från den traditionella OWASP Top 10 för webbapplikationer och varför en separat lista är nödvändig.
  • Använda ramverket som en strukturerad baslinje för att bedöma och kommunicera LLM-applikationers säkerhetsrisk.

I korthet

En snabb mental modell innan du går på djupet.
Grundbegrepp
  • LLM-specifik attackyta
  • Agentiska riskkategorier
  • Leveranskedja och träningsrisker
Tekniker
  • Prompt injection (LLM01)
  • Exploatering av Excessive Agency
  • RAG- och vektorförgiftning
Försvar
  • Skydd på djupet för alla 10 kategorier
  • Styrning och AI-BOM
  • Minsta privilegiet för agenter

Kärnidén

OWASP LLM Top 10 existerar för att LLM-säkerhetsrisker inte kartläggs rent på traditionella applikationssäkerhetskategorier. En språkmodell som hallucination fakta uppvisar inte en injektionssårbarhet eller ett trasigt åtkomstkontrollproblem, men kan ändå orsaka avsevärd skada när användare förlitar sig på dess utdata för beslut. En modell som kan instrueras via skadligt innehåll i ett dokument den bearbetar upplever något begreppsmässigt relaterat till injektion, men mekanismen och åtgärden är fundamentalt annorlunda från SQL-injektion. LLM Top 10 tillhandahåller kategorier byggda kring hur språkmodeller faktiskt misslyckas, snarare än att anpassa befintliga kategorier som byggdes för andra typer av system.

2025 års utgåva återspeglar tillväxten av agentisk AI specifikt. När modeller bara producerade text handlade de flesta risker om vad modellen sa. När modeller också kan vidta åtgärder, surfa på webben, skriva och exekvera kod, skicka mejl och ändra filer, förändras riskprofilen väsentligt. 2025 års Top 10 lade till eller utvidgade väsentligt flera kategorier för att adressera detta, inklusive Excessive Agency, System Prompt Leakage och Vector and Embedding Weaknesses.

Ramverket är ett kommunikationsverktyg lika mycket som en teknisk referens. Säkerhetsteam använder det för att säkerställa att LLM-applikationsgranskningar täcker rätt mark. Utvecklare använder det för att förstå vilka typer av problem de ska designa mot. Affärsintressenter använder det för att förstå vad som kan gå fel när deras organisation driftsätter AI-applikationer.

De tio kategorierna

LLM01: Prompt Injection håller toppositionen av god anledning och har inte förflyttats sedan listans uppkomst. Den utnyttjar LLM:ens oförmåga att tillförlitligt separera instruktioner från data, vilket gör det möjligt för angripare att åsidosätta avsett beteende antingen via direkt manipulation eller genom att plantera instruktioner i innehåll modellen bearbetar. Täcks på djupet i Prompt Injection-ämnet.

LLM02: Sensitive Information Disclosure steg till andraplatsen i 2025 års utgåva, från sjätte. LLM:er kan memorera och senare reproducera fragment av sin träningsdata, inklusive personuppgifter, proprietär affärsdata, konfidentiella dokument och inloggningsuppgifter. Angripare har demonstrerat tekniker för att extrahera memorerat innehåll via riktade förfrågningar.

LLM03: Supply Chain adresserar den komplexa beroendekedjan som omger moderna LLM-applikationer: grundläggande modeller från externa leverantörer, finjusteringsdatamängder från tredjeparter, plugins och integrationer, RAG-datakällor och slutlednings-API:er. Varje är en möjlighet för kompromiss. Täcks i detalj i Data- och modellförgiftnings-ämnet.

LLM04: Data and Model Poisoning adresserar specifikt manipulation av träningsdata, finjusteringsdata och hämtningsinnehåll. Angripare som kan påverka dessa datamängder kan orsaka att modeller producerar biasade utdata, degraderar noggrannheten i riktade ämnen eller uppvisar bakdörrbeteenden utlösta av specifika indata som är osynliga under standardutvärdering. Täcks på djupet i Data- och modellförgiftnings-ämnet.

LLM05: Improper Output Handling täcker otillräcklig validering, sanering och hantering av LLM-genererat innehåll innan det skickas till nedströmssystem. När modellutdata används i sammanhang som tolkar dem som instruktioner, kod eller strukturerad data kan osanerade utdata introducera injektionssårbarheter i dessa nedströmssystem.

LLM06: Excessive Agency är ett av de mest väsentligt utvidgade posterna i 2025 års utgåva. När LLM-agenter har tillgång till fler verktyg än deras uppgift kräver, bredare behörigheter än nödvändigt eller förmågan att vidta högrisk-åtgärder utan mänsklig granskning, blir de en större attackyta. OWASP identifierar tre grundorsaker: överdriven funktionalitet, överflödiga behörigheter och för stor autonomi. Åtgärden är minsta-privilegiet-design för agenter.

LLM07: System Prompt Leakage är en ny kategori i 2025. Systempromptar innehåller alltmer känsliga instruktioner, inloggningsuppgifter, affärslogik och säkerhetskontroller. När dessa promptar extraheras via adversariell förfrågan får angripare insikt i applikationens konfiguration, dess säkerhetsmekanismer och de specifika instruktioner den försöker följa.

LLM08: Vector and Embedding Weaknesses är också ny i 2025, vilket återspeglar den utbredda adoptionen av RAG-arkitekturer. Angripare kan förgifta vektordatabaser genom att injicera skadligt innehåll som hämtas under legitima förfrågningar. Otillräckliga åtkomstkontroller på vektorlager kan exponera känsliga data tvärs klientgränser.

LLM09: Misinformation (omdöpt från "Overreliance" i tidigare utgåvor) adresserar risken att LLM:er genererar och med säkerhet hävdar falsk information. Modeller hallucination fakta, fabricerar citat och producerar polerade svar på frågor de inte kan svara tillförlitligt på. Risken är inte bara att användare litar för mycket på utdata; det är att modellen själv genererar och propagerar falsk information.

LLM10: Unbounded Consumption adresserar okontrollerad resursförbrukning av LLM-applikationer. Till skillnad från traditionella denial-of-service-attacker som mättar nätverkskapacitet involverar LLM-resursöverkonsumtion att utlösa beräkningsmässigt dyra slutledningsoperationer, promptkedjor som förbrukar överdrivna token, eller agentloopar som gör upprepade externa API-anrop.

Effekt i verkligheten

Ramverkets värde syns tydligast när organisationer använder det proaktivt. Säkerhetsteam som granskar LLM-applikationer mot Top 10 innan driftsättning fångar risker som standard applikationssäkerhetstestning inte synliggör. Organisationer som behandlar ramverket som en checklista efter incidenter brukar upptäcka att de var exponerade för en Top 10-risk de inte beaktat.

IBMs Cost of a Data Breach Report 2025 fann att 13 procent av organisationerna hade upplevt ett säkerhetsbrott relaterat till ett AI-verktyg, och 97 procent av dessa organisationer saknade korrekta AI-åtkomstkontroller. Excessive Agency-kategorin adresserar precis denna lucka. De utbredda känslig informationsavslöjandeincidenterna dokumenterade under 2024, inklusive fall där modeller avslöjat systempromptar, träningsdata och konfidentiell användarinformation från andra sessioner, korresponderar direkt med LLM02 och LLM07.

Warning signs

Mönster som är värda att undersöka vidare.
  • En LLM-applikation med verktygsåtkomst eller externa integrationer har inte granskats för Excessive Agency: de verktyg som är tillgängliga för modellen överstiger vad dess angivna uppgift kräver.
  • Modellgenererade utdata som kommer att skickas till databaser, kodtolkare eller andra nedströmssystem valideras eller saneras inte innan de skickas.
  • Organisationen saknar en AI Bill of Materials som dokumenterar de grundläggande modeller, datamängder, plugins och externa tjänster som används i dess LLM-applikationer.

FÖRDJUPNING

Varför LLM-risker behöver ett eget ramverk

Den traditionella OWASP Top 10 för webbapplikationer adresserar risker som injektion, trasig åtkomstkontroll, kryptografiska fel och säkerhetsmiskonfiguration. Dessa kategorier har förfinats under två decennier av dokumenterade webbapplikationssårbarheter och fångar de risker som karakteriserar system byggda från kod som tolkar strukturerade indata och producerar strukturerade utdata.

Språkmodeller fungerar annorlunda. De bearbetar naturligt språk och producerar naturligt språk. Deras säkerhetsegenskaper är probabilistiska snarare än deterministiska: samma indata kan producera olika utdata vid olika körningar. Deras fellägen inkluderar att generera falsk information, reproducera memoriserade privata data och följa instruktioner som konflikterar med deras avsedda syfte, inget av vilket kartläggs mot konventionella injektions- eller åtkomstkontrollkategorier.

LLM Top 10 är inte en ersättning för den traditionella Top 10. En LLM-applikation körs fortfarande på infrastruktur, använder databaser och API:er och kräver samma autentisering, auktorisering och kryptografiska skydd som vilken annan webbapplikation som helst. LLM Top 10 adresserar den ytterligare riskytan som uppstår specifikt från språkmodellkomponenten. Båda ramverken gäller för produktions-LLM-applikationer; ingendera är tillräcklig ensam.

Agentisk AI och den utvidgade riskytan

2025 års utgåva av OWASP LLM Top 10 återspeglar ett kvalitativt skifte i hur LLM:er driftsätts. När modeller bara producerade text påverkade kompromiss av dem primärt kvaliteten och tillförlitligheten hos den texten. När modeller agerar, surfar webben, exekverar kod, anropar API:er, skickar mejl, ändrar databaser, orsakar kompromiss av dem verkliga effekter som är mycket svårare att ångra.

Excessive Agency är den kategori som direkt adresserar detta. Ett agentiskt system utformat med minsta-privilegiet-principer har en fundamentalt annorlunda riskprofil än ett där modellen kan komma åt vilket verktyg som helst och vidta vilken åtgärd som helst. En agent som bara kan läsa från en databas kan inte läcka poster via verktygsanrop. En agent som inte kan skicka mejl kan inte manipuleras till att skicka phishingmeddelanden. En agent som kräver mänsklig bekräftelse för oåterkalleliga åtgärder kan inte autonomt exekvera dessa åtgärder ens om dess prompt framgångsrikt injiceras.

Vector and Embedding Weaknesses uppstod från den utbredda adoptionen av RAG-arkitekturer i agentiska system. När en agent hämtar kontext från en kunskapsbas för att informera sina åtgärder är tillförlitligheten hos den kunskapsbasen en säkerhetsegenskap. En förgiftad kunskapsbas producerar inte bara vilseledande text; den kan påverka de åtgärder en agent vidtar baserat på den texten.

Styrning och AI-BOM

Supply Chain-kategorin (LLM03) ger upphov till ett styrningskrav som går bortom tekniska kontroller. Organisationer som driftsätter LLM-applikationer behöver synlighet i varje komponent av AI-pipelinen: vilka grundläggande modeller de använder, vem som tränade dem, på vilken data de tränades, vilka plugins och integrationer som är anslutna, vilka externa API:er och tjänster som anropas och vilka datamängder som kompletterar modellen vid slutledningsdags.

En AI Bill of Materials (AI-BOM) formaliserar den synligheten. Analogt med mjukvaruns SBOM som inventarierar mjukvarukomponenter och deras beroenden, inventarierar AI-BOM:en AI-specifika tillgångar: modellchecksummor och versioner, träningsdatakällor, finjusteringsdatamängdens proveniens, plugin- och integrationsmanifester och API-endpointinventering. Denna dokumentation möjliggör incidentrespons, leveranskedjevettning och regelefterlevnad, eftersom AI-styrningsramverk i EU AI Act och NIST SP 800-218A alltmer kräver att organisationer dokumenterar och styr sina AI-tillgångar.

Att underhålla en AI-BOM är en löpande operationell uppgift snarare än en engångsdokumentationsövning. Modeller uppdateras, plugins läggs till, datakällor förändras och integrationer utvecklas. Organisationer som behandlar AI-BOM:en som ett levande inventarium underhållet parallellt med applikationens utvecklingslivscykel är positionerade att svara på AI-specifika säkerhetsincidenter med samma effektivitet som leveranskedjeincidenter för mjukvara.

Att använda Top 10 för applikationsgranskning

Den praktiska tillämpningen av OWASP LLM Top 10 är som en strukturerad granskningschecklista för LLM-drivna applikationer före och efter driftsättning. En granskning mot ramverket beaktar varje kategori i tur och ordning: För Prompt Injection — skickar applikationen opålitligt externt innehåll till modellen, och är modellens åtgärder minimerade till det som är absolut nödvändigt? För Sensitive Information Disclosure — har systemprompten granskats för känslig information, och har applikationen testats med förfrågningar utformade för att extrahera träningsdata? För Supply Chain — finns det ett inventarium av alla modellsleverantörer, plugins och datakällor, med versioner fastlåsta och checksummor verifierade?

För Data and Model Poisoning — är finjusteringsdatamängder från verifierade, kontrollerade källor, och är RAG-kunskapsbasen åtkomstkontrollerad och integritetövervakadd? För Improper Output Handling — är modellutdata som kommer att skickas till nedströmssystem sanerade? För Excessive Agency — har agenter enbart det minimala verktygsåtkomst deras uppgift kräver, och kräver högrisk-åtgärder mänsklig bekräftelse? För System Prompt Leakage — innehåller systemprompten inloggningsuppgifter eller känslig affärslogik som borde lagras annorstädes? För Vector and Embedding Weaknesses — vem kan skriva till vektordatabasen? För Misinformation — finns det människa-i-slingan-kontrollpunkter för beslut som förlitar sig på modellgenererade faktapåståenden? För Unbounded Consumption — finns det hastighetsbegränsningar på slutledningsanrop?

Den här strukturerade granskningen fångar inte varje möjlig sårbarhet, men den säkerställer att de mest signifikanta LLM-specifika riskkategorierna har beaktats och adresserats innan användare exponeras.