AI & cybersäkerhet / Offensiv AI / AI-assisterad skadlig kod

Offensiv AI

AI-assisterad skadlig kod

Offensiv AI

Användning av AI för att generera, mutera och obfuskera skadlig kod snabbare än traditionella AV-signaturer kan spåra.

AI-assisterad malware är, i de flesta fall, inte skadlig kod skriven helt och hållet av en AI från grunden. Det är malware vars utvecklare använt en språkmodell för att accelerera eller transformera delar av utvecklingsprocessen: generera obfuskerade varianter av existerande kod, skriva om payloads för att undvika upptäckt, ta fram evasionstekniker, eller, i de mest nydanande fallen, bädda in live-anrop till en LLM inuti själva malwaren så att det skadliga beteendet genereras vid körning istället för att levereras i binären. Varje sådan användning förändrar en specifik del av försvararens arbete, och att förstå vilken användning som är vilken spelar långt större roll än att slå larm om "AI-malware" som en enda kategori.

What you'll learn

Key takeaways from this topic.
  • Skilja mellan AI som används för att utveckla malware och AI som är inbäddad inuti malware vid körning.
  • Förklara hur LLM-genererad polymorfism försämrar signaturbaserad detektion.
  • Bedöma den faktiska hotnivån från nuvarande AI-assisterad malware mot den marknadsdrivna berättelsen.

I korthet

En snabb mental modell innan du går på djupet.
Grundbegrepp
  • LLM-kodgenerering
  • Polymorfa payloads
  • Runtime-LLM-anrop
Tekniker
  • Mutation på källkodsnivå
  • Living-off-the-land-exekvering
  • Underground-LLM-plattformar
Försvar
  • Beteendebaserad detektion
  • Övervakning av API-anrop
  • Egress-filtrering

Kärnidén

AI dyker upp i modern malware på tre tydligt skilda sätt, och de har mycket olika säkerhetsmässiga implikationer. Det första är det vanligaste: en angripare använder en generell LLM, antingen en kommersiell modell som nås via jailbreaks eller ett specialbyggt undergroundverktyg som WormGPT, för att skriva eller refaktorera delar av malware-koden. AI:n är bara en ovanligt snabb assistent. Den resulterande binären innehåller ingen AI-komponent och beter sig som vilken annan malware som helst när den landar på ett system.

Det andra användningssättet sker vid build-tillfället: angriparen använder en LLM för att systematiskt generera många varianter av samma skadliga kod, var och en funktionellt identisk men textuellt annorlunda. Detta är automatiserad polymorfism. Utdata är fortfarande en statisk binär, men kampanjen producerar en ström av varianter snabbt nog att överlasta signaturbaserad detektion.

Det tredje användningssättet är det mest nydanande och mest omtalade: själva malwaren ringer ut till en LLM vid körning för att generera sitt eget beteende i farten. Samples som LameHug och MalTerminal, dokumenterade 2025, frågar en hostad LLM under exekvering för att producera de Windows-kommandon de faktiskt kör för rekognosering och datastöld. Den skadliga logiken finns inte i binären, den beslutas efter att malwaren redan är igång. Detta är den genuint nya kategorin, och samtidigt den sällsyntaste i det vilda.

Att förstå vilken kategori ett givet hot tillhör avgör hur en försvarare bör reagera. AI-utvecklad malware upptäcks på samma sätt som vilken malware som helst. AI-muterade varianter kräver beteendebaserad, inte signaturbaserad, detektion. Runtime-LLM-malware kräver övervakning av utgående nätverkstrafik till LLM-endpoints och att de samtalen behandlas som del av hotytan.

Hur det fungerar

För AI-utvecklad malware är arbetsflödet rakt på sak. Angriparen ger en LLM en prompt som beskriver specifik skadlig funktionalitet: en credential stealer för en viss webbläsare, en keylogger som gömmer sig i en viss process, en injector som kringgår en viss EDR-produkt. Med säkerhetsspärrarna borta producerar LLM:en fungerande kod på sekunder. Angriparen kompilerar och testar resultatet, vanligtvis med en hel del manuell debug.

För AI-muterad polymorfism använder angriparen en LLM för att transformera existerande källkod till många funktionellt likvärdiga varianter. Ett ramverk från 2025 kallat LLMalMorph demonstrerade omskrivningar på funktionsnivå av malware-källkod, med upp till 31 procents minskning av VirusTotal-detektion över de resulterande varianterna.

För runtime-LLM-malware inverterar arkitekturen den vanliga modellen. Själva binären är liten och oskyldig till utseendet, ofta förklä som ett harmlöst hjälpprogram. Vid exekvering gör den HTTP-förfrågningar till en hostad LLM, skickar en prompt som beskriver vad den vill åstadkomma på målsystemet, och tar emot genererade kommandon som svar. LameHug, identifierad av Ukrainas CERT-UA i juli 2025 och med måttlig säkerhet attribuerad till APT28, använde denna teknik mot ukrainska myndighetsmål och frågade Alibabas Qwen 2.5-Coder-modell via Hugging Faces API för att få Windows-rekognoseringskommandon vid körning.

Verklig påverkan

Den ärliga bedömningen är att AI-assisterad malware är signifikant men ännu inte revolutionerande. Hoxhunts analys av 386 000 skadliga mejl 2025 fann att endast mellan 0,7 och 4,7 procent av phishing-payloads var AI-genererade fullt ut. Den dominerande AI-användningen i offensiva operationer är fortfarande social ingenjörskonst, inte malware-utveckling.

Det som däremot är verkligt är PoC-eskaleringen. CyberArk demonstrerade polymorf ChatGPT-genererad malware 2023. SentinelOne analyserade BlackMamba, en PoC-keylogger som hämtar polymorfa payloads från OpenAI vid körning. Check Point Research dokumenterade ett sample från 2025 som inkluderade evasionslogik specifikt designad för att besegra LLM-baserade reverse engineering-verktyg.

Hotaktörsekosystemet är också konkret. WormGPT, byggd på GPT-J och tränad på malware-relaterad data, har marknadsförts på dark web-forum sedan 2023 specifikt för skadlig kodgenerering. FraudGPT, KawaiiGPT, DarkBERT och andra har följt. Dessa är inte jailbreakade legitima modeller, det är oberoende produkter byggda av kriminella utvecklare, sålda på prenumeration och regelbundet uppdaterade.

Warning signs

Mönster som är värda att undersöka vidare.
  • En process gör utgående HTTPS-förfrågningar till kända LLM-API-endpoints (OpenAI, Hugging Face, Anthropic) utan en legitim affärsorsak.
  • Nya binärer dyker upp som är funktionellt identiska med kända malware-familjer men producerar olika filhashar på varje sample.
  • En loader eller dropper hämtar kod vid körning och exekverar den i minnet via exec, eval, Invoke-Expression eller motsvarande, utan någon disk-artefakt för andrastegspayloaden.

FÖRDJUPNING

Vad AI faktiskt förändrar för angriparen

Den mest användbara frågan är inte "kan AI skriva malware" utan "vilken del av angriparens arbete gör AI billigare". För en erfaren offensiv utvecklare ger AI en produktivitetsökning som liknar den vilken annan utvecklare som helst får: snabbare prototyper, automatiska omskrivningar av kod till olika språk och användbara sammanfattningar av obekanta API:er. Malwaren är inte grundläggande farligare än vad en erfaren utvecklare kunde skrivit utan AI, den produceras bara snabbare.

För en oerfaren angripare är AI:s bidrag annorlunda och förmodligen mer oroväckande. Den sänker tröskeln för att producera fungerande skadlig kod. Någon som inte kunnat skriva en keylogger från grunden kan nu beskriva vad den vill ha och få fungerande kod tillbaka. Det utvidgar populationen av människor som är kapabla att driva offensiva operationer.

För båda grupperna är den mest konsekventa fördelen variation. AI är utmärkt på att producera många funktionellt likvärdiga versioner av samma kod, vilket är exakt den egenskap som besegrar signaturbaserad detektion. Det är därför polymorfism, en gammal teknik, blivit mycket mer praktisk i LLM-eran.

Polymorfism i praktiken

Traditionell polymorf malware använde handkodade mutationsmotorer för att skriva om sin egen kod vid varje infektion. Att skriva dessa motorer var svårt, och de resulterande variationerna begränsades typiskt till omfördelning av register, instruktionsomflyttning och tillägg av junk code. Variationerna var i sig själva upptäckbara eftersom mutationsmotorn producerade igenkännbara mönster.

LLM-baserad polymorfism fungerar på en högre abstraktionsnivå. Istället för att skriva om maskinkod skriver LLM:en om källkod eller skript. En PowerShell-keylogger kan uttryckas på fundamentalt olika sätt, med olika API:er, olika kontrollflöde och olika variabelnamn, samtidigt som beteendet bevaras. Eftersom omskrivaren förstår koden semantiskt snarare än syntaktiskt är variationerna långt mer diversifierade än vad en traditionell polymorfismotor producerar.

Forskningsramverket LLMalMorph demonstrerade detta konkret och uppnådde detektionsminskningar på upp till 31 procent på VirusTotal. Kostnaden för att undgå signaturer har gått från "veckor av ingenjörsarbete" till "ett API-anrop".

Försvararens svar är att flytta detektionen tidigare och senare. Tidigare betyder att fånga angriparens infrastruktur snarare än själva binären. Senare betyder beteendebaserad detektion vid körning: en keylogger hookar fortfarande tangentbordet, en info-stealer läser fortfarande webbläsarens credential store, oavsett hur källkoden är skriven.

Runtime-LLM-malware

Den genuint nya kategorin är malware som använder en LLM som del av sitt runtime-beteende. I den vanligaste formen levereras malwaren med en statisk prompt-mall och anropar en hostad LLM vid exekvering. I den mindre vanliga men farligare formen paketerar malwaren en liten lokal LLM och kör inferens på offrets maskin, vilket eliminerar nätverksberoendet som gör den hostade varianten upptäckbar.

LameHug, dokumenterad av Ukrainas CERT-UA i juli 2025 och attribuerad till APT28, är det kanoniska hostade exemplet. Malwaren innehåller inte kommandona själva, de genereras vid varje körning, vilket betyder att varje exekvering kan producera olika kommandosekvenser riktade mot olika filer och exfiltreringsvägar.

För försvarare skapar runtime-LLM-mönstret en ny detektionsmöjlighet: utgående trafik till LLM-API-endpoints från icke-utvecklarmaskiner, särskilt från processer som inte har någon legitim anledning att göra sådana anrop, är en stark signal.

Underground-LLM:er och den kriminella leveranskedjan

WormGPT var den första brett dokumenterade underground-LLM:en, marknadsförd på hackerforum i mitten av 2023. Byggd på den öppna GPT-J-modellen och finetunad på malware-relaterad data erbjöd den LLM-kapaciteter utan säkerhetsspärrar, marknadsförd specifikt för business email compromise och malware-generering. FraudGPT följde kort därefter.

Dessa är inte jailbreakade versioner av mainstream-modeller. De är oberoende produkter byggda av kriminella utvecklare, sålda på prenumeration och regelbundet uppdaterade. De signalerar att AI-verktyg för cyberbrott blivit en erkänd marknad med samma leveranskedjedynamik som varje annan kategori av kriminell infrastruktur.

Nordkoreas APT43 köpte tillgång till WormGPT 2023, vilket bekräftar att AI-assisterade offensiva operationer inte längre är ett uteslutande lågnivåfenomen.

Vad försvararen faktiskt bör göra

Försvarsbasen mot AI-assisterad malware skiljer sig inte radikalt från försvarsbasen mot traditionell malware, men den relativa viktningen av kontroller har förskjutits. Signaturbaserad detektion är mindre pålitlig som primärt försvar än den var för fem år sedan. Beteendebaserad detektion har blivit viktigare.

Övervakning av utgående trafik är nu en frontlinjekontroll. Anslutningar till kända LLM-API-endpoints från produktionssystem bör inventeras. Oväntade sådana, särskilt från processer som inte har någon affärsmässig anledning att göra sådana anrop, är en högvärdig signal.

Application allow-listing och begränsade exekveringsmiljöer betyder mer än någonsin. AI-genererad malware måste fortfarande exekvera någonstans. Om ett system bara tillåter kända binärer att köras försvinner polymorfismfördelen. Slutligen bör threat hunters behandla själva LLM-anropet som del av malwaren och söka efter prompt-strängar och LLM-API-klientbibliotek vid sample-triage.