Text-baserade AI-applikationer, eller Large Language Models, har haft ett otroligt genomslag de senaste åren både i effektivitet och popularitet. Det är ett verktyg som har många olika användningsområden för att effektivisera vardagen hos användare. Med nya teknologier kommer dessvärre ofta även nya sårbarheter. I denna artikel belyser vi dessa sårbarheter och demonstrerar hur OWASP Top 10 for Large Language Model Applications kan användas som en resurs för att säkra dessa typer av applikationer.
Large Language Models (LLMs) representerar ett anmärkningsvärt framsteg inom artificiell intelligens och möjliggör för datorer att förstå och generera människoliknande text. Dessa modeller är byggda på deep learning och tränas på stora mängder textdata för att utveckla en nyanserad förståelse för språk. En av de mer bemärkta framgångarna inom detta område var lanseringen av ChatGPT, nu med den senaste versionen GPT-4 (Generative Pre-trained Transformer). Några av de praktiska användningsområdena för LLM-applikationer är:
- Textgenerering: LLM-applikationer används i stor utsträckning för att generera människoliknande textinnehåll. Det inkluderar att skapa artiklar, blogginlägg, marknadskopior, till och med kreativt skrivande. Företag kan spara tid och resurser genom att använda dessa modeller för att utforma högkvalitativt innehåll.
- Chattbotar och virtuella assistenter: LLM-applikationer driver konversations-AI-applikationer som chattbotar och virtuella assistenter. Dessa system kan föra mänskliga samtal, hjälpa användare med förfrågningar, tillhandahålla information eller till och med användas som ett verktyg som erbjuder sällskap.
- Kodningsassistans: Utvecklare kan dra nytta av LLM-applikationer som ger kodförslag, automatisk komplettering och felsökningsassistans, vilket förbättrar programmeringseffektiviteten.
OWASP (Open Worldwide Application Security Project) Foundation är en globalt erkänd ideell organisation dedikerad åt att förbättra mjukvarors säkerhet. Den primära målsättningen med OWASP Foundation är att göra säkerhet synlig och tillgänglig samt säkerställa att mjukvara utformas, utvecklas och implementeras med säkerhet i åtanke. OWASP har närmare 300 olika projekt som hjälper till att säkra världens mjukvara. Ett av dessa projekt är OWASP Top 10 for Large Language Model Applications, som syftar till att utbilda utvecklare, designers, arkitekter, chefer och organisationer om de potentiella säkerhetsriskerna vid implementering och hantering av LLM-applikationer. Projektet listar de 10 mest kritiska sårbarheterna som oftast förekommer i LLM-applikationer.
Den mest kritiska är LLM01 – Prompt injection: Det innebär att hotaktören kringgår filter eller manipulerar LLM-applikationen med noggrant utformade uppmaningar som får modellen att ignorera tidigare instruktioner eller utföra oavsiktliga handlingar. Dessa sårbarheter kan leda till konsekvenser så som läckage av data, obehörig åtkomst och andra säkerhetsproblem.
Denna typ av attack kan exempelvis användas på ett skadligt sätt genom att försöka överskriva eller avslöja den underliggande systemprompten. Detta kan tillåta angripare att utnyttja bakomliggande system genom att interagera med osäkra funktioner och datalager som är åtkomliga via LLM-applikationen. Vi kan använda ChatGPT för att demonstrera konceptet av denna attack på ett enklare sätt genom att försöka kringgå deras filter som är avsedd att skydda användare från skada och säkerhetsproblem.
I exemplet nedan kan vi se att modellen inte kommer att ge ut någon information om en olämplig fråga.
Det finns flera olika sätt att kringgå filter som denna, ett sätt är att i stället för att ställa en direkt fråga, införa en helt ny kontext och ett problem som behöver lösas. Genom att göra detta är det möjligt att kringgå filtret, exempel på detta kan du se i bilden nedan.
Den fullständiga listan över OWASP top 10 for Large Language Model applications visas nedan. Om du är intresserad av att lära dig mer om dessa typer av attacker, se vanliga exempel på attackscenarion samt åtgärdstekniker, se då länkarna under "Ytterligare läsning" längst ned i artikeln.
Ytterligare läsning:
OWASP Top 10 for Large Language Model Applications – Project
OWASP TOP 10 for Large Language Model Applications – Short slides
