Så kallade nätfiskeattacker som försöker övertyga mottagare att uppge kontouppgifter eller annan känslig information fortsätter vara ett allvarligt hot. Samtidigt kan en chattbot som Chat GPT och AI-genererad text göra att det snart går från dåligt till ännu värre. Särskilt som olika påverkansoperationer också blir enklare att genomföra när det med en liten insats går att generera trovärdigt innehåll i stor skala. Men i andra änden pågår arbetet med att ta fram verktyg för att upptäcka om ett stycke text har skapats av en maskin.
Chat GPT som utvecklats av det ideella forskningsbolaget OpenAI förväntas skapa en ny våg av AI-baserade nätfiskeangrepp. Utvecklingen går snabbt och vi läser dagligen om hur Chat GPT gjort om spelplanen genom att skapa välskriven text på bara ett ögonblick. På samma gång förväntas verktyg som med olika metoder identifierar och varnar för AI-genererat innehåll införlivas i plattformar som ska motverka nätfiske.
Ett par exempel på motmedel som är under utveckling är GPT-2 Output Detector och vattenmärkning.
I en online-demo av GPT-2 Output Detector kan användaren klistra in text i en ruta och omedelbart se sannolikheten att texten är skriven av AI. Enligt forskning från OpenAI har verktyget en relativt hög upptäcktsgrad, men behöver kombineras med metadatabaserade metoder och mänskligt omdöme för att bli mer effektivt.
Ett annat sätt att ta sig an problemet är att vattenmärka all Chat GPT-text. Enligt OpenAI-forskaren Scott Aaronson har ingenjörer redan byggt en fungerande prototyp som vattenstämplar all text som skapas av Open AI. För att klara det använder verktyget vad han kallar en ”kryptografisk pseudoslumpfunktion.” Och bara OpenAI har tillgång till nyckeln.
– Om OpenAI-ingenjörer lyckats skapa en bot som kan skriva lika bra som eller bättre än den genomsnittliga människan, så är det naturligt att de också kan skapa en bot som bättre än genomsnittet upptäcker när en text har genererats av AI, kommenterar Peter Graymon, ansvarig för Barracuda Networks i Norden.
– Just nu måste vi utgå från att nätfiskeattackerna snart kommer att öka både vad gäller volym och trovärdighet. Många digitala processer kommer sannolikt att behöva omvärderas helt enkelt därför att den nuvarande nivån av tillit inte längre är möjlig när AI-genererad text och e-post blivit ett verktyg för cyberkriminella. Möjligheterna för olika aktörer att utnyttja Chat GPT och liknande verktyg för påverkansoperationer bidrar också till att vi måste ompröva vårt sätt att ta till oss och värdera innehåll som kan se mycket trovärdigt och välskrivet ut, avslutar Peter Graymon.
