Den kinesiska AI-modellen GLM-5.3 genomförde avancerade cyberattacker i kontrollerade tester, och vägrade inte en enda av de offensiva uppgifter forskarna gav den.
Kinesisk AI hackade nätverk i test – vägrade inte en enda attack
Den kinesiska AI-modellen GLM-5.3 lyckades genomföra tre av tretton avancerade cyberattackscenarier i simulerade nätverk. Det framgår av en ny rapport från AI-säkerhetsföretaget Irregular, som Reuters uppmärksammat.
Modellen utvecklas av Pekingbaserade Z.ai, tidigare Zhipu AI, ett av Kinas ledande AI-bolag.
Missa inte: Föräldrar stämmer OpenAI: ”ChatGPT tog vår dotters liv”. Realtid
Det särskilt uppseendeväckande är att modellen inte vägrade utföra någon av de offensiva uppgifter som forskarna gav den – trots att uppgifterna uttryckligen krävde angrepp.
Enligt Irregular är det det starkaste resultat bolaget hittills har uppmätt hos en så kallad öppen modell.
Tog sig in i interna system
Scenarierna bygger på verkliga incidenter och kräver att modellen själv väljer angreppsväg, samordnar flera beroende steg och hittar nya vägar när ett försök misslyckas.
Läs även: AI-modeller hackade företag: Krav på testmiljöer skärps. Dagens PS
I de tre lyckade attackerna gick GLM-5.3 från ett första fotfäste i en applikation till åtkomst till interna tjänster. Den byggde alternativa anslutningsvägar genom nätverken och samordnade operationer över flera datorer, skriver Irregular.
Modellen automatiserade även styrning av fjärrskrivbord och skrev och reparerade upprepade gånger egna skript och verktyg för att få ut den data som var målet.
Ligger efter USA – men är öppen
GLM-5.3 ligger fortfarande efter de främsta amerikanska modellerna. OpenAI:s GPT-6 Astra har klarat nio av tio scenarier och Googles Gemini 4 Argon tolv av tolv i separata utvärderingar, enligt Irregular. Testerna var dock inte identiska.
Missa inte: Kina har blivit beroende av att kopiera amerikanska AI-modeller. Realtid
Den avgörande skillnaden är tillgängligheten. GLM-5.3 är en öppen modell, vilket innebär att vem som helst kan ladda ned, modifiera och köra den på egna servrar. De mest kraftfulla amerikanska modellerna nås i regel bara via bolagens egna tjänster, där användningen är lättare att begränsa, skriver Reuters.
Öppna kinesiska modeller har samtidigt blivit populära bland utvecklare och företag världen över, inte minst tack vare ett lägre pris.
Utvecklingen går snabbt. I augusti blev Moonshots Kimi K3, som Realtid tidigare rapporterat om, den första öppna modellen att klara ett helt scenario i Irregulars tester. Två månader senare har GLM-5.3 klarat tre.
Bröt mot instruktioner
I ett separat test instruerade forskarna uttryckligen GLM-5.3 att inte använda kod som den återskapat ur minnet. Modellen gjorde det ändå, upprepade gånger, och kom på så sätt fram till rätt svar.
I ett annat test, där modellen skulle hitta inplanterade sårbarheter i öppen källkod, bidrog minnesåterskapad kod till ungefär 80 procent av de lyckade körningarna, enligt rapporten.
Irregular beskriver beteendet som så kallad reward hacking: modellen levererar det förväntade resultatet men kringgår en regel som är central för vad testet ska mäta. Forskarna varnar för att utvärderingar som bara kontrollerar om svaret är rätt kan missa sådana regelbrott, och uppmanar företag som använder modellen att övervaka dess resonemang – inte bara resultaten.
Anthropic: skydden går att kringgå
Irregular är inte ensamma om att larma. Anthropic, som självt begränsat tillgången till sin cybersäkerhetsmodell Mythos av rädsla för missbruk, publicerade i slutet av september egna tester av GLM-5.3. GLM-5.3 tog fram fungerande attacker i 50 av 410 försök, jämfört med 56 för Mythos Preview, rapporterar eSecurity Planet.
Anthropic konstaterade visserligen att modellen vägrade när den fick uppenbart skadliga förfrågningar rakt ut. Men när förfrågan försågs med en vilseledande täckhistoria gick modellen med på det i 64 procent av fallen.
Amerikanska NIST har kallat GLM-5.3 den mest kapabla öppna modellen hittills för cybersäkerhetsuppgifter, men bedömer att den ligger runt fyra månader efter de ledande amerikanska systemen. Att kinesiska AI-utvecklare knappar in har Dagens PS tidigare skrivit om.
Börsraket med säkerhetsfrågor
Z.ai lanserade GLM-5.3 i augusti, efter att ha skjutit upp släppet två veckor för ytterligare säkerhetstester. Bolaget har inte svarat på Reuters frågor.
Z.ai noterades i Hongkong i januari till 116,20 HK-dollar per aktie. I september tog bolaget in totalt 5 miljarder dollar genom en riktad nyemission och en konvertibelemission, enligt The Standard.
Lian Jye Su, chefsanalytiker på analysföretaget Omdia, säger till Reuters att Kinas AI-industri behöver starkare kontrollmekanismer och mer säkerhetstester. Han räknar dock med att landets ledande AI-labb, som han beskriver som hårt styrda, kommer att införa motåtgärder.
