Företag som ger AI-agenter tillgång till data, system och betalningar utan tydliga gränser kan skapa betydande risker för sig själva. Det menar Marco Eggerling, informationssäkerhetschef för EMEA och Asien på UiPath.
Realtid har de senaste veckorna rapporterat om AI-modeller som lyckats kringgå sina spärrar i utvecklingsmiljöer. En AI-agent från OpenAI tog sig förbi avancerade säkerhetskontroller och fick tillgång till en australisk myndighetsportal.
AI behöver skyddsräcken – inte panik
Händelserna har bidragit till en växande diskussion om hur mycket ansvar företag kan lämna över toll AI-agenter, särskilt när de får tillgång till data, system och ekonomiska beslut.
För att förstå mer om riskerna har Realtid träffat Marco Eggerling, som arbetat med informationssäkerhet i mer än 25 år. De senaste åren har arbetet kommit att handla allt mer om AI.
Läs också: AI översätter en biljon ord i månaden – men felen blir svårare att se. Realtid
Fler frågor om säkerhet idag
Antalet frågor om säkerhet har ökat jämfört med för några år sedan. Enligt Eggerling har frågorna också mognat: tidigare handlade de främst om teknik, medan ansvar och etik nu får större utrymme.
Han berättar att han på ett annat företag inom försvar och säkerhet fick frågan om varför säkerhetsförsvar måste vara etiskt.
”För mig handlar det om att hålla i flaggan, att inte gå ner på en lägre nivå”, säger han
Den inställningen återkommer när han diskuterar farhågor kring framtida risker med avancerad AI.
”Varje enskild teknik som har byggts inom IT-området har använts för både goda och dåliga intentioner”, förklarar han.
”Samma sak gäller för AI.”
Att stoppa huvudet i sanden och undvika AI erbjuder ingen lösning. Istället förordar Egerling att företag som använder AI lär sig hur maskinerna fungerar för att kunna bemöta dem som vill använda tekniken på ett destruktivt sätt.
Läs mer: Revolut: Betala med ansiktet – men selfies kan ha läckt. Realtid
AI har många positiva användningsområden
AI skapades initialt för att stötta människor, menar Eggerling. Han beskriver hur hans mamma, som visserligen har haft ganska lätt för tekniska saker, använde AI för att planera en resa till Tyskland för att besöka sin son.
AI hjälpte henne att planera tågresan, köpa biljetten och lägga in informationen i kalendern.
På samma sätt kan AI underlätta arbetet på olika typer av arbetsplatser om det tydliggörs vilken uppgift det tekniska hjälpmedlet ska utföra.
Eggerling jämför med mänskliga medarbetare, som får tillgång till den data som behövs för deras uppdrag. Samma princip bör gälla för AI-agenter.
”Jag tror att den stora utmaningen organisationer står inför är att AI-agenter behöver tillgång till data. Därför är det viktigt att datan hanteras och segregeras på olika nivåer för att synliggöra datans allvar eller betydelse för organisationen.”
Läs även: Svenske 26-åringen bakom AI-succén: ”De lata kommer att få det svårt”. Realtid
Fler icke-mänskliga identiteter
En säkerhetsfråga som Egerling tror kommer att växa snabbt är identitet.
När AI-agenter börjar agera i företagens system behöver de få egna identiteter och behörigheter. I dag finns redan mängder av så kallade icke-mänskliga identiteter i organisationer. Det kan till exempel handla om tjänstekonton som används av olika system.
Eggerling berättar om ett rundabordssamtal där han nyligen fick höra att en organisation hade ungefär åtta icke-mänskliga identiteter per mänsklig identitet.
Och enligt Eggerling är det bara början.
”När allt AI- agenter tar plats på arbetsplatser behövs tydliga behörigheter, ansvariga personer och spårbarhet.”
Läs också: Tysk centralbank: AI kan börja hantera pengar på egen hand. Realtid
Målet och vägen dit är avgörande
Många företag har en tydlig bild av vad de vill att AI-agenterna ska uppnå. Utmaningen är att också kontrollera hur de når målet.
”När det gäller beslut bör agenter inte fatta betydande beslut som är svåra att ångra”, säger Eggerling.
”Vid stora ekonomiska åtaganden bör en människa fatta det slutgiltiga beslutet. Agenter kan med fördel förbereda och rekommendera”.
Hur är det med den kommande apokalypsen?
Trots riskerna beskriver Eggerling sig som optimist, men vill samtidigt betona vikten av att hantera riskerna, snarare än att göra säkra förutsägelser om framtiden.
”Agentisk teknik måste tjäna dig, inte tvärtom.”
Läs också: AI-agenter får börja handla på världens största kryptobörs. Realtid
