I samband med att ChatGPT och andra AI-system slagit igenom har det uppmärksammats att det ibland kommer ut en del märkliga resultat ur dem. Det har egentligen redan tidigare visat sig att artificiell intelligens kan fatta beslut som är systematiskt felaktiga, och att detta kan leda till en rad problem för de som ska använda besluten i sin verksamhet.

Grunden till problemet är ofta att den data som används är skev redan från början och sedan kan ett AI-system förstärka problemen ytterligare. De här falska resultaten kan bero på flera saker. Data som används för att lära upp system för maskininlärning kan till exempel färgas av människors fördomar. När data samlas in och används i utbildningen av maskininlärningsmodeller kan även själva modellerna ärva partiskheten hos de personer som bygger dem.

Vi genomförde nyligen en undersökning med 640 företag med mer än 500 anställda, varav 50 företag var svenska. Vi ställde frågor om hur de använder data när de fattar beslut och inte minst frågade vi om hur utvecklingen inom AI har påverkat dem och kommer påverka dem i framtiden.

Vår undersökning visar att större svenska företag ser problem i att den data som används vid beslutsfattande ofta är färgad på olika sätt, och de ser också att detta kan leda till dåliga beslut. Undersökningen visade att det finns en medvetenhet hos företagen men samtidigt finns det mycket kvar att göra för att motverka problemet.

Tre fjärdedelar av de svenska företagen (74 procent) menar att de kommer behöva göra mer för att ta itu med den här utmaningen. Dessutom menar en stor majoritet (62 procent) att de är helt övertygade eller håller det för troligt att det här problemet kommer öka i takt med att de börjar jobba mer med artificiell intelligens och maskininlärning.

Då ska man också veta att många företag (60 procent) förväntar sig att under de kommande åren öka mängden beslut som tar hjälp av artificiell intelligens. Så oron finns definitivt och det vi ser är även att en del företag har börjat hantera utmaningen.

En majoritet av de svenska företagen (56 procent) som deltog i undersökningen säger själva att de data de använder vid beslutsfattande definitivt eller sannolikt är färgade på olika sätt. Samtidigt är det idag bara 2 procent av de svenska företagen som säger sig ha kommit långt med att hantera utmaningen, även om många (54 procent) åtminstone påbörjat att implementera lösningar.

Vi frågade också företagen själva vilka hinder de såg, och då pekade de främst ut en brist på medvetenhet om potentiella fördomar, förståelse för hur man identifierar fördomarna samt svårigheten att hitta rätt specialister, exempelvis inom datahantering.

Det finns en rad problem som kan orsakas av fördomsfulla beslutsunderlag. För företaget självt kan snedvridna beslut orsaka direkt skadliga beslut, både juridiskt och finansiellt – till exempel när ett företag inom finans upptäckte att de sa nej till kunders låneansökningar eftersom ett AI-baserat verktyg diskriminerade baserat på vilken postadress som kunderna hade.
Dessutom finns det en etisk aspekt, om till exempel en viss kategori av människor utesluts genom AI-ledda beslut som fattas under en process för att rekrytera nya anställda till ett företag. Det här kan leda till att enskilda råkar illa ut, samtidigt som även företaget utesluter bra kompetens och riskerar sitt varumärke.

Det är därför självklart att företagen måste bli bättre på att ta tag i frågan om hur AI-stödet egentligen används i verksamheten. Riskerna är helt enkelt för stora för att kunna ignoreras.

Niklas Enge
Nordenchef, Progress

Hela rapporten finns här>>