AI kan effektivisera uppgifter inom offentlig sektor men riskerar samtidigt att undergräva demokratiska principer:
– Av vem ska man utkräva ansvar för ett beslut som ingen riktigt förstår?, frågar Vanja Carlsson som har granskat användningen av AI inom Arbetsförmedlingen.
I en demokratisk välfärdsstat är det viktigt att individer ska kunna förutse när och hur man har rätt till hjälp. Besluten som en myndighets tjänstemän tar ska vara förutsägbara och transparenta – för enskilda individer ska det vara tydligt på vilka grunder ett beslut har tagits, och har fel begåtts ska ansvar kunna utkrävas.
Vilka konsekvenser användningen av artificiell intelligens (AI) inom offentlig sektor får är omtvistat. Å ena sidan visar forskning på att AI kan göra vissa former av bedömningar både mer effektiva och mindre partiska, å andra sidan finns det forskning som reser frågetecken kring den slutsatsen.
Vanja Carlsson, forskare inom offentlig förvaltning vid Göteborgs universitet, har i en ny studie granskat hur AI har använts inom Arbetsförmedlingen. Hon tror att AI i vid bemärkelse redan är relativt vanligt inom offentlig sektor och hon menar att det finns flera övergripande frågor som måste diskuteras mer.
– Det finns ju många olika former av AI-teknik. Och begreppet AI definieras ibland olika. Exempel är automatiserat beslutsfattande, som vi har studerat främst, eller chatbottar. Om man utgår från en bred definition så är det sannolikt en stor utbredning av användning. Men jag har inga siffror, tyvärr, säger hon till Landets Fria Tidning.
System som sällan är transparenta
I sin studie har Vanja Carlsson granskat policydokument, rapporter och annat arbetsmaterial och har också intervjuat anställda på Arbetsförmedlingen. Hon betonar att AI fungerar bra för att dra slutsatser från statistiska data som ålder, kön, utbildning och arbetslivserfarenhet. AI är däremot sämre på komplexa uppgifter. Därmed kan AI:n missa information som är viktig för att utvärdera en enskild individs förutsättningar.
– Vid exempelvis automatiserat beslutsfattande för mer komplexa välfärdsbeslut kan det bli ett problem om AI:n inte kan ta hänsyn till information som är viktig för att en individ ska få ett korrekt beslut. AI:n kan bara ta hänsyn till information som den är programmerad till att analysera, säger Vanja Carlsson.
I studien pekar hon på att detta kan drabba framför allt sårbara individer som på felaktiga grunder kan nekas välfärd samtidigt ”som de har ett större behov av sådan hjälp”.
Komplicerande är att användningen av AI inom offentlig sektor görs med hjälp av tekniska system och algoritmer som ofta är svåra att förstå. Dessutom ägs AI:n generellt av privata företag och för dem är algoritmerna viktiga affärshemligheter. Detta riskerar att försämra transparensen av beslutsprocessen inom offentlig sektor, liksom minska möjligheten till ansvarsutkrävande när något blir fel, enligt Vanja Carlsson.
– Det finns ytterligare problem i förhållande till att de tekniska systemen sällan är helt transparenta. Det vill säga de fattar beslut som inte fullt ut går att härleda eller förstå. Detta är ibland ett problem för både handläggare och andra tjänstepersoner och för medborgare. Och det i sig väcker frågor om ansvarsutkrävande. Av vem ska man utkräva ansvar för ett beslut som ingen riktigt förstår?
Initierade debatter brådskar
Skulle då offentligt ägda AI-verktyg kunna vara mer transparenta, och är sådana ens möjliga? Enligt Vanja Carlsson skulle de kunna vara det men, detta beror på huruvida AI-verktygen skapas eller programmeras för att vara just transparenta. Och problem med att förstå tekniken kan ändå kvarstå:
– Här är min uppfattning att det i dag ligger i mångas intresse att utveckla mer transparenta system. Det finns redan nu exempel på offentligt ägda AI-verktyg. Tyvärr kan det kvarstå problem med att användare av tekniken inte fullt ut förstår den, även om den är byggd ”in-house” av en IT-avdelning, säger hon.
Vanja Carlsson betonar vikten av att frågor som dessa diskuteras mer, och det snarast. Men inom vilka forum kan det ske, och på vem ligger ansvaret för att det görs? Det är en viktig fråga menar Vanja Carlsson:
– Politiken kan föra fler initierade debatter om vad man vill att den tekniska utvecklingen ska lösa för samhällsproblem och de risker och utmaningar som är kopplade till detta. Även en mer tydlig statlig styrning som hade den offentliga förvaltningens förutsättningar som utgångspunkt hade sannolikt varit uppskattat inom olika nivåer i offentlig sektor.
Hur brådskande är det att detta sker?
– Mycket.
Fakta: AI-verktyg och transparens
AI-användning inom offentlig sektor kan öka effektiviteten men för också med sig risker och utmaningar. Det menar menar Vanja Carlsson, forskare inom offentlig förvaltning vid Göteborgs universitet.
Hon har granskat hur AI används inom Arbetsförmedlingen och konstaterar att AI fungerar bra för att dra slutsatser från statistiska data som ålder, kön, utbildning och arbetslivserfarenhet.
När det gäller komplexa uppgifter fungerar AI däremot sämre. Detta då AI:n bara kan ta hänsyn till information som den är programmerad till att analysera. Detta kan drabba enskilda individer som kan nekas hjälp trots att de är i stort behov av den.
Det faktum att AI-verktyg ofta köps in av privata aktörer till offentlig sektor minskar också möjligheten till öppenhet och transparens kring hur ett beslut har tagit. Det finns dock exempel på offentligt ägda AI-verktyg.
Vanja Carlsson anser att politiken måste bjuda in till initierade diskussioner kring de frågor som AI inom offentlig sektor väcker och att det är viktigt att detta sker skyndsamt.
Hennes studie Legal certainty in automated decision-making in welfare services (AI inom Arbetsförmedlingen) är publicerad i tidskriften Public Policy and Administration.
