AI riskerar att skapa ojämställdhet

Exemplet ovan illustrera hur AI kan bidra till ojämställdhet när datan som AI använder inte motsvarar verkligheten, utan är skev.

Många myndigheter använder sig av artificiell intelligens (AI) för att utveckla servicen till medborgarna. Men det finns behov av att öka kunskapen om hur användningen av AI kan riskera att leda till ojämställdhet. Jämställdhetsmyndigheten har därför tillsammans med företaget anch.AI projektlett ett arbete där AI-lösningar hos Skatteverket och Försäkringskassan har testats.

Syftet med projektet har varit att utforska hur införandet av AI i statlig förvaltning kan bidra till att de jämställdhetspolitiska målen uppfylls, men också att bidra till ett lärande för statliga myndigheter att främja jämställdhet genom användning av AI.

Projektet använde en särskild metod, Ramverk för hållbar AI, som identifierar, mäter och hanterar risker för AI. Därtill la man till jämställdhet som en variabel för att se om införandet av AI riskerar negativ inverkan på utvecklingen av jämställdhet och uppfyllelsen av de jämställdhetspolitiska målen.

Försäkringskassan och AI

Försäkringskassans verktyg är en generell AutoML-lösning, som används till att utveckla och underhålla kognitiva modeller. Modellerna stödjer verksamhet att identifiera funktionsnedsättning och aktivitetsbegränsning i medicinska underlag.

Genom att använda ramverket på verktyget kunde en rad risker identifieras. Bland annat såg man att jämställdhetsperspektivet inte kom med i analyser och bedömningar. Slutsatsen man kunde dra är att det behövs ett uttalat jämställdhetsperspektiv i riktlinjer och rutiner kopplade till införandet av AI och att personal med särskild kompetens inom jämställdhet involveras i utvecklingen.

Skatteverkets test

Skatteverket använder AI för att klassificera text som privatpersoner och företag skrivit i fältet ”övriga upplysningar” i inkomstdeklarationen för att kunna fördela ärenden till rätt handläggare. När ramverket användes på AI-lösningen identifierades till exempel risken att jämställdhetsperspektivet inte tillvaratas tillräckligt i existerande rutiner, processer och styrning kopplat till utvecklingen av AI-lösningar.

Resurs för statliga myndigheter

Broschyren AI och jämställdhet i statlig förvaltning innehåller de kunskaper och insikter som projektet har bidragit till. Den innehåller också praktiska metoder för hur risker med ojämställdhet i AI kan identifieras och hur AI med tillämpning av ett jämställdhetsperspektiv kan utvecklas.

Jämställdhetsmyndighetens broschyr AI och jämställdhet i statlig förvaltning