Förordningen om artificiell intelligens ställer krav på system med hög risk
EU:s förordning om artificiell intelligens (AI Act) förbjuder inte helt men begränsar avsevärt användningen av maskininlärningssystem för beslutsfattande i EU:s förvaltningar.. I AI-system med hög risk klassificeras till exempel tillämpningar med anknytning till utbildning, hälsa och välbefinnande, arbetslivet, förmåner och trafik – det vill säga i praktiken nästan hela fältet för offentliga tjänster.
System med hög risk ska ha:
- tillräckliga riskbedömnings- och riskreduceringssystem
- hög kvalitet på datamängder som stöder systemet
- registrering av verksamheten för att säkerställa resultatens spårbarhet
- tydlig och tillräcklig information för användaren
- ändamålsenliga åtgärder för övervakning av människor
- hög hållbarhet, säkerhet och detaljerad dokumentation som innehåller all information om systemet för att myndigheterna ska kunna bedöma efterlevnaden av systemet.
Observera att förordningen också kräver att organisationer har AI-läskunnighet. Detta krav trädde i kraft i februari 2025, i början av den stegvisa implementeringen av förordningen:
"Leverantörer och tillhandahållare av AI-system ska vidta åtgärder för att i största möjliga mån säkerställa att deras personal och andra personer som för deras räkning arbetar med drift och användning av AI-system har tillräcklig AI-kunnighet, med beaktande av deras tekniska kunskaper, erfarenhet och utbildning samt det sammanhang i vilket AI-systemen ska användas, och med hänsyn till de personer eller grupper av personer på vilka AI-systemen ska användas." (Avsnitt 1, Artikel 4)