Wat is hoog-risico-AI volgens de AI Act? Toepassingen zoals werving, onderwijs en kredietbeoordeling, met zware eisen aan toezicht en documentatie.
Hoog-risico-AI is de categorie uit de AI Act voor toepassingen die het leven van mensen echt raken: werving en personeelsbeoordeling, onderwijs en toetsing, kredietbeoordeling, en cruciale systemen. Zulke toepassingen dragen zware verplichtingen rond menselijk toezicht, documentatie en datakwaliteit. EIGHTY8 ontwerpt zo dat beslissingen over mensen bij een mens blijven.
De AI Act bekijkt niet wat een systeem technisch is, maar wat het met mensen doet. Waar een toepassing meebeslist over iemands kansen (of hij een baan krijgt, slaagt, lening of uitkering) sprekt de verordening van hoog-risico, en gelden er verplichtingen die ver uitsteken boven de alledaagse AI-tool. Genoemd worden onder meer systemen voor werving en selectie, beoordeling van leerlingen en studenten, kredietbeoordeling en toepassingen in cruciale infrastructuur.
Wat die zwaardere categorie praktisch vraagt, valt in drie hoopjes te scheppen. Menselijk toezicht: een bevoegde mens kan ingrijpen, bijsturen en de uitkomst overrulen. Documentatie: vastgelegd is hoe het systeem werkt, met welke data het is opgebouwd en welke grenzen het heeft. Kwaliteit: de gegevens waarmee het systeem draait zijn verzorgd, zodat het geen verborgen vooroordelen doorzet. Geen van die drie is geheimzinnig. Het zijn de dingen die een zorgvuldige bouwer toch al wil vastleggen.
Een praktische toets voor een intake: raakt de uitkomst een beslissing over een persoon, en hoeft daarvoor geen mens aan te schuiven? Dan ligt de toepassing in de buurt van deze categorie en verdient hij een ontwerp met een expliciete controle-door-mens, of beter: de beslissing zelf bij de mens. Weer weg van die grens (een samenvatting, een concept, een zoeksuggestie) dan valt de toepassing terug naar de lichtere regimes. Wie er zeker van wil zijn, raadpleegt de verordening en een jurist.
Voor recruitment- en onderwijs-organisaties is de toets het meest direct: wie met AI cv's voorziet, kandidaten scoort of toetsen beoordeelt, zit op het terrein waar de verordening het scherpst is. Ook krediet- en verzekeringstaken die personen scoren horen daarbij. In zulke trajecten kiezen wij bewust voor een assistent-rol: het systeem klaart voor, de mens beslist. Daarmee valt de toepassing aan de veilige kant van de grens.
Niet elke AI is daarmee hoog-risico: een chatassistent die algemene vragen beantwoordt, een documentzoekfunctie of een factuurcontrole met menselijke goedkeuring vallen doorgaans onder lichtere regimes. En de categorie is geen reden om niets te bouwen. Het is een reden om de beslissingsbevoegdheid te ordenen. Precies dat ordenen hoort in de discovery, niet achteraf.
Onze standaard in werkstromen die personen raken is eenvoudig: AI berekent en stelt voor, een mens beslist, en vastgelegd wordt welke invoer en welke modelversie tot het voorstel leidden. Waar een klant een toepassing wil die verder gaat, spreken we dat expliciet door en verwijzen we naar de verordening en een jurist voor de duiding. Zo blijft het verschil tussen assisteren en beslissen een bewuste keuze, geen aanneming.
De kernvraag is of het systeem meebeslist over een persoon in een domein dat de verordening benoemt. Werving, onderwijs, krediet en meer. Een handvat: beslist een mens nog zelf, met het systeem als voorbereider, dan beweeg je aan de veilige kant; neemt het systeem de afwijzing of toekenning over, dan ligt een beoordeling voor de hand. De exacte duiding van jouw toepassing hoort bij de verordeningstekst en een jurist; wij bouwen zo dat de mens de beslissing houdt.
In grote lijnen drie dingen: een mens moet kunnen ingrijpen en de uitkomst overrulen, de werking en de gebruikte gegevens moeten gedocumenteerd zijn, en de data moet verzorgd zijn zodat het systeem geen verborgen vooroordelen doorzet. Daar komt registratie en verantwoording bij. Voor het precieze pakket aan verplichtingen verwijzen we naar de verordening en de toezichthouder; als engineers zorgen wij dat het ontwerp die controles en die documentatie daadwerkelijk bevat.
Werving en selectie staan expliciet genoemd in de verordening, dus AI die kandidaten filtert of scoort valt daar al snel onder. Wat veel aanbieders dan doen is de rol omdraaien: het systeem vat cv's samen, zoekt op vaardigheden en bereidt voor. De recruiter leest, weegt en beslist. Dat is een wezenlijk ander ontwerp dan automatisch afwijzen, en het is het ontwerp dat wij standaard voorstellen. Of jouw specifieke opzet onder de categorie valt, laat door een jurist bevestigen.
Meestal niet. Een chatassistent die vragen beantwoordt en informatie uit eigen documenten haalt, raakt geen beslissing over een persoon. Hij valt doorgaans onder het transparantieregime: de gebruiker mag weten dat hij met AI praat. Anders wordt het zodra de chat de inhoud van een besluit gaat bepalen, zoals toewijzing of afwijzing. Houd de beslissing bij een mens en documenteer de overdracht, dan hou je de toepassing uit het zwaarste regime.
EIGHTY8