Hva sier SCHUFA-dommen om automatiserte avgjørelser?
Photo by Gerard Siderius on Unsplash
Schufa-dommen er en etterlengtet dom fra EU-domstolen fordi det er den aller første saken hvor domstolen tar stilling til GDPR artikkel 22 – forbudet mot automatiserte avgjørelser.
Dette setter noen viktige føringer for firmaer som Schufa som lager verktøy som enten kan brukes som beslutningsstøtte, eller som kan være en del av en automatisert avgjørelse. Alt ettersom hvorvidt et menneske er inne i avgjørelsesprosessen på en meningsfull måte.
Faktum i saken
Schufa er et tysk selskap som lager en «credit score» eller kredittvurdering på folk. Dette er en vurdering som sier noe om en person sannsynligvis vil kunne betale for seg i fremtiden. Måten Schufa kom frem til denne «scoren», var ved hjelp av en matematisk formel – en algoritme om du vil – som tok i betraktning en rekke parametere basert på data om hvordan andre folks tidligere betalingsevne.
Saken kom opp for tyske domstoler etter at en kvinne ble nektet lån i banken sin fordi banken hadde lagt avgjørende vekt på kredittvurderingen fra Schufa. Hun hadde henvendt seg til Schufa bl.a. med forespørsel om å få innsyn i logikken bak kredittvurderingen
Schufa svarte med å gi den registrerte kredittvurderingen hennes og en enkel forklaring på hvordan de hadde regnet ut «scoren». De ga henne ikke informasjon om logikken bak utregningen med henvisning til at det var en bedriftshemmelighet.
Schufa mente også at de ikke var en del av avgjørelsesprosessen, og at de dermed ikke bidro inn i en eventuell automatisert avgjørelse. De hadde nemlig bare gitt informasjon til banken. Det var banken som brukte kredittvurderingen til å fatte en avgjørelse.
Spørsmålet i saken var om dette var en automatisert avgjørelse.
Domstolens vurdering av vilkårene for når noe er en automatisert avgjørelse
Domstolen identifiserte disse tre vilkårene i GDPR artikkel 22 som alle må være oppfylt for at noe skal være en automatisert avgjørelse:
1. Det må være snakk om en «avgjørelse»
2. Avgjørelsen må utelukkende være «basert på automatisert behandling, herunder profilering»
3. Avgjørelsen må innebære en rettsvirkning for ELLER på tilsvarende måte i betydelig grad påvirker den registrerte.
Hva som menes med en «avgjørelse» er ikke definert i GDPR, men domstolen brukte ordlyden «rettsvirkning for eller på tilsvarende måte i betydelig grad påvirker den registrerte» som tolkningsmoment for å si at begrepet «avgjørelse» skulle ha en vid betydning.
Domstolen viste også til fortalepunkt 71 som underbygger en slik forståelse, i og med at «et automatisk avslag på en søknad om kreditt på internett eller e-rekruttering uten menneskelig inngripen» er eksempler på automatiserte avgjørelser.
Generaladvokaten hadde også uttalt seg om hva som egentlig ligger i begrepet «avgjørelse». Domstolen la vekt på Generaladvokatens uttalelse om at resultatet en kredittvurdering i form av en utregning av sannsynligheten av en persons evne til å oppfylle fremtidige betalingsforpliktelser, var en «avgjørelse».
Deretter gikk domstolen over til å vurdere vilkåret om at avgjørelsen «utelukkende må være basert på automatisert behandling, herunder profilering». Her konkluderer domstolen veldig raskt med at «det er allment akseptert» at kredittvurderingen til Schufa er profilering slik profilering er definert i GDPR artikkel 4(4).
Til slutt vurderte domstolen om avgjørelsen innebar «en rettsvirkning for eller på tilsvarende måte i betydelig grad påvirker den registrerte».
Domstolen startet med å påpeke at banken som brukte kredittvurderingen fra Schufa, la avgjørende vekt på den i avgjørelsen om den registrerte skulle få lån. I nesten alle tilfeller ville en lav kredittvurdering føre til at søknaden om lån ikke ble innvilget. Domstolen kom til at resultatet av en lånesøknad ville i det minste påvirke den registrerte betydelig.
Det avgjørende i denne saken var at selve kredittvurderingen spilte en avgjørende rolle i vurderingen av om den registrerte skulle få innvilget søknaden om lån.
Og dette var nok til at det tredje vilkåret var oppfylt.
Vilkårene kan oppfylles på forskjellige tidspunkter og av forskjellige parter
Det som gjorde denne avgjørelsen kompleks, var at det var flere aktører i avgjørelseskjeden: Schufa som lagde kredittvurderingen og banken som brukte den til å vurdere om den registrerte skulle få lån.
Schufa hadde opprinnelig argumentert for at de ikke var en aktør i denne avgjørelsesprosessen siden de ikke fattet endelig avgjørelse om lån skulle gis, de lagde bare kredittvurderingen. Domstolen hørte ikke på dette argumentet.
I stedet konkluderte domstolen med at vilkårene for når noe er en automatisert avgjørelse kan oppfylles på forskjellige tidspunkter og av forskjellige parter. Hvis domstolen ikke hadde tolket vilkårene i artikkel 22 på denne måten, hadde det ført til et langt dårligere personvern. Konkret sa domstolen det på denne måten:
«…there would be a risk of circumventing Article 22 of the GDPR and, consequently, a lacuna in legal protection if a restrictive interpretation of that provision was retained…»
Hva betyr dette? Jo, at du må se avgjørelseskjeden under ett. Schufa sin etablering av kredittvurdering er en del av avgjørelsen, selv om de ikke fatter endelig avgjørelse.
Og det gjør at leverandører som lager automatiserte beslutningsstøtteverktøy, f.eks. ved bruk av AI eller maskinlæring, VIL være en del av en beslutningskjede, og dermed må respektere forbudet mot automatiserte avgjørelser i artikkel 22.
Ps. Jeg leser dommer regelmessig på LinkedIn Live, og SCHUFA-dommen er en av de jeg har lest. Konseptet er at fordi du som driver med personvern alltid har noe faglig du skulle ha lest, og det hele tiden skjer så utrolig mye på området, går du konstant rundt med dårlig samvittighet fordi du ikke “gjør nok”. Derfor har jeg laget en nesten ukentlig greie der jeg leser en dom høyt på LinkedIn Live, og hvor du kan dukke opp, helt uten å ha forberedt deg. Det tat en times tid, og vipps har du lest en dom! Du kan også høre på opptaket i podcast. Se opptaket fra SCHUFA-dommen på LinkedIn her.