Amerikaanse rechter weigert video als bewijs vanwege gebruik AI-software

Een Amerikaanse rechter heeft geweigerd dat een video als bewijs wordt gebruik in een rechtszaak vanwege het gebruik van AI-software bij het bewerken van de video. Dat meldde Tweakers vorige week. Door gebruik van de software wilde de aanklager duidelijker maken dat het inderdaad ging om de verdachte.

Wat ging er nou precies mis?
De aanklager gebruikte Topaz Video AI om de video te upscalen, meldt NBC News. De software van het Amerikaanse bedrijf herkent gezichten en vult vervolgens details aan die niet in het oorspronkelijke beeld zaten. Dat is problematisch, zo redeneert de rechter, want de software `leunt op vage methoden om te bepalen wat het AI-model denkt wat we moeten zien’, aldus de rechtbank.
Topaz is videobewerkingssoftware: je kunt er beeld mee opknappen, zoals door het er scherper laten uitzien. Dat is mooi voor die vakantiefoto die niet helemaal goed gelukt is, of voor het aanvullen van beeld voor je reclamecampagne dat nét even iets extra’s nodig heeft.

Specifiek bij bewijs is dat allemaal net iets spannender. Het is natuurlijk prima als het bewijs beter te beoordelen wordt, maar dat moet niet gebeuren door er dingen bij te verzinnen, hoe mathematisch logisch het ook lijkt dat die pixels er tussen moeten.

Het plaatje rechtsboven (van een experiment uit 2020 met hetzelfde doel) laat zien waarom: de dataset daarvan bevatte geen gezichten van kleur, waardoor de bekende foto van president Obama opgewerkt werd tot geheel iemand anders. Een recenter voorbeeld was beeldbewerkingssoftware die ongevraagd acteur Ryan Gosling toevoegde aan een video.

Mag dit nou van de AI Act? Ik zit even te peinzen of dit telt als biometrie, maar interpolatie van pixels kan ik moeilijk gelijk stellen aan analyse van gezichtskenmerken. Op de lijst (Annex III) staan wel diverse vormen van AI-gebruik door wetshandhaving, waar naast de politie ook het OM onder valt:

AI systemen gebruikt als leugendetector

AI om de betrouwbaarheid van bewijs te evalueren

AI om recidivisme in te schatten (waarbij meer dan profiling wordt gebruikt, want anders is het verboden)

AI voor het profileren van mensen in het kader van opsporing en vervolging

Het met AI mooier maken van bewijs lijkt mij onder het tweede item te vallen. Daarmee zou de inzet van Topaz door het OM aan de high-risk eisen moeten voldoen, wat lastig is omdat het systeem als zodanig daar niet op ontworpen is. Zo zal er geen inzage te krijgen zijn in de gebruikte trainingsdata of accuratesse, en moet het OM dan flink moeite doen om de verplichte adequate logging te bouwen.

Ook zullen dit soort systemen onder de transparantie-eis van “synthetic output generator” AI vallen. Die moeten zorgen dat hun beeld onzichtbaar en robuust gewatermerkt is zodat andere systemen (zoals het uploadformulier van Facebook) kan signaleren dat er synthetische afbeeldingen worden geupload.

Naar de letter van de wet is zulk beeld zelfs een deepfake:
“deepfake”: door AI gegenereerd of gemanipuleerd beeld-, audio- of videomateriaal dat een gelijkenis vertoont met bestaande personen, voorwerpen, plaatsen of andere entiteiten of gebeurtenissen, en door een persoon ten onrechte voor authentiek of waarheidsgetrouw zou worden aangezien;
Twintig bij twintig pixels uitvergroot en bewerkt zodat je er Ryan Gosling in ziet, lijkt mij wel “een gelijkenis vertonen” waardoor je ten onrechte het beeld voor waarheidsgetrouw aan gaat zien. Dit beeld moet dus expliciet gemarkeerd worden als niet-authentiek.

Is hiermee alle gebruik van beeldbewerking verboden? Nee. Nog even los van dat dit één uitspraak is; de betrouwbaarheid van via ict verkregen bewijs vaststellen is al decennia een aandachtspunt. AI maakt het manipuleren van bewijs eenvoudiger en sneller, maar dat is geen fundamenteel nieuwe kwestie.

Arnoud

 

Het bericht Amerikaanse rechter weigert video als bewijs vanwege gebruik AI-software verscheen eerst op Ius Mentis.

Gerelateerde berichten:

• Hoe surf je veilig op internet? [video] (16/10/10 15:40)
• Skype neemt Qik over voor verbeteren videochat (10/01/11 10:33)
• Magix deelt gratis software uit (15/01/10 00:00)
• Fouten in rechtszaak tegen Xbox-modder (03/12/10 12:54)
• 3D-modelling met je webcam (01/12/09 12:14)

Reacties:

Er zijn nog geen reacties op dit bericht.