I torsdags presenterade Apple tre nya funktioner som är tänkta att skydda barn från sexuellt utnyttjande, men företaget har fått frän kritik från många håll. Här är några av de personer och organisationer som har uttalat sig negativt om nyheten:

  • Electronic Frontier Foundation
  • Edward Snowden
  • Center for Democracy and Technology
  • Carmela Troncoso (professor vid EPFL i Lausanne)
  • Matthew Green (professor vid Johns Hopkins-universitetet)
  • Sarah Jamie Lewis (Open Privacy Research Society)
  • Nadim Kobeissi (säkerhets- och integritetsforskare)

Över fem tusen personer och en rad organisationer har även skrivit under ett brev som ber Apple tänka om. Såväl i pressen som på Twitter, Reddit och andra forum har nyheten diskuterats flitigt. Det förekommer många felaktigheter och missförstånd kring funktionerna och hur de kommer fungera, även från välrenommerade tidningar som Washington Post.

Tre funktioner – så här fungerar de

Apple har alltså presenterat tre separata funktioner, vilket verkar ha lett till många av missförstånden. Den första jämför speciella hashvärden av foton som är på väg att laddas upp till Icloud-biblioteket med en databas över kända barnporrbilder (kallad CSAM), som administreras av den amerikanska staten grundade och finansierade organisationen NCMEC.

Om telefonen hittar en matchning skickas en krypterad version av den till Apple. Ett visst antal matchningar krävs innan Apple kan se innehållet (något som möjliggörs av en krypteringsteknik kallad tröskelhemlighetsdelning). Innan tröskeln har nåtts kan Apple inte se något alls. Tack vare att falska matchningar medvetet laddas upp för samtliga användare kan Apple inte ens veta för vilka konton några faktiska matchningar har hittats. Först när tröskeln har nåtts öppnas innehållet, varpå systemet kan urskilja faktiska matchningar från falska.

Apples kontroll mot barnporrdatabas

Anställda på Apple kontrollerar sedan att bilderna i fråga verkar matcha bilderna i databasen – Apple får inte se de faktiska bilderna utan ”visuella derivat” (exakt vad har Apple inte sagt, men gissningsvis handlar det om suddiga/lågupplösta tumnaglar).

Funktion två är ett tillägg i appen Meddelanden som ska aktiveras för barnkonton inställda av föräldrar via Iclouds familjedelning. Inledningsvis är tillägget aktuellt för amerikanska användare. Det använder maskininlärning på barnets Iphone för att avgöra om bilder som är på väg att skickas eller precis har tagits emot av andra innehåller något som tolkas som sexuellt. Barnet får då en varning och måste trycka förbi två dialogrutor innan bilden kan skickas/visas. För barn under 13 år skickas även en notis till föräldrarna (enligt inställningar i familjedelning).

Tredje nyheten är uppdateringar av Siri och Sök som ska göra det enklare att hitta rätt för den som vill rapportera misstänkt utnyttjande av barn. Siri ska även ge förslag till hjälp för användare som gör sökningar som förknippas med barnporr.

Missförstånden

I kritikstormen som uppstått de senaste dagarna finns framför allt två stora missförstånd. Många blandar ihop CSAM-matchningen och Meddelanden-funktionen. De har fått för sig att Apple kommer skanna alla bilder som skickas och tas emot med Imessage i jakten på barnporr, men det stämmer alltså inte alls.

Varningar i Meddelanden

För det första ligger funktionen i appen Meddelanden, inte tjänsten Imessage, och bilderna som skickas och tas emot av barnen kontrolleras av IOS direkt på enheten utan något utbyte av information med någon server eller databas. Det enda som kan skickas är en notis till föräldrarna, men det sker med totalsträckskryptering så Apple har ingen aning om vilka barn som har valt att visa eller skicka explicita bilder.

CSAM-funktionen skannar inte innehållet i några bilder utan kontrollerar särskilda hashvärden av filerna. Ettor och nollor som inte säger något om vad som visas på bilderna.

Många har också fått för sig att Apple kommer att kontrollera alla bilder i telefonen, men så är det inte heller. Matchningen mot CSAM-databasen sker för bilder som ska laddas upp till Icloud. Har du stängt av Icloud-biblioteket utförs inga kontroller alls.

Som vanligt när det rör sig om avancerade kryptografiska funktioner är det även många som inte förstår tekniken och argumenterar utifrån felaktiga antaganden om hur det fungerar.

Fortfarande problematiskt

Trots alla missförstånd och Apples noggranna förklaringar, även med hjälp av utomstående experter, kvarstår flera allvarliga och fullt legitima farhågor.

Vi börjar med CSAM-funktionen. Jag har detaljläst vad både Apple och andra experter skriver, och min slutsats är att Apple verkligen verkar ha fått till en teknik som värnar integriteten så långt det går om foton nödvändigtvis ska matchas mot en databas över kända barnporrbilder. Problemet är bara: Vem bestämmer vilka bilder som ingår i den databasen? Apple kan inte se innehållet i den, och även om det kunde skulle det bara se en lista över hashvärden.

Det här gör det fullt möjligt för myndigheten som bestämmer innehållet i databasen att lägga till helt andra saker, till exempel ”terrorism” (protester mot polisvåld? moskébesökare?), utan att Apple har någon aning om det. I Kina ligger Icloud-bilderna redan hos ett statligt ägt företag och användare kan räkna med att de kontrolleras oavsett, men det räcker med USA för att se ett potentiellt hot. Kanske inte idag, men om några år eller längre fram.

Två flickor med en Iphone

I USA finns dessutom den skrämmande möjligheten att Apple kan tvingas lägga till andra saker IOS söker efter på detta sätt, med hemliga domstolsbeslut som företaget inte får prata om, så kallade ”national security letters”. Här finns en del juridiska begränsningar som minskar riskerna för massövervakning idag, men återigen – risken är att saker förändras och då har Apple öppnat för ett sätt för myndigheterna att kringgå IOS vanligtvis starka integritetsskydd.

Andra företag med molnlagringstjänster med verksamhet i USA, som Google och Microsoft, måste också skanna efter CSAM-matchningar, men gör det i molnet istället för på användarnas enheter. Normalt är behandling på din telefon något som stärker integritetsskyddet, men i det här fallet är det snarast tvärt om: Apple avslöjar för världens myndigheter att det finns tekniker som kan kringgå enhetens kryptering.

Ytterligare ett problem är risken att vuxna överlevare av sexuella övergrepp fastnar i filtret med sina privata och fullt lagliga bilder. Det kommer så klart ganska snart framgå att sådana bilder inte är barnporr, men tills dess kommer kontot vara avstängt och Apple har redan fått reda på att kontot har flaggats.

Avi Zajac, utvecklare på platformabuse.org som jobbar med just detta ämne, påpekar på Twitter att det kan få många överlevare att aldrig uppdatera till IOS 15 och stänga av automatiska uppdateringar. Att inte hålla mobilen uppdaterad är en stor säkerhetsrisk.

Till syvende och sist tror jag att funktionen ytterst sällan kommer få fatt på någon som faktiskt håller på med barnporr, eftersom alla redan nu vet att det räcker att stänga av Icloud-biblioteket. Så istället för att rädda en massa barn från utnyttjande – som NCMEC hoppas på – får Apple hundratals miljoner användare att känna sig övervakade och riskerar även att bidra till framtida uppluckrande av rätten till privatliv.

Apple är naivt

Vad gäller meddelandefunktionen handlar det om andra problem. Flera kommentatorer på Twitter har pekat på stor naivitet hos Apple, både i fråga om barns förhållanden med sina föräldrar och hur funktionen skulle kunna missbrukas eller av misstag påverka andra negativt.

Electronic Frontier Foundation har ett enkelt och tydligt exempel: Eftersom filtret och varningarna till föräldrar bara finns på telefonen för de barn vars konton är inställda med familjedelning kan barns kompisar som inte har funktionen aktiverad inte veta huruvida Apples filter skulle klassa ett foto som sexuellt/pornografiskt. Apple verkar inte ha tänkt på att strikta föräldrar enkelt kan ändra barnens ålder i Icloud till att alltid vara under 13, så att de inte kan visa eller skicka sådana bilder.

Vad händer då om till exempel två 16-åringar förtroligt vill utbyta bilder med varandra? Antingen kommer den vars föräldrar har ljugit om åldern för att kunna få notiser varken öppna den andres bilder eller skicka egna – en inskränkning av deras friheter – eller ignorera/missförstå varningen och plötsligt har de strikta föräldrarna en orsak att gå igenom barnens telefoner och få se bilderna i fråga.

Och det behöver inte ens handla om bilder som faktiskt är sexuella. Ai:n som analyserar bilder på det här sättet är ökända för hur ofta de har fel. Det kan leda till att barn antingen inte kan skicka helt oskyldiga bilder till varandra som IOS tror är sexuella, eller att föräldrarna får notiser och ifrågasätter barnen när de får se bilderna.

En annan risk är att funktionen leder till att ett barn som till exempel är hbtqi avslöjas för en kompis föräldrar, som avslöjar det för barnets föräldrar, som i sin tur misshandlar eller på andra sätt skadar barnet.

Två pojkar med mobiler

Meddelanden är förinstallerat på alla Iphones och de flesta föräldrar, även striktare, tillåter barnen att använda appen. Kontrollerande föräldrar kan välja vilka kontakter barnen får ha, och kan begära att få gå igenom innehållet då och då, men hittills har kombinationen av totalsträckskryptering och möjligheten att radera meddelanden ändå gett utsatta barn en viss möjlighet till privat kommunikation. Apples nya skyddsfunktion kommer begränsa den möjligheten.

Om funktionen alltid kunde aktiveras eller avaktiveras av barnen själva hade det varit en annan femma. Då kunde barn och föräldrar som har bra relationer tillsammans tala om riskerna med att kommunicera med främlingar, och barnen kan självmant aktivera skyddet om de håller med om att det vore obehagligt att till exempel få en ”dick pic” av en främmande vuxen man.

Självklart skulle det medföra en risk att en förövare övertalar ett barn att stänga av skyddet, men riskerna med att ge kontrollerande föräldrar ytterligare kontroll över sina barn är mer konkreta och kommer påverka många fler barn.

Jag är övertygad om att Apple har goda intentioner med de här funktionerna, men jag hoppas ändå att företaget tar en paus och lyssnar på åsikter utanför sin egen bubbla. Miljarder användares integritet och tillit till Apple står på spel, inklusive miljontals barn och ungdomar.