Juridik och dystopi: AI-förordningen i ljuset av Tegmark

I ett tidigare blogginlägg genomförde vi en selektiv testkörning av AI-förordningen genom att relatera regelverket mot ett par varianter av avancerad AI hämtade från filmhistorien. Sedan dess har fysikern och AI-forskaren Max Tegmark i sitt sommarprat påmint oss om att science fiction-dystopier och vetenskapliga framtidsspaningar kan överlappa varandra på rent kusliga nivåer. Kan juridiken vara motkraften som bevarar mänskligheten?

För att sammanfatta Tegmarks inställning till framtiden i ljuset av AI-utvecklingen är den kort och koncist uttryckt pessimistisk. Inte på så sätt att han påvisar att risker existerar eller att han har önskemål om att finjustera regleringar på området, utan den dimension av pessimism som kommer av att vara övertygad om att mänskligheten krattar manegen för sin egen undergång. Med hans egna ord likställer han vår nuvarande riktning med att betrakta ett barn som cyklar närmare och närmare ett stup utan att lyssna på de vuxna som ropar ut varningar om den fatala faran som närmar sig.

För att tydliggöra spelplanen inom den allt växande AI-tyckonomin så finns det flera tunga röster som argumenterar kraftigt mot dystopidiskursen inom debatten. I stället för brådsvart mörker framhålls från detta håll ändlös tillväxt och lösningar på samtliga mänsklighetens problem. Ett exempel på en tydlig motpol är tech-innovatören och investeraren Marc Andreessens inlägg Why AI will save the world som kan läsas som en direkt konfrontation mot Tegmarks utlåtanden.

I detta inlägg utgår vi från Tegmarks synsätt i huvudsak för att relatera AI-förordningen mot ett potentiellt worst case-scenario. Om inte annat för att öppna upp för fler perspektiv och försöka förstå vilka åtgärder som kan minimera riskerna för att de utpekade farorna ska kunna förverkligas. Ett sådant perspektiv är det juridiska, då regelverk som EU:s AI-förordning har uttalade målsättningar att inverka positivt på utvecklingens påverkan på mänskligheten. Kan de bestämmelser och metoder som förs fram i förordningen antas bemöta riskerna som Tegmark återkommande varnar oss för, eller är dessa endast tomma slag i luften som i bästa fall ger oss en naiv illusion av kontroll?

I sitt sommarprat tar Tegmark upp tre exempel på hur det – beskrivet med hans egna ord – ”kan gå åt skogen med AI”. Dessa scenarier kan sammanfattas på följande sätt:

Illvillig användning, vilket syftar på faran som uppstår av att individer med avsikt att skada får tillgång till avancerade AI-system. Teoretiskt skulle en sådan individ kunna be systemet att producera biologiska vapen, virus eller vilken annan produkt som helst med kapacitet att hota mänskligheten.

AI-konkurrens vilket innebär att människor gör sig själva irrelevanta inom samhället då maskiner konkurrerar ut oss inom alla yrken och funktioner som vi anser nödvändiga och meningsfulla. Om inte bara företag utan också stater och militär leds och bemannas av AI-system skulle mänskligheten förlora inte bara sin position högst upp på näringskedjan utan även sin relevans att existera ur maskinernas synvinkel.

Missriktad AI som betyder att även om en AI kan begränsas till att endast utföra uppgifter som är till nytta för mänskligheten skulle det innebära en stor utmaning att säkerställa att systemet uppfattar alla nyanser och outtalade undertexter som instruktionerna innefattar. Exempel på hur instruktioner kan behöva nyanseras för att inte feltolkas kan vara att anvisningen ”ta mig så snabbt som möjligt till flygplatsen” genomförs mest effektivt utan att hänsyn tas till trafiksäkerhet och instruktionen ”utrota allt lidande” mest effektivt kan uppfyllas genom att utplåna allt liv.

Juridisk systematik mot undergångspanik

För att reflektera över hur AI-förordningen förhåller sig till, samt har möjlighet att avväpna de beskrivna scenarierna, behöver vi överblicka regelverkets utformning och vilken metodik den föreskriver AI-utvecklare och leverantörer att vidta för att hålla risknivåerna i schack.

Den första grupp av AI som regleras i förordningen är de som faller under kategorin ”förbjudna tillämpningar av artificiell intelligens”. Det har alltså definierats olika nivåer av risker knutna till AI-system och dragits en gräns vid system som anses allt för riskfyllda att tillgängliggöra. Förenklat kan man sammanfatta att gränsen går vid system med potential att skadligt manipulera mänskliga beteenden, som utnyttjar individers sårbarheter eller som poängsätter eller rangordnar individers pålitlighet baserat på beteenden på ett sätt som kan skapa orättvisa och negativa konsekvenser för individerna. De hot som man kan föreställa sig att förordningen vill undvika genom förbuden är alltså scenarier där individer förlorar makt och självbestämmanderätt gentemot artificiella intelligenser.

Regelverkets stora fokus ligger på den grupp AI-produkter som klassificeras som hög risk, då produkter med oacceptabel risk som vi sett helt enkelt är förbjudna och produkter med låg risk endast kräver mindre åtgärder från leverantörerna. Bland de ändamål som anses innebära hög risk innefattas AI-system som utför biometrisk igenkänning av individer, används som säkerhetskomponenter inom kritisk infrastruktur, utför urval och bedömning inom utbildningsväsende och arbetsmarknad och som används vid myndighetsutövning.

För system som faller inom definitionen ”AI-system med hög risk” föreskrivs vissa krav för att garantera säkerhet. Med ”vissa krav” menas 22 artiklar som detaljerat instruerar leverantörer om riskhanteringssystem, krav på datakvalitet, teknisk dokumentation med mera.

Blickar vi tillbaka till Tegmarks exempel på dystopiska scenarier leds tanken snabbt till att teknikerna han utmålar som faror per automatik borde hamna inom kategorin ”förbjudna tillämpningar av AI”. Ett system som instruerar till framtagandet av livsfarliga virus och vapen eller har kapacitet till krigsföring bör rimligtvis definieras som skadliga för mänskligheten. Innebär detta att hotet är undanröjt, då de farliga maskiner som han varnar för överhuvudtaget inte kommer att tillåtas att släppas ut på marknaden?

Tittar man närmare på Tegmarks argument inser man att det inte är så enkelt. Hans utgångspunkt är nämligen inte att katastrof kommer att inträffa på grund av skadliga syften eller tvivelaktiga användningsområden av AI. Det han ser som ett problem är förekomsten av den artificiella intelligensen i sig, eller närmare bestämt den artificiella generella intelligensen (AGI), och den efterföljande superintelligensen, som han menar att utvecklingen börjar närma sig. För att återknyta till ett tidigare blogginlägg används ofta begreppet singulariteten som uttryck för tidpunkten då maskinerna blir självmedvetna och därmed kapabla att revoltera mot mänskligheten, vilket är en dystopiversion som vi känner igen till stor del i gestaltning av Arnold Schwarzenegger. Men det är alltså inte aktivt människohatande robotar som Tegmark varnar för, utan det faktum att existensen av superintelligens i sig skapar oöverkomliga motsättningar i relation till mänsklig intelligens.

Myror, människor och superintelligenta maskiner

Många ser uppkomsten av superintelligens som något ensidigt positivt, då det kommer att bidra med enorma framsteg inom kritiska områden som sjukvård, medicin- och klimatforskning och utrotande av fattigdom och ojämlikhet. Enligt Tegmark kan superintelligens mycket väl komma upp med lösningar inom detta, men han påpekar att det samtidigt är ett tveeggat svärd som kan ge rakt motsatta resultat. System som kan ta fram botemedlet till alla sjukdomar kommer per definition även kunna skapa nya virus och pandemier, och kan den formulera det perfekta demokratiska samhällsystemet i jämlikhetens tecken kan den i samma grad skapa världsordningar som passar de mer auktoritärt sinnades värderingar.

Han återkommer även till att understryka att det ligger en fara i att maktbalansen totalt rubbas mellan människa och maskin i en värld med superintelligens. Han illustrerar sin poäng med att jämföra med människans förhållande till annat liv på jorden som råkar stå i vägen för våra mål. Om vi exempelvis ska röja skog för att konstruera byggnader så kommer vi göra det på bekostnad av många växter, myror och annat liv som råkar ligga i vägen för våra planer. Inte för att vi känner någon illvilja mot dessa varelser, utan för att vi är så fokuserade på våra egna mål att vi inte ens skulle registrera deras eventuella protester. Och skulle de försöka kommunicera sina invändningar till oss skulle de ändå inte vara kapabla att göra sig förstådda.

Tegmark menar att vi människor i relation till superintelligenser kommer hamna i ett motsvarande underläge. AI kommer alltså agera för att uppfylla sin uppgift på bästa möjliga sätt, och i den mån det blir på bekostnad på mänskligt liv och välmående eller inte kommer avgöras av vad som bäst uppfyller deras mål. I bästa fall lyckas vi att bygga in säkerhetsmekanismer som gör att vi kan koppla ur system som börjar agera skadligt mot oss, men Tegmark understryker att en superintelligent entitets problemlösningsförmåga kommer ligga långt över människans förmåga att skapa effektiva begränsningar gentemot den. Och även om vi fysiskt sett har möjlighet att dra ut sladden i händelse av nödfall kommer det antagligen vid det laget vara för sent, då ett superintelligent medvetande kommer att hinna agera självbevarande långt innan vi ens har uppfattat faran.

Superintelligens vs AI-förordning

Vilka slutsatser kan vi då dra gällande de dystopiska scenarierna i relation till AI-förordningen och dess syfte att hålla utvecklingen i linje med mänsklig välgång? Regelverket tar i sin nuvarande form alltså sikte på att kategorisera risker med AI-system baserat på vilka användningsområden de är framtagna för. System kan därmed bli förbjudna om det anses föra med sig oacceptabla risker, och särskilda regler gäller för system där användningsområdet innebär höga men acceptabla risker.

Som vi sett är Tegmark däremot inte intresserad av det tilltänkta användningsområdet för ett system då det han vill undvika är själva förekomsten av superintelligens. Sett till den för tillfället aktuella versionen av förordningen så tar den inte höjd för att reglera detta område eftersom superintelligens är en benämning på en nivå av intelligens och inte en beskrivning av ett specifikt användningsområde. Det finns alltså till synes ett glapp mellan vad som regleras och farorna som Tegmark förutspår.

Som exempel kan vi föreställa oss hur ett AI-system som utvecklats för att sålla fram lämpligast kandidater vid rekryteringar teoretiskt skulle kunna fortsätta bli smartare genom maskinlärning ända till den uppnår generell intelligens. Då den tränats på att bedöma miljontals individer baserat på den senaste beteendeforskningen och personlighetstester lär den sig snabbt att förstå hur det mänskliga psyket fungerar. Därifrån skulle den kunna applicera sin vid det laget överlägsna människokännedom till att utföra sådana manipulationer mot individer som innebär att den redan från början skulle ha kategoriserats som en otillåten tillämpning av AI enligt förordningens systematik. Problemet är att det vid detta skede skulle vara för sent att hindra eller begränsa systemet, då den redan har förutsättningar att förekomma alla åtgärder att stänga ner den. Dörren står därmed vidöppen för att en eller flera att Tegmarks scenarier – illvillig användning, AI-konkurrens eller missriktad AI – kommer att realiseras från och med denna punkt.

Att lägga hinder för en sådan utveckling låter frestande med tanke på de beskrivna riskerna, men frågan är om det är möjligt med tanke på den inneboende konflikt som finns i att motarbeta en utveckling som all världens avancerade teknologiska forskning eftersträvar. Eftersom AGI och superintelligens fortfarande är teoretiska tankefigurer som det inte finns någon säker prognos för när eller, i vissas mening, om, det kommer att realiseras är det heller inte möjligt att på något pricksäkert sätt reglera området.

Det lutar alltså åt ett konstaterande att AI-förordningen i sin nuvarande form inte kan fungera som en motvikt mot Tegmarks dystopiskt färgade framtid som han ser som oundviklig om inte den pågående tekniska utvecklingen slår in på ett nytt spår. Att baserat på hans vision formulera regelverk som tar höjd för eventuell uppkomst av superintelligens är heller inte ett sannolikt händelseförlopp. En gissning är att frågan om reglering av superintelligens inte kan bli aktuell förrän om och när tekniken når hela vägen fram och bevis på dess existens läggs på bordet. Låt oss hoppas att vi vid denna teoretiska tidpunkt inte sitter fastklamrade på en cykelsadel i fritt fall nedför ett stup.

I november bjuder vi in till seminarium "Cybersäkerhet och juridik för artificiell intelligens" på flera orter. Lär dig mer om AI-förordningen, risker och möjligheter med AI och tekniska säkerhetsutmaningar.

→ Läs mer och anmäl dig.