I det västgötska inlandet, under AI-vinterns 90-tal, var det få som pratade om maskininlärning och blackbox-problematik. Men en brinnande nyfikenhet för möjligheterna inom programmering tog Isak Samsten från Ambjörnarp till en lektorstjänst på Stockholms universitet, med siktet inställt på att tolka de svårgenomträngliga beslutsvägarna inom algoritmerna.
Explainable AI, mer hype-vänligt benämnt ”XAI”, handlar alltså om att kunna förklara varför en AI-modell kommit fram till en viss slutsats. En modell kan exempelvis uppvisa en imponerande träffsäkerhet med att klassificera olika djurarter på fotografier, men den förmågan kan vara högst bedräglig i avsaknad av insikter kring den inre beslutsprocessen. Just detta tema kommer vi återkomma till, men innan dess backar vi bandet till ögonblicket som väckte ett livslångt intresse för teknik, programmering samt dess möjligheter och utmaningar.
– Jag var i 10-årsåldern när vi fick hem en dator som jag inom kort tog beslag på. Intresse för programmering följde därefter naturligt och jag minns att jag önskade mig en instruktionsbok om HTML när jag fyllde 12. Om jag analyserar min yrkesbana idag så är jag övertygad om att tillgången till datorer under uppväxten är anledningen att jag överhuvudtaget gick vidare i en akademisk riktning. Annars tror jag att jag hade arbetat med något mer praktiskt, kanske hantverkare.
Härifrån var riktningen mer eller mindre utstakad. Viljan att förstå och utvidga möjligheterna som tekniken bakom hårdvaran erbjöd växte sig allt starkare, och när de avgörande livsbesluten skulle tas efter studenten var den huvudsakliga frågan vilken av alla möjliga inriktningar inom informationstekniken han skulle ta.
– Att det till slut landade i Data- och systemvetenskap var mest för att jag ville ha en språngbräda för att ta programmeringskunskaperna ett steg längre. Jag antog nog att jag i slutändan skulle jobba med webben på ett eller annat sätt. På den tiden, i mitten av 00-talet, var internet fortfarande relativt primitivt och det fanns stora möjligheter att kunna utveckla det vidare.
Den akademiska världen visade sig passa Isak mer än väl. Den raka linjen han kom att följa från kandidatprogram till nuvarande lektorstjänst beror till stor del på de möjligheter och utmaningar som universitet erbjudit inom teknikutvecklingens område. Även forskaryrkets särskilda villkor har haft avgörande betydelse för karriärvalet.
– Jag kände tidigt att den här banan passade mig på flera plan, både sett till den yrkesmässiga stimulansen och till möjlighet att planera mina dagar. När jag tänker på det är det lite lustigt hur min yrkesbana har blivit med tanke på att jag under min uppväxt knappt stötte på ordet ”doktorand”. På min hemort kom jag ju bara i kontakt med traditionella arbetaryrken.
Den artificiella försommaren
Vägen från bred systemvetare till något mer specialiserad inom maskininlärning och artificiell intelligens öppnade sig under masterutbildningen. En inspirerande handledare visade på att området, trots sin komplexitet, går att överblicka om man bryter ner problemen till hanterbara beståndsdelar och därmed gör det till synes abstrakta konkret. Men det var även under denna tid som Isak mötte sin första stora akademiska utmaning.
– Plötsligt fick jag underkänt på en tenta. Det var i en kurs om data mining, där jag uppenbarligen hade missförstått grunderna. För första gången blev jag tvungen att ta ett omtag och plugga om ett ämne från början. Det fick mig att inse vidden av områdets komplicerade natur och det triggade mig. Omtentan gick tack och lov bra till slut.
Utöver intresset som studiet av tekniken väckte fanns det omfattande yttre omständighet som bidrog till att Isak hittade sitt kall just då. Utvecklingen på artificiell intelligens har under historiens gång skiftat mellan så kallade AI-somrar, med stora vetenskapliga framsteg, och AI-vintrar då det till stor del varit stiltje inom sfären. För Isaks del visade sig att han tajmade denna maskinella årstidsskiftning på ett lyckosamt vis.
– Början på 2010-talet skulle jag beskriva som en AI-försommar. Big data och data mining var på modet på grund av tech-giganternas affärsmodeller, och det forskades mycket om hur dessa datamängder kunde användas. Det hetaste tillämpningsområdet handlade om hur detta kunde appliceras för att förbättra sökmotorer. Det var faktiskt inte så många som pratade om AI då. Jag tyckte däremot att det var mycket mer intressant att studera algoritmerna inom AI-modeller och riktade in mig på det spåret.
Som doktorand ställdes Isak inför den utmaning som alla med forskarambitioner för eller senare behöver hantera. Hur sållar man fram ett ämne för doktorsavhandling som å ena sidan besvarar relevanta frågor eller löser ett faktiskt problem men som å andra sidan inte kommer att vara förlegad när arbetet är slutfört ett antal år senare? Lösningen blev att lyfta blicken för att undersöka vilka synergier som uppstår när olika metoder slås samman.
– Min avhandling handlade om att kombinera två maskininlärningsmodeller: ensemblemetoden, där flera modeller samverkar för ökad tillförlitlighet och tidsseriemodeller, som analyserar värdeförändringar över tid. Jag undersökte hur metoderna kan förenas för att bygga ensemblemodeller baserade på tidsseriedata.
Att förklara det oförklarliga – vägen till tolkbar AI
För att beskriva hur Isak tog sitt fokusområde vidare till den så kallade tolkningsbara AI-forskningen kan vi återknyta till inledningens stycke om automatisk klassificering av djurarter.
– På en konferens för ett antal år sedan visades ett projekt som till en början utgav sig för att demonstrera en modell som hade hög träffsäkerhet inom bildkategorisering. Som exempel lät man modellen bedöma ett antal bilder på vargar och den varglika hundrasen husky, där utfallet visade på en imponerande hög träffsäkerhet. Men presentationen hade en twist. Det visade sig att alla bilder hade en distinkt bakgrundsfärg beroende på om de föreställde varg eller hund. Modellen hade helt enkelt tränats så att vit bakgrund betydde varg och brun bakgrund betydde hund, men utan den förförståelsen leddes man att tro att den på detaljnivå kunde särskilja de visuella skillnaderna av djurarterna.
Insikten detta gav om vikten av förståelse för mekanismerna bakom algoritmers utfall gav därmed Isak en ny forskningsinriktning.
– Jag hade berört frågor om tolkbar AI inom min avhandling, mest som ett avgränsat sidospår. När jag såg demonstrationen blev det tydligt vilken betydelse området har för utvecklingen och jag insåg att det var något jag ville fördjupa mig närmare inom.
Under åren som gått sedan demonstrationen har han hunnit medverka i ett antal projekt som tacklat olika infallsvinklar inom fältet.
– Ett projekt gick ut på att försöka förklara hur och varför AI-modeller inom sjukvården kommer fram till de diagnoser som de gör. För tillfället är jag även inblandad i forskning om hur man med hjälp av AI kan bedöma gifthalter i vatten och förstå varför vissa kemikalier har hamnat där dem är.
I båda dessa exempel är inslag av så kallat ”kontrafaktiska förklaringar” av avgörande betydelse. Det innebär att man inte bara ska förstå orsakerna bakom ett utfall, utan att modellen även ska förklara vilka omständigheter som skulle ge andra, kanske mer önskvärda, utfall.
– Inom hälsovård är man ju ofta mer intresserad av frågan ”vad ska jag göra för att undvika att hjärtat slår oregelbundet” mer än att bara konstatera att något är fel på grund av att hjärtat inte slår regelbundet. Kontrafaktiska förklaringar hjälper oss alltså inte bara att upptäcka problemen utan ger oss även de nödvändiga insikterna för att kunna lösa dem.
Att genomskåda den svarta lådan
Isaks professionella kall i livet har alltså koncentrerats till utmaningen att göra den inom AI-sammanhang omtalat svårgenomträngliga svarta lådan något mer transparent. Hur ser han på möjligheterna att vi en dag ska lyckas avmystifiera de krokiga beslutsvägarna bakom intrikata algoritmer och slumpmässiga skogar av beslutsträd?
– Teoretiskt är det möjligt att rent beräkningsmässigt spåra algoritmers beslutsgångar i detalj, men med tanke på den enorma datorkapacitet som behövs är det inte realistiskt. Utmaningen ligger därmed i att skapa modellerna som med hög precision kan ”gissa” sig till beslutsgångarna. Det handlar ju alltså inte om absoluta facit, utan om att hitta modeller som med rent statistiskt säkerställd hög precision har möjlighet att tolka beslutsgångarna. Där tror jag att vi kan komma väldigt långt, men frågan om när man är i mål gränsar nästan till det filosofiska planet. Även om man får en förklaring på en orsak kan man ju nästan i det oändliga fortsätta fråga ”varför?”. Så man skulle kunna säga att XAI som fält har nått sitt slutmål när det inte längre finns ett ”varför?” att ställa.
Enligt Isak finns det, utöver kunskapssökandet i sig, stora värden för samhälle och demokrati som står på spel i frågan om att kunna tolka beslut.
– Det handlar i slutändan om allmänhetens tillit till den teknik som spelar en allt större roll i samhället. Om man inte kan förstå de processer som påverkar stora delar av ens liv så finns det heller ingen anledning att sätta sin tillit till dem.
Utöver de generella argumenten för nödvändigheten av förklarbarhet inom AI-system ser han att det finns extra starka skäl att understryka dess vikt sett till de styrkeförhållanden som råder på dagens marknad.
– Om man ser till utvecklingen idag finns det en oroväckande koncentration av makt inom AI-fältet, särskilt om man ser på vilka sätt tekniken kan påverka individer och omvärlden. Om endast ett fåtal personer kontrollerar systemen som tar de avgörande besluten, och vi inte kan genomskåda logiken bakom så har vi satt oss i en farlig sits.
I diskussionen om de tänkbara farorna med AI-utvecklingen kommer förr eller senare spekulationer om potentialen för en framtida generell artificiell intelligens, ”AGI”, upp på bordet.
– Med risk för att jag kommer få äta upp det här så är jag själv skeptisk till att det kommer att bli verklighet. Det fanns en utbredd förhoppning om att AGI skulle uppnås automatiskt genom att skala upp utvecklingstakten med mer och mer data och processorkraft, men det har uppenbart inte gett resultat.
På frågan om hur Isak tror att en potentiell AGI skulle påverka hans forskningsfält undslipper han ett lakoniskt leende.
– Jag skulle antagligen behöva hitta något nytt att syssla med eftersom ett sådant system skulle vara fullt kapabelt att förklara sina egna beslut. Men jag tror inte det nödvändigtvis behöver vara något negativt. Om vi leker med tanken att makten över en sådan teknik skulle vara mer jämnt fördelad skulle ju alla kunna gynnas av dess kapaciteter.
