Om att jämföra äpplen och fruktsallad

Den som har följt denna blogg har nog förstått att jag är lite svag för statistik - det kan vara ett fantastiskt verktyg för att få syn på olika tendenser i ett svåröverskådligt material. I min undersökning av Metro 1995-1999 har jag lagt in alla träffar i en databas så att jag kan sortera och få fram olika mönster i materialet.

Men statistik har sina begränsningar. Det kräver att man är extremt noggrann med avgränsningar och urval. Annars riskerar man att - som det brukar heta - jämföra äpplen och päron. Dessutom måste man vara försiktig i tolkningen av sitt resultat titta på alternativa förklaringar och att inte dra alltför långtgående slutsatser.

På ett principiellt plan är det här egentligen inte så svårt. Fotbollsmatchers resultat avgörs genom statistik. (Jag har snott detta exempel på statistik från ett radioprogram jag hörde för några år sedan, men minns inte vem det var som använde den, om någon vet bättre så får de gärna säga till).

Avgränsningen är 22 personer i två lag som möts under 90 minuter. Man räknar en hel del statistik under en match: skott på mål, hörnor och bollinnehav. Men det urval som avgör matchen är skott in i mål. Alla är överens, fast när ens eget lag förlorar så är det lätt att börja jämföra äpplen med päron. 

Okej, de satte de flest mål, men vi hade störst bollinnehav och dessutom flest skott på mål. Vi hade bara otur. Visst, kanske det, men när lagen gick in i matchen så var alla överens om att det var skott i mål som skulle avgöra. 

Inte heller får man dra för långtgående slutsatser och utifrån den enskilda matchen förklara att serien är avgjord.

Det här med att först jämföra äpplen med päron och sedan dra långtgående slutsatser är dessutom något som ibland på ett försåtligt sätt utnyttjas för att ge tyngd åt svaga argument, vilket gett statistik ett onödigt skamfilat rykte. Tänk på det populära ordspråket som brukar tillskrivas författaren Mark Twain: "Det finns tre sorters lögn. Lögn, förbannad lögn och statistik."

I den stockholmska graffitidebatten de senaste året så har det cirkulerat statistiska uppgifter som jag blivit intresserad av. Det handlar om påståenden om att nolltoleransen lett till att skadegörelsebrottsligheten minskar i Stockholms stad och att den ökar i de städer som istället valt lagliga väggar. (Jag har själv letat efter undersökningar som jämför olika sätt att förhålla sig till graffiti men inte lyckats hittat några).

I Svenska Dagbladet (2011-08-18) påstod till exempel moderaterna Ulla Hamilton och Christoffer Järkeborn att man kunde se...

"...ett tydligt trendbrott som är resultatet av att många står bakom en konsekvent och tuff hållning mot olaglig graffiti. Mellan 2009 och 2010 minskade antalet anmälda klotterbrott från 46000 till 36000, en minskning med hela 10000 […] I kommuner utan nolltolerans och med lagliga klotterväggar man kan man i stället se hur skadegörelsen ökar.
I Malmö ledde den senaste lagliga klotterväggen till att skadegörelsen ökade med 30 procent i närområdet." 

Järkeborn upprepade påståendet så sent som förra veckan i en artikel i Mitt i Södermalm (2012-03-13), med skillnaden att den negativa motpolen till Stockholm denna gång var Helsingfors.

Kortfattat kan man säga att Hamilton och Järkeborn använder statistik för att dra slutsatsen att den egna politiken varit framgångsrik. I Stockholm minskar den olagliga graffitin (led 1) och i Malmö/Helsingfors ökar den (led 2) och denna skillnad beror på nolltoleransen (slutsats). 

Stämmer det, om vi granskar statistiken? Och går det att dra denna slutsats?

Svaret är entydigt nej på båda frågorna. 

Gatukonst.se har redan tidigare visat på att uppgifterna inte stämmer. Siffrorna gällande antal brott i första ledet (Stockholm) är hämtade från Brottsförebyggande rådets statistik (BRÅ). Dessa gäller Stockholms län, inte Stockholms stad. Därmed finns även kommuner som inte har nolltolerans med i urvalet. Till exempel ingår Sigtuna kommun sedan vintern 2008-2009 infört en laglig graffiti vägg (vilket kan tilläggas skedde trots Ulla Hamiltons protester).  

I första ledet handlar problemet inte om att man jämför utan snarare blandar äpplen och päron.

Tittar man närmare på statistiken (som finns tillgänglig på BRÅ:s hemsida) så minskar visserligen  antalet anmälningar inte bara i länet utan även i Stockholms stad, men om man tittar på kommunnivå så minskar antalet anmälningar i Sigtuna proportionerligt sett ungefär lika mycket (för att jämförelsen ska bli tydligt har jag använt BRÅ:s omräkning av antal anmälningar per 100000 invånare). 

Redan i jämförelsens första led finns alltså urvalsproblem, och det går därför inte att med hänvisning till BRÅ:s statistik på något sätt påvisa att Stockholms stads nolltolerans lett till minskad brottslighet.

Underlaget för det andra ledet i jämförelsen (Malmö/Helsingfors) har varit mer höljt i dunkel, men jag har nu fått fram vad som tycks vara underlaget till Hamiltons och Järkeborns påståenden. Det handlar om ett kortfattat PM från Stockholms stads trafikkontor som är tänkt att "fungera som underlag i de diskussioner som nu aktualiseras kring ett ifrågasättande av Stockholms stads policy mot klotter och annan skadegörelse."

Dokumentet är till synes hafsigt sammanfattat i all hast, av olika textmaterial med olika typsnitt, som verkar ha sammanfogats genom cut-and-paste.

I detta PM finns jämförelsens båda led. Alltså både hänvisningen till korgen av äpplen och päron plockad ur BRÅ:s statistik som på ett felaktigt sätt utnyttjas i artikeln, och jämförelsen med Malmö och Helsingfors. 

Vad gäller den finska huvudstaden så är det förstås inte möjligt att använda en svensk myndighets statistiska uppgifter. Istället tycks det handla om att Trafikkontorets representant vid ett möte har pressat fram svaret att den olagliga graffitin ökat sedan Helsingfors infört lagliga väggar:

"Helsingfors är senast med att införa lagliga väggar och hade mycket knapphänt statistik över resultat före och efter legaliseringen av klotter och graffiti. På en direkt fråga så medgav de att de sett en ökning, men någon statistik vill de inte visa upp."

Att detta "medgivande" inte är en speciellt tillförlitlig uppgift behöver knappast tilläggas, och den går inte att använda i en jämförelse.

Men inte heller vad gäller Malmö så finns kopplingar till BRÅ:s statistik. Det handlar i jämförelsen inte ens om anmälda brott utan om antal klottersanerade ytor. Dessutom handlar det om sanerade ytor i en viss del av staden, i närheten av den lagliga väggen vid Folkets park (dock utan någon hänvisning till varifrån statistiken kommer). Här kan man inte påstå att det handlar om att jämföra äpplen och päron utan snarare en korg med äpplen och päron med nätt fruksallad av okänt ursprung.

Eller för att använda fotbollsliknelsen igen. Man försöker ge bilden av en framgångsrik politik genom att i första ledet redovisa Hammarbys, Djurgårdens och AIK:s gemensamma bollinnehav under två säsonger, och sedan ställa det mot Malmö FF:s antal insläppta hörnor ett par för det egna syftet väl utvalda matcher.

Det går faktiskt att utifrån BRÅ:s statistik jämföra Stockholms stad med Malmö stad, på precis det sätt som Trafikkontoret gjort i det första ledet. Men då talar statistiken inte längre till nolltoleranspolitikens fördel. Omräknat till antal skadegörelsebrott i form av klotter per 100000 invånare så ligger Stockholm de senaste tre åren mellan fem och sex gånger högre än Malmö.

Utifrån detta kan man dock inte självklart dra slutsatsen att lagliga väggar minskar olaglig graffiti, eftersom skillnaderna i statistik delvis kan bero på andra orsaker.

En slutsats kan man däremot dra. Ulla Hamiltons och Christoffer Järkeborns debattartikel bygger inte på en seriös argumentation utan just den typ av försåtliga användning som gett statistik ett dåligt rykte. Även om det tycks vara Trafikkontoret som försett dem med ett uselt underlag så borde stadens politiker kunna prestera bättre.