Etikett: kvalitet

Att mäta kvalitet

Lollo Makdessi och Märit Halmin har startat ett ”Läkarupprop för en bättre sjukvård” som väckt stor uppmärksamhet de senaste dagarna:

Svenska läkare spenderar minst tid i Europa på sina patienter. Det beror delvis på att vårt sjukvårdssystem är uppbyggt på ekonomi och produktion i stället för på patientens behov. För att redovisa vår produktivitet åläggs vi en enorm administrativ börda som tar tid från våra patienter.

Ett system som fokuserar på produktion står ofta i motsättning till patientens bästa. Patienten är inte en produkt såsom vilken som helst på en marknad. [– – –] Enligt läkaretiken ska behovs- och människovärdesprincipen alltid gå först. I dagens system styr kostnadseffektivitetsprincipen. Vi ser de faktiska konsekvenserna av detta.

Både deras verklighetsbeskrivning och frustrationen över att den inte tas på allvar känns igen från skolan och andra offentliga verksamheter, där ansvariga politiker och tjänstemän i allt högre grad försöker mäta och utvärdera kvalitet med kvantitativa mått. På område efter område trängs professionaliteten tillbaka och ersätts av en snäv marknadslogik där okunskap och kortsiktighet premieras på den beprövade erfarenhetens och det vetenskapliga förhållningssättets bekostnad. Det blir alltmer märkbart även i den akademiska världen, och det djupt problematiska i en sådan utveckling uppmärksammas i en krönika i Universitetsläraren nr. 9/2013 av SULF:s tredje vice ordförande Helén Persson:

Den mesta forskningen finansieras med offentliga medel och då kan det tyckas rimligt att offentligheten med rätta efterfrågar forskningens samhällsnytta. Frågan om samhällsnytta är emellertid en aspekt som rymmer stor komplexitet. En del av denna komplexitet är new public management eller föreställningen att landets lärosäten drivs bäst som företag – på det att samhället får mesta möjliga återbäring på gjorda investeringar. Lärarnas oberoende hotas när den svårfångade kvaliteten omräknas till kvantifierbara värden såsom genomströmning och antal citeringar, värden som bidrar till att sänka kvaliteten i form av lägre krav på studenterna och stor reproduktion av sedan länge uppnådda forskningsresultat.

Sådana resonemang viftas inte sällan bort som uttryck för akademikers egenintresse och konservatism, eller tolkas som att de (vi) motsätter sig alla former av granskning och uppföljning. Så är det självfallet inte, och den typen av uppfattningar visar i sig en djup okunnighet om den extremt prestationsinriktade och utvärderingsintensiva tillvaro forskare lever i varenda dag av sina professionella liv. Där utgör värdering, bedömning och rangordning av de egna prestationerna en ständig följeslagare genom alla skeden av karriären; konkurrensen är stenhård och för varje år som går blir den allt tuffare på olika nivåer, vare sig det gäller doktorandantagning, anslagsansökningar eller tjänstetillsättningar. Kritisk granskning och prövning är över huvud taget en av de mest grundläggande förutsättningarna för allt vetenskapligt arbete.

Vad diskussionen egentligen handlar om, är alltså inte huruvida verksamheten vid universitet, sjukhus och skolor ska hålla hög kvalitet och ge mesta möjliga effekt för investerade skattemedel eller inte, vilket man ibland kan få intryck av. Frågan handlar i stället om vad kvalitet i denna typ av verksamheter är och hur den ska bedömas eller (om man så vill) mätas. Om vi tror att sakkunskap, beprövad erfarenhet och vetenskaplig grund faktiskt betyder något och inte bara är tomma ord, är det ganska givet att meningsfulla svar på den frågan bara kan ges av de professionella yrkesutövarna själva. Därför är det oerhört viktigt att de låter sina röster bli hörda på det sätt som läkarna gör nu. Det är ett exempel som många andra, inte minst universitetslärarna, borde ta efter.

Uppdatering 130622: Strax efter att jag publicerat ovanstående upptäckte jag att min kollega i projektet ”Historia i en digital värld”, Jessica Parland-von Essen, alldeles nyss skrivit ett blogginlägg som delvis berör samma frågor i finskt sammanhang. Hela texten är läsvärd, men avslutningen sammanfattar vad det hela ytterst handlar om:

Vad jag sörjer är att de finska universiteten sannolikt kommer att gå som stora förlorare ur detta, om inte radikala politiska åtgärder vidtas för att på riktigt göra dem mer autonoma, främja mindre enheter, avveckla projektkulturen och befria resurser från rapportering och styrning. Och ge både studerande och forskare mer tid och frihet att tänka istället för att planera och rapportera under ständig tidspress.

Forskning som räknas

Bo Rothstein, professor i statsvetensap vid Göteborgs universitet, är en flitig debattör i frågor som rör forskning och forskningspolitik. Jag har stor respekt för honom (till exempel har jag citerat honom i ett tidigare inlägg) och uppskattar särskilt att han så konsekvent står upp för och försvarar den fria forskningen. Det är viktigt i en tid då många tycks anse att universitet och högskolor i första hand ska vara utbildningsfabriker eller syssla med produktutveckling för det svenska näringslivet.

Jag håller också i princip med Rothstein om att svensk forskning, framför allt inom humaniora och samhällsvetenskap, behöver bli mer internationellt gångbar och i högre grad bidra till den bredare vetenskapliga utvecklingen på global nivå. Detta är hans verkliga hjärtefråga, där han gång efter annan har kritiserat både sitt eget universitet och svenska forskare mer generellt för provinsialism och bristande vetenskaplig kvalitet.

Ibland tycker jag dock att han går väl långt och blir alltför generaliserande. Särskilt har jag reagerat på att han inte verkar inse hur förutsättningarna skiljer sig åt mellan olika vetenskapsområden och hur detta faktum påverkar frågan om forskningens internationalisering. Det senaste exemplet är en debattartikel i Dagens Nyheter igår, med den typiskt rothsteinska rubriken ”Svensk samhällsforskning är alldeles för provinsiell” (när jag såg rubriken var det inte svårt att gissa vem författaren var).

Artikelns utgångspunkt är Vetenskapsrådets uppdrag att fördela anslag till ”forskning av högsta vetenskapliga kvalitet”, vilket Rothstein med någon liten brasklapp menar kan mätas genom antalet internationella citeringar. I databasen Google Scholar har han tagit fram citeringstal för de 63 forskare inom humaniora och samhällsvetenskap som i 2012 års stora utlysning från Vetenskapsrådet fick anslag överstigande 3 miljoner kronor. Rothstein konstaterar att drygt hälften av dem ”saknar […] internationell exponering av sin forskning” eftersom de citerats mindre än 150 gånger. Slutsatsen blir därmed att VR inte lever upp till direktiven och att även de mest framgångsrika svenska forskarna inom humaniora och samhällsvetenskap inte håller måttet internationellt sett.

Ur mitt perspektiv finns det många frågetecken och problem med denna artikel. För att inte göra en lång text ännu längre, tänker jag här inte gå närmare in på den konkreta granskning av VR:s anslagsfördelning som Rothstein genomfört. Den ger visserligen upphov till en lång rad funderingar om Google Scholars representativitet och tillförlitlighet, varför gränsen för internationellt genomslag ska anses gå vid ett citeringstal om 150 och så vidare, men de får lämnas därhän. (Många av dem tar Arne Jarrick från VR upp i sin replik till Rothstein.) Istället tänker jag koncentrera mig på den mer principiella fråga som artikeln aktualiserar, nämligen vad som är vetenskaplig kvalitet och hur vi bedömer det.

Att all forskning ska vara av högsta kvalitet är det väl knappast någon som ifrågasätter, men förutsättningarna att få internationellt genomslag liksom vilka former det tar sig varierar stort mellan olika discipliner. Åtminstone inom de delar av humanistisk forskning jag själv har erfarenhet av är det inte möjligt att generalisera resultat på det sätt som Rothstein kanske är van vid från sin egen forskning, och som han anser vara en så självklar måttstock för allt vetenskapligt arbete:

Forskning är i grunden universell till sin natur, det vill säga de problem som man som forskare analyserar har en bäring bortom tid och plats. Selma Lagerlöf och August Strindberg må vara svenska författare men innebörden av deras litterära verk måste ha allmängiltig bäring om det skall räknas som litteraturvetenskap. Studieobjektet ”svensk barnomsorg i ett genusperspektiv” må vara lokalt men de teorier man prövar och de metoder man använder måste vara generella. Det finns därför ingen motsättning mellan en forskning som främst studerar svenska förhållanden och forskningens universella karaktär.

Jag instämmer i att all forskning i princip ska ha ”en bäring bortom tid och plats”, men resten av citatet avslöjar Rothsteins bristande förståelse för vad mycket (inte all) humanistisk forskning handlar om och syftar till. Generaliserbarhet kan betyda olika saker inom olika discipliner; enskilda studier kan följaktligen ses som pusselbitar för att förstå lagmässiga regelbundenheter, statistiska mönster eller större historiska processer, men i kommunikationen forskare emellan är de senare inte lika universellt översättningsbara som de förra. Rothstein verkar vara helt omedveten om dessa distinktioner, vilket får konsekvenser för hans mer övergripande resonemang.

Även en historisk studie som använder sig av mer generella teorier och metoder väcker till exempel begränsat internationellt intresse om den empiriskt fokuserar på svenska förhållanden. Det skulle knappast vara en tillfredsställande lösning på detta ”problem” om vi övergick till att enbart skriva artiklar på engelska om principiella teoretiska och metodologiska frågor, och samtidigt lämnade svensk historieskrivning i händerna på okunniga amatörförfattare och revisionistiska sverigedemokrater. Som Håkan Boström skriver i Dagens Nyheter idag i en kommentar till Rothsteins artikel:

Men det är viktigt att göra en distinktion mellan att forska i syfte att förstå hur svensk barnomsorg kan fungera bättre med hjälp av dessa verktyg och att forska på svensk barnomsorg i syfte att utveckla verktygen – det vill säga teorierna och metoderna. Det är det sistnämnda, inte det förstnämnda, som belönas med internationella citeringar. [– – –]

Inom humanistiska ämnen som historia och språk borde det unika snarare än det universella stå i förgrunden. Vem ska ägna sig åt förståelsen för svensk historia, språk och litteratur om inte svenska forskare gör det? Att den typen av undersökningar sedan inte får så stor internationell uppmärksamhet är ganska naturligt. Men de har självfallet ett värde ändå.

Jag instämmer fullständigt i detta, trots att jag själv på senare år alltmer börjat inrikta mig mot forskning om global historia där jag skriver på engelska. Kanske är det inte så konstigt om Rothstein tycker att god vetenskap är den typ av forskning som han själv och hans kolleger bedriver. Ändå är det beklagligt och lite märkligt att han inte verkar inse att vetenskapens villkor på andra områden ser annorlunda ut, eller att man kan uppfatta forskningskvalitet på andra sätt än han själv gör.

Han är emellertid inte ensam om att ha en så förenklad – vill man vara elak kan man säga provinsiell – syn på vad humanvetenskaplig forskning är eller bör vara. Kåre Bremer, rektor vid Stockholms universitet och i grunden botanist, har i ett blogginlägg kommenterat Rothsteins debattartikel i gillande ordalag:

Även om forskningen behandlar svenska fenomen och företeelser måste den vara av sådant intresse att den kan uppmärksammas internationellt. Det är också ofta fallet men jag menar att många forskare inom humaniora-samhällsvetenskap skulle kunna intensifiera sin internationella publicering utan att för den skull behöva ändra sin forskningsinriktning.

Symtomatiskt nog anför Bremer därefter ett exempel från nationalekonomi för att illustrera sin poäng. Det är knappast en slump; snarare visar det bara ännu en gång hur diskussionen präglas av referensramar från vissa vetenskapliga discipliner vilka antas vara självklara normer också för alla andra. Och om dessa normer inte redan råder där bör de göra det, för annars är det inte riktig vetenskap.

Avslutningsvis bör jag kanske ännu en gång understryka att jag givetvis håller med både Rothstein och Bremer om att forskning ska hålla högsta kvalitet. Det är emellertid varken självklart hur kvalitet definieras, vilken vikt internationellt genomslag ska anses ha eller hur vi ska mäta det och andra faktorer på ett rimligt sätt. Även om citeringar skulle vara ett bra mått finns det till exempel stora skillnader mellan olika ämnen ifråga om förutsättningar att få internationellt genomslag i form av citeringar. Det måste man ta hänsyn till när man bestämmer sig för vilken forskning som ska räknas eller inte.

Uppdatering 19 augusti: Sedan jag skrev ovanstående har ytterligare ett par repliker på Rothsteins debattartikel publicerats. Både Björn Hammarfelt och Gustaf Nelhans ifrågasätter möjligheterna att bedöma forskningskvalitet med den typ av citeringsmätning Rothstein använt sig av. De tar också upp några av de rent metodologiska problem – med citeringar i allmänhet och Google Scholar i synnerhet – som jag av utrymmesskäl bara nämnde som hastigast i mitt inlägg.

Uppdatering 21 augusti: I en kort slutreplik på DN Debatt idag skriver Bo Rothstein att han inte menat att citeringar på ett enkelt sätt kan användas för att mäta forskningskvalitet, utan att han velat peka på att det inom vissa ämnen (historia nämns uttryckligen) utvecklats en kultur där internationell publicering inte alls värderas. Jag tror också att exempelvis vi historiker måste bli mycket bättre på den punkten och håller alltså delvis med, men Rothstein verkar fortfarande inte inse att det generellt sett är svårare för en svensk historiker att bli internationellt publicerad än för en svensk statsvetare. Skälen till det har med ämnet historia (oavsett land) att göra, inte med svenska historiker, och detsamma gäller säkert vissa andra humanistiska discipliner.