Forskningens värde – ska vi ställa oss frågan ”so what”?

Den senaste forskningspropositionen bär titeln Kunskap i samverkan – för samhällets utmaningar och stärkt konkurrenskraft och där tydliggör regeringen sin ambition att koppla forskningspolitiken till de globala samhällsutmaningar som är relevanta för Sverige. Just relevans och samhällsnytta diskuterade lundaforskarna Mats Alvesson och Roland Paulsen nyligen på DN Debatt under rubriken Samhällsvetare bryr sig för litet om forskningens värde. Författarna ifrågasatte huruvida den samhällsvetenskapliga forskningen verkligen ger den kunskap som samhället efterfrågar. Man menade att en stor del av forskningen resulterar i vetenskapliga publikationer som ingen läser och att mycket av den övriga forskningen bara intresserar experter i det egna fältet. Om man skall vara ärlig så kan det nog gälla inom andra ämnesområden också. Alvesson och Paulsen menar att man tidigt bör fråga sig vad en studie tjänar till och om den verkligen kan bidra med väsentlig kunskap. Publiceras det får många artiklar?

Antalet vetenskapliga artiklar ökar med omkring 3 procent per år och antalet publicerade artiklar uppgår nu till en bra bit över 2 miljoner – vare år! Som Alvesson och Paulsen skriver gäller för många forskare publish or perish, dvs. att vi ständigt måste producera forskningsrapporter för att säkerställa en fortsatt finansiering. Resultatet är –naturligtvis – en överproduktion av forskningstexter. Forskningsfinansiärer, lärosäten och även regeringen har här ett stort ansvar att tillse att styrningen av forskningsmedel i mycket högre grad var kopplad till forskningens innehåll och kvalitet. Man skulle faktiskt kunna kräva att en granskning av en forskare eller ett forskningsprojekt baserades på en helhetsbedömning snarare än på publikationsvolymer och citeringsdata. Men det skulle förstås kräva att man läser och förstår istället för att tillämpa bibliometriska algoritmer.

Alvesson och Paulsen ifrågasätter i sin debattartikel med rätta om den ökande mängden publicerade artiklar speglar en ”reell vetenskaplig progression och upplysning” – eller om fler forskare kanske borde ställt sig frågan ”So what?” före publicering. Vetenskapsrådets bibliometriska analyser visar att andelen artiklar som inom fem år efter att de publicerats aldrig citeras av andra forskare är omkring 10 procent. Talar man istället om väldigt lågt citerade artiklar – dvs. med färre än tre citeringar – så ökar andelen till litet drygt 25 procent. Man kan emellertid notera dels att andelen lågt citerade publikationer minskar och dels att Sveriges siffor faktiskt är bättre än för världen som helhet. Och för medicinsk forskning är andelen ociterade eller lågt citerade artiklar lägst!

Att vetenskap och forskning kan ge den kunskap som behövs för att lösa viktiga samhällsproblem är det nog ingen som ifrågasätter – däremot finns det tveklöst olika syn på hur den kunskapen skall nås och med vilka frihetsgrader. Att i ett kort perspektiv kräva att forskning skall vara nyttig speglar en naiv tro att forskningsresultat och problemlösningar kan ”beställas”. I en replik på Alvessons och Paulsens debattartikel föreslogs t.o.m. ett ramverk för att definiera och stödja den mest samhällsnyttiga forskningen. Det här är ett hot mot den fria forskningen och, i en tid med ökad tilltro till ”alternativa fakta”, en mycket farlig väg att gå. Detta betyder absolut inte att vi forskare skall stå utanför samhällsdebatten – tvärtom! Samhället har rätt att förvänta sig att akademin använder sin kunskap och engagerar sig i viktiga samhällsfrågor men det skall inte ske genom kortsiktiga styrmedel.

Publicerat i Uncategorized | Etiketter , | Lämna en kommentar

Det fula f-ordet…

Hur akademien, dvs våra universitet och högskolor, ska ledas är en ständigt aktuell fråga. Det var också ämnet för det första inlägget på den här bloggen (Akademiskt ledarskap – kollektivet eller rektor?) och handlade bl.a. om Kåre Bremers då aktuella betänkande Utvecklad ledning av universitet och högskolor (betänkandet belyser ledningsfrågorna från olika perspektiv och är mycket läsvärt). Egentligen är akademiskt ledarskap ingen rocket science men likväl tycks det vara allt svårare få till det. Nu gör också regeringen ett (nytt) försök att styra högskolan genom att tillsätta en särskild utredare som skall lämna förslag för styrningen av de statliga lärosätena. Det förefaller som ledordet ”autonomi” nu ersätts av ”styrning”. Kommittédirektivet (Styrning för starka och ansvarsfulla lärosäten) talar mycket om att styr- och resurstilldelningen skall stödja lärosätenas förmåga att möta de stora samhällsutmaningarna. Det är en god tanke men alla orden om näringslivets konkurrenskraft, arbetsmarknadsanknutna utbildningar, samverkan med arbetslivsorganisationer, uppdragsutbildning och politikens målsättningar antyder att det finns en bristande insikt i det som är grundbulten i ett välfungerande akademiskt system, nämligen akademisk FRIHET. Regeringen säger att Sverige skall vara ett av världens främsta forskningsländer och en ledande kunskapsnation med högkvalitativ forskning och utbildning men man visar lika litet förtroende för akademins förmåga att uppnå detta som viljan att tillföra de medel som krävs. Den elake skulle kunna förledas att ifrågasätta om man ens förstår akademiens övergripande uppgift och potential. Nåväl, i december 2018 får vi veta mer för då skall Pam Fredman, avgående rektor för Göteborgs universitet, presentera svaren på regeringens frågor. Vi får hoppas att hon vågar uttala det fula f-ordet och lyfter fram det absoluta behovet av akademisk frihet.

Publicerat i Uncategorized | Etiketter , | Lämna en kommentar

Rapport om peer review vid kanadensiska CIHR

I ett föregående inlägg berördes de problem som uppstått inom Canadian Institutes of Health Research (CIHR) kring deras nyligen införda peer review-processer (se Kris i kanadensisk peer review). Utöver många praktiska svårigheter som ett nytt system ofta medför uppstod också en akut förtroendekris. Klagomålen var många från både universiteten och forskarsamhället. Efter att mer än tusen forskare undertecknat en skrivelse till regeringen nödgades CIHR ”förhandla” med forskarsamhället. Åtgärden var nödvändig med tanke på den försvagade tilltro som många forskare framförde. Den kompromiss som kom till sommaren 2016 gav också ett visst lugn och återskapat förtroende men samtidigt urholkades många av de bärande idéerna i reformpaketet. CIHR fick i praktiken också mycket begränsade möjligheter driva arbetet vidare och rätta till de problem som utan tvivel fanns. För att komma vidare beslutade CIHRs Governing Council att tillsätta en internationell expertpanel med den primära uppgiften att utvärdera reformprogrammet. Efter genomgång av underliggande handlingar samt ett stort antal möten med forskare och representanter för universiteten, sjukhusen, olika professionella organisationer och regeringen samt företrädare för CIHR överlämnade vi i slutet av februari vår rapport till CIHR:s Governing Council.

Ta gärna del av rapporten – den innehåller en hel del intressanta resonemang kring peer review, som tveklöst har bäring också på det svenska forskningssystemet. Naturligtvis kan man ha en många åsikter om peer review-processer – och många tycker också en massa utan att faktiskt vara speciellt insatta. I expertpanelen ingick representanter med mycket stor kunskap från Storbritannien, Irland, Nya Zeeland och USA (NIH) så dokumentet och slutsatserna kan nog betraktas som baserat på ”beprövad erfarenhet”. Det vetenskapliga underlaget är dock när det gäller peer review mycket begränsat. Ett av de underlag som vi hade i expertpanelen var en ännu opublicerad rapport från RAND Europe som i detalj gick igenom de vetenskapliga studier som finns kring sakkunnigbedömning av projektansökningar. Med tanke på hur många forskningsfinansierande organisationer och myndigheter som använder peer review för att fördela enorma summar till forskningsprojekt är det minst sagt anmärkningsvärt att man visar så litet intresse för att lära sig mer om hur det egentligen fungerar. I Sverige har Vetenskapsrådet gjort mycket för att studera jämställdhetsaspekter – och tagit fram väldigt intressant och viktig information – men inte mycket för att få mer kunskap om processerna i övrigt.

Expertpanelens första rekommendation till regeringen i Kanada var att öka investeringarna i medicinsk forskning. CIHR ansvarar för en stor del av värdekedjan, från ren grundforskning till mycket tillämpad forskning, och vi bedömde att en väsentligt bidragande orsak till att reformpaketet möttes av så stort motstånd var att den tidigare ökningen av forskningsmedel hade avstannat och att forskningssystemet i praktiken var underfinansierat. Vi förordade vidare att CIHR borde skapa en International Advisory Board för att säkerställa att de förändringar som görs sker i enlighet med internationellt beprövad erfarenhet. Ofta är det ju också lättare att göra förändringar om någon utomstående pekar på vad som behöver göras än att en av parterna gör det. Vi betonade vikten av god kommunikation med forskarsamhället och en stor transparens. Vi uppfattade att man verkligen försökt uppnå detta men att man nog talat förbi varandra. Expertpanelen betonade vikten av att ha vetenskapligt utbildade (disputerade) scientific review officers, som arbetar aktivt för att stödja hela beredningsprocessen, från rekrytering av sakkunniga och fördelning av ansökningar till kontakter med de sökande. Det är precis så som exempelvis Vetenskapsrådet arbetar. I Kanada är andelen internationella sakkunniga förvånansvärt låg. Ämnesrådet för Medicin och Hälsa vid Vetenskapsrådet hade som riktlinje att 20-40 procent av ledamöterna i beredningsgrupperna skulle rekryteras utanför Sverige. Även om det i Ämnesrådet fanns de som ville ha väsentligt färre internationella ledamöter brukade andelen hamna på litet drygt 30 procent. Syftet var förstås att både minska risken för jäv (som är en av peer review-processens stora faror) och att få in ett internationellt perspektiv. Det blir ju annars lätt så att all bra forskning i Sverige också betraktas som världsledande. Och så är det ju tyvärr inte alltid… Vi menade att en ökad internationell medverkan skulle bidra till att uppnå CIHRs mål att ”excel, according to internationally accepted standards of scientific excellence…”. Expertpanelen rekommenderade också att CIHR skulle införa en process där de sökande (som inte triagerats bort) ges tillfälle att bemöta de sakkunnigas initiala bedömning (i det första steget) inför den slutliga diskussionen bedömningspanelen (beredningsgruppen). Jag har tidigare varit mycket skeptisk till en sådan process på grund av det merarbete som det kan genera men blev under våra diskussioner i panelen övertygas om att fördelarna överväger. Det är viktigt att de sökande får möjlighet att framföra sina synpunkter och rätta till eventuella missförstånd. Med det tvåstegsförfarande och e-baserade system som CIHR introducerar så är det möjligt – och därmed rimligt – att införa ett sådant steg.

Expertpanelens avslutande och kanske viktigaste rekommendation var att ”CIHR continues to innovate in the way that it undertakes peer review”. Vi var alla i expertpanelen imponerade över CIHRs ambition och mod att försöka utveckla bedömningsprocessen för att såväl öka kvaliteten som att både minska de sakkunnigas arbetsbelastning och göra arbetet mer kostnadseffektivt. Förändringen innebär att det blir färre fysiska (face-to-face) möten utan mer elektroniska system. Det framgick väldigt tydligt att just panelmöten face-to-face är något av en helig ko för det kanadensiska forskarsamhället (och är nog det också här hemma). Men utöver att man som panelledamot har stor behållning av den typen av möten är faktum att det finns knappast något stöd för att det ger något mervärde för kvaliteten i bedömningen av ansökningarna.

Kanadensarna har varit väldigt innovativa – och modiga. CIHR har fått ta emot mycket stryk för detta men i ett internationellt perspektiv gör de en mycket betydelsefull insats för att processerna kring den kvalitativa bedömningen av ansökningar ett steg vidare. Jag skulle gärna se att vi i Sverige vore lika framsynta.

Gluckman, P., Ferguson, M., Glover, A., Grant, J., Groves, T., Lauer, M. & Ulfendahl, M. (2017). International Peer Review Expert Panel: A report to the Governing Council of the Canadian Institutes of Health Research.

Publicerat i Uncategorized | Etiketter , | Lämna en kommentar

Kris i kanadensisk peer review

I Kanada är det Canadian Institutes of Health Research, CIHR, som är den statliga (fedarala) forskningsfinansiären med ansvar för medicinsk forskning. Det finns stora likheter med liknande strukturer i Sverige och i viss mån Storbritannien. CIHR bildades år 2000 utifrån Medical Research Council of Canada men med syftet att samla olika federala aktiviteter i samma myndighet. Ungefär samtidigt (2001) slogs de svenska forskningsråden, inklusive Medicinska Forskningsrådet (MFR), samman till Vetenskapsrådet. Medan CIHR bildades med tydligt fokus på medicinsk forskning, men med ett bredare uppdrag än föregångaren, så gick sammanslagningen i Sverige över disciplingränserna och blev i huvudsak en administrativ konstruktion. I Storbritannien har man fört liknande diskussioner kring sammanslagning och det finns en uppenbar risk att brittiska Medical Research Council (MRC) går mot samma öde. Jag säger ”öde” trots att jag har stor respekt för Vetenskapsrådets kompetens, förmåga och goda renommé. Orsaken är att den ämnesmässiga förankringen blev svagare, det blev mer process än innehåll, och därmed blev också möjligheten att vara en drivkraft i forskningssystemet mindre. En stor skillnad mellan CIHR och Vetenskapsrådet är att CIHR ansvarar för en väsentligt större del av värdekedjan, från den mest grundläggande forskningen till mycket tillämpad forskning. I Sverige är värdekedjan uppbruten och delad mellan åtminstone tre statliga forskningsfinansiärer. Fragmentering motverkar en effektiv och från ett systemperspektiv genomtänkt finansiering av medicinsk forskning. Det försvårar också ett strategiskt ledarskap. Men det senare är jag inte säker på att man ens har förstått att sakna.

Under min tid på Vetenskapsrådet ingick jag i en informell högnivågrupp, Heads of International Research Organisations, som regelbundet träffades för att utbyta erfarenheter. Här berättade bl.a. CIHR:s President om den reform som planerades av deras anslags- och peer review-processer. Tankarna var mycket innovativa – och djärva – och de förändringar som initierades adresserade många saker som också forskarsamhället var mycket kritiska till. Man ville ha större anslag och längre anslagsperioder för att de mest framgångsrika forskarna skulle slippa att ständigt söka nya pengar. Sakkunnigbedömningen av forskningsansökningarna upplevdes inte vara tillräckligt bra, främst menade man att ämneskompetensen hos de som bedömde ansökningarna inte alltid var tillfredsställande. Med ett ständigt ökande antal ansökningar började systemet också knaka i fogarna – arbetsbördan för de sakkunniga beredningsgrupperna gjorde det allt svårare att hålla hög kvalitet i bedömningen. Det här är observationer som känns väldigt aktuella också för det svenska systemet varför jag under åren har följt CIHR:s reformprogram med stort intresse. Förändringarna innebar i korthet att man inrättade program för att ge de mest framstående forskarna större anslag under längre perioder och förändrade processen för bedömningen av ansökningarna. Man skrotade de stående ämnespanelerna utan skickade istället ut alla ansökningarna till fem experter som enskilt bedömde ansökningarna och sedan, efter en elektronisk diskussion, sände in sina individuella bedömningar. Avsikten med denna s.k. application-focused review var att öka den ämnesmässiga träffsäkerheten i bedömningen – varje ansökan skulle läsas av ämnesmässiga experter. Resultatet av detta första steg gick sedan till en mer generellt sammansatt panel som gjorde den sammanfattande bedömningen och det slutliga urvalet. För att ge denna panel tid att fokusera på de ansökningar där det krävdes en vidare diskussion så var avsikten att bara titta på ansökningar i ”gråzonen”, dvs. de ansökningar som låg kring gränsen för vad som kunde finansieras eller de ansökningar där de sakkunniga skilde sig mycket åt i sina bedömningar. De ansökningar som hade givits de bästa omdömena i det första steget beviljades automatiskt och de med lägst ranking avslogs. Men, när reformerna började implementeras blir det kraftigt missnöje i forskarsamhället. Det gamla systemet, som tidigare kritiserats, framställdes nu som mycket välfungerande medan alla förändringar var av ondo. Tveklöst fanns en del allvarliga problem med implementeringen av reformpaketet men motståndet försvårade ytterligare genomförandet. Efter en skrivelse till regeringen med mer än tusen namnunderskrifter satte den ansvariga ministern ned foten och krävde snabb åtgärd – dvs. hon ville få bort frågan från agendan. Sommaren 2016 tillkom, efter ett möte mellan ”parterna”, en kompromiss som ledde till ett relativt lugn. Kompromissen ledde till att förtroende för CIHR i viss mån återskapades men också att reformpaketet kraftigt urholkades – man backade på flera av de förändringar som genomförts. Värre var dock att CIHR:s ”bakbands” och i praktiken försvann möjligheterna att driva arbetet vidare och rätta till de problem som utan tvivel fanns.

För att komma vidare med frågorna kring CIHR:s beredningsprocess tillsattes i höstas en internationell expertpanel med den primära uppgiften att utvärdera reformprogrammet. Expertpanelen, där jag ingick, har precis besökt Ottawa och genomfört ett stort antal möten med forskare och representanter för universiteten, sjukhusen, olika professionella organisationer och regeringen samt företrädare för CIHR. Oerhört intressant och lärorikt. Vi håller nu på att färdigställa den rapport som skall lämnas till CIHR:s Governing Council i slutet av februari. Det finns en stor samsyn i expertpanelen om såväl orsakerna till att det blev så stora problem som hur man bör gå vidare. Så snart vår rapport offentliggjorts vill jag återkomma till dessa slutsatser eftersom de har stor bäring på en mer generell diskussion kring peer review och hur ansökningar om forskningsanslag bedöms.

Expertpanelen efter avslutade möten i Ottawa
Bakre raden: Professor Mark Ferguson, Director General för Science Foundation Ireland och den irländska regeringens Chief Scientific Adviser; Professor Jonathan Grant, Director för Policy Institute vid King’s College London och Assistant Principal for Strategy samt tidigare chef för RAND Europe; Dr. Trish Groves, Director of Academic Outreach and Advocacy vid British Medical Journal (BMJ) och Editor-in-Chief för BMJ Open; Mats Ulfendahl
Främre raden: Professor Dame Anne Glover, 
Vice Principal for External Affairs and Dean for Europe, University of Aberdeen och tidigare Chief Scientific Adviser till Europeiska Kommissionens ordförande; Professor Sir Peter Gluckman (expertpanelens ordförande), Chief Science Advisor till premiärministern i Nya Zeeland; Dr. Michael Lauer, Deputy Director för Extramural Research vid National Institutes of Health (NIH).

Publicerat i Uncategorized | Etiketter , | Lämna en kommentar

Det finns grader i helvetet

I diktverket Den gudomliga komedin (Divina Commedia) från början av 1300-talet menar Dante att det finns grader i helvetet. Även om det ser illa ut kan det vara både värre och bättre. Så är det också när det gäller avstegen från god vetenskaplig sed. I debatten har de synonyma begreppen ”fusk” och ”oredlighet” ofta kommit att beskriva alla avsteg från god vetenskaplig sed. Utan att på något vis vilja föringa problemet med forskningsfusk – tvärtom! – eller ursäkta den som fuskar så menar jag likväl att allt är inte svart eller vitt. Det finns gradskillnader också i avstegen från det vi menar med god vetenskaplig sed. Det är ju rimligen en skillnad mellan att vara slarvig eller oaktsam och att uppsåtligt fuska eller plagiera andras resultat – även om slutresultatet i vissa fall kan vara lika allvarligt.

I det uppdrag som Margaretha Fahlgren (Uppsala universitet) fått av regeringen att som särskild utredare föreslå en bättre hantering av misstänkt forskningsfusk ingår också att tydliggöra begrepp som ”god sed” och ”oredlighet i forskning”. Och vill vi inte bara peka ut och bestraffa enskilda individer utan mer långsiktigt stärka en god sed i forskningsprocessen måste vi vara mycket tydliga med hur vi beskriver det som gått fel och de underliggande orsakerna. Annars riskerar åtgärderna att bli vare sig adekvata eller effektiva.

Om vi betraktar allt som svart eller vitt kommer man att vara mer obenägen att rapportera de avsteg i forskningsprocessen som kanske främst beror på slarv, bristande handledning eller helt enkelt låg kompetens. Det kan vara allt från felaktigt använda statistiska metoder och felaktigheter i citeringar till bristfällig studiedesign eller alltför vidlyftiga konklusioner. Knappast att betrakta som oredlighet men tveklöst illa för inte bara för medicinsk forskning utan också, och värre, för de slutsatser och framtida studier eller åtgärder som bygger på de rapporterade resultaten. I en skrift från Nordiska ministerrådet 1985 (Utvärdering av forskning: Nordiska erfarenheter) skriver Bertel Ståhle med hänvisning till det han benämner den forskningspolitiska maximen, ”att det inte finns någonting så meningslöst som dålig forskning” och att ”dålig forskning är sämre än ingen forskning alls”. Och så är det – dålig forskning kommer inte bara att generera svaga eller oanvändbara resultat utan den dränerar samtidigt våra begränsade resurser; resurser som skulle kunna ha använts på ett bättre sätt. Den typen av bristande professionalism bör ständigt lyftas fram – och rättas till – i en strävan att öka kvaliteten i forskningen. Som forskare måste vi vara beredda att bli kritiskt granskade och kanske tillrättavisade men utan att direkt stämplas som fuskare. Idag finns inget mellanläge.

Vår akademiska kultur skapar tyvärr inte den generösa miljö som gör att man prestigelöst kan diskutera fel och brister – också i sin egen verksamhet. Att ha en ständigt pågående och transparent process för kvalitetsförbättring, ett ständigt lärande, måste vara en naturlig del i forskarens yrkesutövning. Även om flertalet forskare hanterar det här bra är det ju uppenbart att det regelbundet sker avsteg från god forskningssed. Vi har ett kollektivt ansvar att fånga upp de här avstegen tidigt och innan de utecklas till regelrätt fusk. Låt oss erkänna att problemet finns och skapa system som hanterar bristerna tidigt, i syfte att förbättra forskningens övergripande kvalitet utan att brännmärka enskilda forskare.

(Se också en replik på DN Debatt varifrån delar av texten ovan hämtats.)

Publicerat i Uncategorized | Etiketter , , , | Lämna en kommentar