Rapport om peer review vid kanadensiska CIHR

I ett föregående inlägg berördes de problem som uppstått inom Canadian Institutes of Health Research (CIHR) kring deras nyligen införda peer review-processer (se Kris i kanadensisk peer review). Utöver många praktiska svårigheter som ett nytt system ofta medför uppstod också en akut förtroendekris. Klagomålen var många från både universiteten och forskarsamhället. Efter att mer än tusen forskare undertecknat en skrivelse till regeringen nödgades CIHR ”förhandla” med forskarsamhället. Åtgärden var nödvändig med tanke på den försvagade tilltro som många forskare framförde. Den kompromiss som kom till sommaren 2016 gav också ett visst lugn och återskapat förtroende men samtidigt urholkades många av de bärande idéerna i reformpaketet. CIHR fick i praktiken också mycket begränsade möjligheter driva arbetet vidare och rätta till de problem som utan tvivel fanns. För att komma vidare beslutade CIHRs Governing Council att tillsätta en internationell expertpanel med den primära uppgiften att utvärdera reformprogrammet. Efter genomgång av underliggande handlingar samt ett stort antal möten med forskare och representanter för universiteten, sjukhusen, olika professionella organisationer och regeringen samt företrädare för CIHR överlämnade vi i slutet av februari vår rapport till CIHR:s Governing Council.

Ta gärna del av rapporten – den innehåller en hel del intressanta resonemang kring peer review, som tveklöst har bäring också på det svenska forskningssystemet. Naturligtvis kan man ha en många åsikter om peer review-processer – och många tycker också en massa utan att faktiskt vara speciellt insatta. I expertpanelen ingick representanter med mycket stor kunskap från Storbritannien, Irland, Nya Zeeland och USA (NIH) så dokumentet och slutsatserna kan nog betraktas som baserat på ”beprövad erfarenhet”. Det vetenskapliga underlaget är dock när det gäller peer review mycket begränsat. Ett av de underlag som vi hade i expertpanelen var en ännu opublicerad rapport från RAND Europe som i detalj gick igenom de vetenskapliga studier som finns kring sakkunnigbedömning av projektansökningar. Med tanke på hur många forskningsfinansierande organisationer och myndigheter som använder peer review för att fördela enorma summar till forskningsprojekt är det minst sagt anmärkningsvärt att man visar så litet intresse för att lära sig mer om hur det egentligen fungerar. I Sverige har Vetenskapsrådet gjort mycket för att studera jämställdhetsaspekter – och tagit fram väldigt intressant och viktig information – men inte mycket för att få mer kunskap om processerna i övrigt.

Expertpanelens första rekommendation till regeringen i Kanada var att öka investeringarna i medicinsk forskning. CIHR ansvarar för en stor del av värdekedjan, från ren grundforskning till mycket tillämpad forskning, och vi bedömde att en väsentligt bidragande orsak till att reformpaketet möttes av så stort motstånd var att den tidigare ökningen av forskningsmedel hade avstannat och att forskningssystemet i praktiken var underfinansierat. Vi förordade vidare att CIHR borde skapa en International Advisory Board för att säkerställa att de förändringar som görs sker i enlighet med internationellt beprövad erfarenhet. Ofta är det ju också lättare att göra förändringar om någon utomstående pekar på vad som behöver göras än att en av parterna gör det. Vi betonade vikten av god kommunikation med forskarsamhället och en stor transparens. Vi uppfattade att man verkligen försökt uppnå detta men att man nog talat förbi varandra. Expertpanelen betonade vikten av att ha vetenskapligt utbildade (disputerade) scientific review officers, som arbetar aktivt för att stödja hela beredningsprocessen, från rekrytering av sakkunniga och fördelning av ansökningar till kontakter med de sökande. Det är precis så som exempelvis Vetenskapsrådet arbetar. I Kanada är andelen internationella sakkunniga förvånansvärt låg. Ämnesrådet för Medicin och Hälsa vid Vetenskapsrådet hade som riktlinje att 20-40 procent av ledamöterna i beredningsgrupperna skulle rekryteras utanför Sverige. Även om det i Ämnesrådet fanns de som ville ha väsentligt färre internationella ledamöter brukade andelen hamna på litet drygt 30 procent. Syftet var förstås att både minska risken för jäv (som är en av peer review-processens stora faror) och att få in ett internationellt perspektiv. Det blir ju annars lätt så att all bra forskning i Sverige också betraktas som världsledande. Och så är det ju tyvärr inte alltid… Vi menade att en ökad internationell medverkan skulle bidra till att uppnå CIHRs mål att ”excel, according to internationally accepted standards of scientific excellence…”. Expertpanelen rekommenderade också att CIHR skulle införa en process där de sökande (som inte triagerats bort) ges tillfälle att bemöta de sakkunnigas initiala bedömning (i det första steget) inför den slutliga diskussionen bedömningspanelen (beredningsgruppen). Jag har tidigare varit mycket skeptisk till en sådan process på grund av det merarbete som det kan genera men blev under våra diskussioner i panelen övertygas om att fördelarna överväger. Det är viktigt att de sökande får möjlighet att framföra sina synpunkter och rätta till eventuella missförstånd. Med det tvåstegsförfarande och e-baserade system som CIHR introducerar så är det möjligt – och därmed rimligt – att införa ett sådant steg.

Expertpanelens avslutande och kanske viktigaste rekommendation var att ”CIHR continues to innovate in the way that it undertakes peer review”. Vi var alla i expertpanelen imponerade över CIHRs ambition och mod att försöka utveckla bedömningsprocessen för att såväl öka kvaliteten som att både minska de sakkunnigas arbetsbelastning och göra arbetet mer kostnadseffektivt. Förändringen innebär att det blir färre fysiska (face-to-face) möten utan mer elektroniska system. Det framgick väldigt tydligt att just panelmöten face-to-face är något av en helig ko för det kanadensiska forskarsamhället (och är nog det också här hemma). Men utöver att man som panelledamot har stor behållning av den typen av möten är faktum att det finns knappast något stöd för att det ger något mervärde för kvaliteten i bedömningen av ansökningarna.

Kanadensarna har varit väldigt innovativa – och modiga. CIHR har fått ta emot mycket stryk för detta men i ett internationellt perspektiv gör de en mycket betydelsefull insats för att processerna kring den kvalitativa bedömningen av ansökningar ett steg vidare. Jag skulle gärna se att vi i Sverige vore lika framsynta.

Gluckman, P., Ferguson, M., Glover, A., Grant, J., Groves, T., Lauer, M. & Ulfendahl, M. (2017). International Peer Review Expert Panel: A report to the Governing Council of the Canadian Institutes of Health Research.

Publicerat i Uncategorized | Etiketter , | Lämna en kommentar

Kris i kanadensisk peer review

I Kanada är det Canadian Institutes of Health Research, CIHR, som är den statliga (fedarala) forskningsfinansiären med ansvar för medicinsk forskning. Det finns stora likheter med liknande strukturer i Sverige och i viss mån Storbritannien. CIHR bildades år 2000 utifrån Medical Research Council of Canada men med syftet att samla olika federala aktiviteter i samma myndighet. Ungefär samtidigt (2001) slogs de svenska forskningsråden, inklusive Medicinska Forskningsrådet (MFR), samman till Vetenskapsrådet. Medan CIHR bildades med tydligt fokus på medicinsk forskning, men med ett bredare uppdrag än föregångaren, så gick sammanslagningen i Sverige över disciplingränserna och blev i huvudsak en administrativ konstruktion. I Storbritannien har man fört liknande diskussioner kring sammanslagning och det finns en uppenbar risk att brittiska Medical Research Council (MRC) går mot samma öde. Jag säger ”öde” trots att jag har stor respekt för Vetenskapsrådets kompetens, förmåga och goda renommé. Orsaken är att den ämnesmässiga förankringen blev svagare, det blev mer process än innehåll, och därmed blev också möjligheten att vara en drivkraft i forskningssystemet mindre. En stor skillnad mellan CIHR och Vetenskapsrådet är att CIHR ansvarar för en väsentligt större del av värdekedjan, från den mest grundläggande forskningen till mycket tillämpad forskning. I Sverige är värdekedjan uppbruten och delad mellan åtminstone tre statliga forskningsfinansiärer. Fragmentering motverkar en effektiv och från ett systemperspektiv genomtänkt finansiering av medicinsk forskning. Det försvårar också ett strategiskt ledarskap. Men det senare är jag inte säker på att man ens har förstått att sakna.

Under min tid på Vetenskapsrådet ingick jag i en informell högnivågrupp, Heads of International Research Organisations, som regelbundet träffades för att utbyta erfarenheter. Här berättade bl.a. CIHR:s President om den reform som planerades av deras anslags- och peer review-processer. Tankarna var mycket innovativa – och djärva – och de förändringar som initierades adresserade många saker som också forskarsamhället var mycket kritiska till. Man ville ha större anslag och längre anslagsperioder för att de mest framgångsrika forskarna skulle slippa att ständigt söka nya pengar. Sakkunnigbedömningen av forskningsansökningarna upplevdes inte vara tillräckligt bra, främst menade man att ämneskompetensen hos de som bedömde ansökningarna inte alltid var tillfredsställande. Med ett ständigt ökande antal ansökningar började systemet också knaka i fogarna – arbetsbördan för de sakkunniga beredningsgrupperna gjorde det allt svårare att hålla hög kvalitet i bedömningen. Det här är observationer som känns väldigt aktuella också för det svenska systemet varför jag under åren har följt CIHR:s reformprogram med stort intresse. Förändringarna innebar i korthet att man inrättade program för att ge de mest framstående forskarna större anslag under längre perioder och förändrade processen för bedömningen av ansökningarna. Man skrotade de stående ämnespanelerna utan skickade istället ut alla ansökningarna till fem experter som enskilt bedömde ansökningarna och sedan, efter en elektronisk diskussion, sände in sina individuella bedömningar. Avsikten med denna s.k. application-focused review var att öka den ämnesmässiga träffsäkerheten i bedömningen – varje ansökan skulle läsas av ämnesmässiga experter. Resultatet av detta första steg gick sedan till en mer generellt sammansatt panel som gjorde den sammanfattande bedömningen och det slutliga urvalet. För att ge denna panel tid att fokusera på de ansökningar där det krävdes en vidare diskussion så var avsikten att bara titta på ansökningar i ”gråzonen”, dvs. de ansökningar som låg kring gränsen för vad som kunde finansieras eller de ansökningar där de sakkunniga skilde sig mycket åt i sina bedömningar. De ansökningar som hade givits de bästa omdömena i det första steget beviljades automatiskt och de med lägst ranking avslogs. Men, när reformerna började implementeras blir det kraftigt missnöje i forskarsamhället. Det gamla systemet, som tidigare kritiserats, framställdes nu som mycket välfungerande medan alla förändringar var av ondo. Tveklöst fanns en del allvarliga problem med implementeringen av reformpaketet men motståndet försvårade ytterligare genomförandet. Efter en skrivelse till regeringen med mer än tusen namnunderskrifter satte den ansvariga ministern ned foten och krävde snabb åtgärd – dvs. hon ville få bort frågan från agendan. Sommaren 2016 tillkom, efter ett möte mellan ”parterna”, en kompromiss som ledde till ett relativt lugn. Kompromissen ledde till att förtroende för CIHR i viss mån återskapades men också att reformpaketet kraftigt urholkades – man backade på flera av de förändringar som genomförts. Värre var dock att CIHR:s ”bakbands” och i praktiken försvann möjligheterna att driva arbetet vidare och rätta till de problem som utan tvivel fanns.

För att komma vidare med frågorna kring CIHR:s beredningsprocess tillsattes i höstas en internationell expertpanel med den primära uppgiften att utvärdera reformprogrammet. Expertpanelen, där jag ingick, har precis besökt Ottawa och genomfört ett stort antal möten med forskare och representanter för universiteten, sjukhusen, olika professionella organisationer och regeringen samt företrädare för CIHR. Oerhört intressant och lärorikt. Vi håller nu på att färdigställa den rapport som skall lämnas till CIHR:s Governing Council i slutet av februari. Det finns en stor samsyn i expertpanelen om såväl orsakerna till att det blev så stora problem som hur man bör gå vidare. Så snart vår rapport offentliggjorts vill jag återkomma till dessa slutsatser eftersom de har stor bäring på en mer generell diskussion kring peer review och hur ansökningar om forskningsanslag bedöms.

Expertpanelen efter avslutade möten i Ottawa
Bakre raden: Professor Mark Ferguson, Director General för Science Foundation Ireland och den irländska regeringens Chief Scientific Adviser; Professor Jonathan Grant, Director för Policy Institute vid King’s College London och Assistant Principal for Strategy samt tidigare chef för RAND Europe; Dr. Trish Groves, Director of Academic Outreach and Advocacy vid British Medical Journal (BMJ) och Editor-in-Chief för BMJ Open; Mats Ulfendahl
Främre raden: Professor Dame Anne Glover, 
Vice Principal for External Affairs and Dean for Europe, University of Aberdeen och tidigare Chief Scientific Adviser till Europeiska Kommissionens ordförande; Professor Sir Peter Gluckman (expertpanelens ordförande), Chief Science Advisor till premiärministern i Nya Zeeland; Dr. Michael Lauer, Deputy Director för Extramural Research vid National Institutes of Health (NIH).

Publicerat i Uncategorized | Etiketter , | Lämna en kommentar

Det finns grader i helvetet

I diktverket Den gudomliga komedin (Divina Commedia) från början av 1300-talet menar Dante att det finns grader i helvetet. Även om det ser illa ut kan det vara både värre och bättre. Så är det också när det gäller avstegen från god vetenskaplig sed. I debatten har de synonyma begreppen ”fusk” och ”oredlighet” ofta kommit att beskriva alla avsteg från god vetenskaplig sed. Utan att på något vis vilja föringa problemet med forskningsfusk – tvärtom! – eller ursäkta den som fuskar så menar jag likväl att allt är inte svart eller vitt. Det finns gradskillnader också i avstegen från det vi menar med god vetenskaplig sed. Det är ju rimligen en skillnad mellan att vara slarvig eller oaktsam och att uppsåtligt fuska eller plagiera andras resultat – även om slutresultatet i vissa fall kan vara lika allvarligt.

I det uppdrag som Margaretha Fahlgren (Uppsala universitet) fått av regeringen att som särskild utredare föreslå en bättre hantering av misstänkt forskningsfusk ingår också att tydliggöra begrepp som ”god sed” och ”oredlighet i forskning”. Och vill vi inte bara peka ut och bestraffa enskilda individer utan mer långsiktigt stärka en god sed i forskningsprocessen måste vi vara mycket tydliga med hur vi beskriver det som gått fel och de underliggande orsakerna. Annars riskerar åtgärderna att bli vare sig adekvata eller effektiva.

Om vi betraktar allt som svart eller vitt kommer man att vara mer obenägen att rapportera de avsteg i forskningsprocessen som kanske främst beror på slarv, bristande handledning eller helt enkelt låg kompetens. Det kan vara allt från felaktigt använda statistiska metoder och felaktigheter i citeringar till bristfällig studiedesign eller alltför vidlyftiga konklusioner. Knappast att betrakta som oredlighet men tveklöst illa för inte bara för medicinsk forskning utan också, och värre, för de slutsatser och framtida studier eller åtgärder som bygger på de rapporterade resultaten. I en skrift från Nordiska ministerrådet 1985 (Utvärdering av forskning: Nordiska erfarenheter) skriver Bertel Ståhle med hänvisning till det han benämner den forskningspolitiska maximen, ”att det inte finns någonting så meningslöst som dålig forskning” och att ”dålig forskning är sämre än ingen forskning alls”. Och så är det – dålig forskning kommer inte bara att generera svaga eller oanvändbara resultat utan den dränerar samtidigt våra begränsade resurser; resurser som skulle kunna ha använts på ett bättre sätt. Den typen av bristande professionalism bör ständigt lyftas fram – och rättas till – i en strävan att öka kvaliteten i forskningen. Som forskare måste vi vara beredda att bli kritiskt granskade och kanske tillrättavisade men utan att direkt stämplas som fuskare. Idag finns inget mellanläge.

Vår akademiska kultur skapar tyvärr inte den generösa miljö som gör att man prestigelöst kan diskutera fel och brister – också i sin egen verksamhet. Att ha en ständigt pågående och transparent process för kvalitetsförbättring, ett ständigt lärande, måste vara en naturlig del i forskarens yrkesutövning. Även om flertalet forskare hanterar det här bra är det ju uppenbart att det regelbundet sker avsteg från god forskningssed. Vi har ett kollektivt ansvar att fånga upp de här avstegen tidigt och innan de utecklas till regelrätt fusk. Låt oss erkänna att problemet finns och skapa system som hanterar bristerna tidigt, i syfte att förbättra forskningens övergripande kvalitet utan att brännmärka enskilda forskare.

(Se också en replik på DN Debatt varifrån delar av texten ovan hämtats.)

Publicerat i Uncategorized | Etiketter , , , | Lämna en kommentar

Annus horribilis och forskningsfusk

Annus horribilis. Så uttryckte sig drottning Elizabeth i slutet av 1992 om ett år som varit ovanligt tufft för det brittiska kungahuset, med slottsbrand och många trassliga familjeproblem. Ett annus horribilis – ett fruktansvärt år – det kan man verkligen säga också om 2016 vad gäller svensk medicinsk forskning. Det har nästan bara handlat om fusk, bristande etik och hur illa allt är. Den efterföljande debatten har varit intressant. Det är många som vela peka finger mot de som gjort fel men förvånansvärt få som tagit sitt ansvar. Möjligen beror det på att vi tenderar betrakta allt som svart eller vitt, rätt eller fel, och att den som ges ansvaret oftast är bränd för all framtid. En kultur där man står för sina misstag och lär sig av dem skulle nog vara mer framgångsrik.

En positiv följd av det för medicinsk forskning så fruktansvärda 2016 är att frågan om fusk och oredlighet verkligen kommit upp på dagordningen. Vår hantering av oredlighet har ju hittills varit minst sagt bristfällig. Vetenskapsrådet har vid upprepade tillfällen påtalat detta, både direkt till regeringen och i media (SvD 2010; SvD 2015). Det var därför mycket tillfredsställande att regeringen förra hösten – till slut – tillsatte en särskild utredare för att se om det behövs ett nytt system för att hantera utredningar om oredlighet i forskning. Svaret på den frågan är ju tveklöst ”ja” men förhoppningsvis kommer professor Margaretha Fahlgren att presentera ett tydligt och rättssäkert förslag. Det jag hört hittills låter lovande men vi får se i slutet av november.

Just behovet av ett bättre system för att hantera forskningsfusk framförde också professorerna Göran Collste, Kjell Engelbrekt och Paul Hjemdahl på DN Debatt förra veckan. Mycket i deras debattartikel är bra men uppfattningen att oredlighetsfrågor bäst hanteras av vetenskapssamhället självt – ” utan inblandning från rättsväsende” – ställer jag mig högst tveksam till (se min replik på DN Debatt). Just det faktum att allt hanterades internt, av forskarsamhället självt, var nog en starkt bidragande orsak till den olyckliga situation som Karolinska Institutet befinner sig i. Akademin och lärosätena är en del av samhället och det är väldigt märkligt att man ofta agerar som om forskarsamhället stod litet vid sidan av (eller litet ovanför…) resten av samhället. Och att vi är så annorlunda att det måste till speciella regler för oss. I förlängningen är det här en farlig väg att gå. När det gäller hanteringen av oredlighet så är det inte minst ur ett rättssäkerhetsperspektiv helt nödvändigt att involvera andra delar av samhället, exempelvis för att få tillgång till den kompetens som finns inom rättsväsendet.

I debattartikeln skriver Collste et al. att ”givet de allt högre prestations- och lönsamhetskrav som ställs på forskare verksamma vid universitet, högskolor och andra forskningsmiljöer finns en väsentlig risk för att de forskningsetiska normerna åsidosätts”. Det finns inga ursäkter för oredlighet och fusk men det är viktigt vi allvarligt funderar på om det är något i vårt forskningssystem som leder till en ökad benägenhet till ytlighet och att slarva och försöka ta genvägar – ett beteende som på sikt kan leda till direkt och uppsåtligt fusk? Om vi inte skapar en sund akademisk miljö där kvalitet värderas högre än ren produktion är jag rädd vi kommer att uppleva flera anni horribiles vid svenska lärosäten.

Publicerat i Uncategorized | Etiketter , , | Lämna en kommentar

”Sverige står sig väl som forskningsnation”

I förra veckan presenterade Vetenskapsrådet en ny och mycket intressant rapport, Forskningsbarometern 2016. Forskningsbarometern avser att ge en överblick av det svenska forskningssystemet i en internationell jämförelse. Det här är ett mycket värdefullt underlag för diskussionen (ja egentligen är det väl inte så mycket diskussion…) kring effektiviteten i vårt forskningssystem. Vetenskapsrådet drar slutsatsen att ”Sverige står sig väl som forskningsnation i internationell jämförelse”. Man baserar detta främst på att våra investeringar i FoU (som andel av BNP) är bland de högsta i världen, att andelen forskare i befolkningen är hög och alltmer jämställd samt att Sverige kommer väl ut i analysen av publikationer och citeringar. Vad gäller publikationerna så noterar man dock att det finns jämförbara länder som uppvisar en starkare utveckling över tid. Det som är mest alarmerande är kanske att näringslivets FoU-investeringar har minskat. Just företagens minskade satsningar på FoU tas upp i en annan färsk rapport, stiftelsen Forska!Sveriges Lägesrapport 2016, Sveriges satsningar på medicinsk forskning. Rapporten lyfts fram i Dagens Nyheter under rubriken ”Sverige fortsätter ned som forskningsnation”. Företagens investeringar har gått ned från 3,03 procent av BNP år 2001 till endast 2,12 procent år 2014. I Danmark – ett land som vi ofta jämför oss med i forskningssammanhang och där mycket pekar åt rätt håll vad avser forskningens utveckling – har företagens investeringar i forskning tvärtom ökat. Med tanke på att kostnaderna för hälso- och sjukvård ökar varje år är det minst sagt märkligt (för att inte säga korkat!) att samhället, inklusive näringslivet, inte investerar mer i medicinsk forskning.

Forskningsbarometern 2016 målar egentligen en ganska ljus bild av läget – Sverige står starkt. Stora pengar har gått till forskning och i synnerhet till medicinsk forskning. Samtidigt framförs det allt oftare att med de stora satsningar som under långt tid gjorts på medicinsk forskning borde vi ha ett bättre utfall. Men allt handlar förstås inte om pengar – pengar är bara ett instrument. Viktigare är hur pengarna används, dvs vad man vill hur effektivt forskningssystemet är. Tyvärr finns det knappt någon vilja att diskutera hur forskningssystemet egentligen fungerar. Min erfarenhet är att man hellre lappar och lagar, skruvar litet här och litet där – och hoppas på att det kommer nya pengar i forskningsproppen. Med nya pengar så slipper man göra några prioriteringar eller fundera över vart vi egentligen är på väg. På alla nivåer förefaller man vara nöjd med ”more of the same”. Och då blir resultaten förstås därefter. Albert Einstein påstås ha sagt att om man gör som man alltid har gjort, får man samma resultat som man alltid har fått. Och det är väl så nära Einsteins kreativitet som det svenska forskningssystemet kommer.

Publicerat i Uncategorized | Etiketter , | Lämna en kommentar