Rapport om peer review vid kanadensiska CIHR

I ett föregående inlägg berördes de problem som uppstått inom Canadian Institutes of Health Research (CIHR) kring deras nyligen införda peer review-processer (se Kris i kanadensisk peer review). Utöver många praktiska svårigheter som ett nytt system ofta medför uppstod också en akut förtroendekris. Klagomålen var många från både universiteten och forskarsamhället. Efter att mer än tusen forskare undertecknat en skrivelse till regeringen nödgades CIHR ”förhandla” med forskarsamhället. Åtgärden var nödvändig med tanke på den försvagade tilltro som många forskare framförde. Den kompromiss som kom till sommaren 2016 gav också ett visst lugn och återskapat förtroende men samtidigt urholkades många av de bärande idéerna i reformpaketet. CIHR fick i praktiken också mycket begränsade möjligheter driva arbetet vidare och rätta till de problem som utan tvivel fanns. För att komma vidare beslutade CIHRs Governing Council att tillsätta en internationell expertpanel med den primära uppgiften att utvärdera reformprogrammet. Efter genomgång av underliggande handlingar samt ett stort antal möten med forskare och representanter för universiteten, sjukhusen, olika professionella organisationer och regeringen samt företrädare för CIHR överlämnade vi i slutet av februari vår rapport till CIHR:s Governing Council.

Ta gärna del av rapporten – den innehåller en hel del intressanta resonemang kring peer review, som tveklöst har bäring också på det svenska forskningssystemet. Naturligtvis kan man ha en många åsikter om peer review-processer – och många tycker också en massa utan att faktiskt vara speciellt insatta. I expertpanelen ingick representanter med mycket stor kunskap från Storbritannien, Irland, Nya Zeeland och USA (NIH) så dokumentet och slutsatserna kan nog betraktas som baserat på ”beprövad erfarenhet”. Det vetenskapliga underlaget är dock när det gäller peer review mycket begränsat. Ett av de underlag som vi hade i expertpanelen var en ännu opublicerad rapport från RAND Europe som i detalj gick igenom de vetenskapliga studier som finns kring sakkunnigbedömning av projektansökningar. Med tanke på hur många forskningsfinansierande organisationer och myndigheter som använder peer review för att fördela enorma summar till forskningsprojekt är det minst sagt anmärkningsvärt att man visar så litet intresse för att lära sig mer om hur det egentligen fungerar. I Sverige har Vetenskapsrådet gjort mycket för att studera jämställdhetsaspekter – och tagit fram väldigt intressant och viktig information – men inte mycket för att få mer kunskap om processerna i övrigt.

Expertpanelens första rekommendation till regeringen i Kanada var att öka investeringarna i medicinsk forskning. CIHR ansvarar för en stor del av värdekedjan, från ren grundforskning till mycket tillämpad forskning, och vi bedömde att en väsentligt bidragande orsak till att reformpaketet möttes av så stort motstånd var att den tidigare ökningen av forskningsmedel hade avstannat och att forskningssystemet i praktiken var underfinansierat. Vi förordade vidare att CIHR borde skapa en International Advisory Board för att säkerställa att de förändringar som görs sker i enlighet med internationellt beprövad erfarenhet. Ofta är det ju också lättare att göra förändringar om någon utomstående pekar på vad som behöver göras än att en av parterna gör det. Vi betonade vikten av god kommunikation med forskarsamhället och en stor transparens. Vi uppfattade att man verkligen försökt uppnå detta men att man nog talat förbi varandra. Expertpanelen betonade vikten av att ha vetenskapligt utbildade (disputerade) scientific review officers, som arbetar aktivt för att stödja hela beredningsprocessen, från rekrytering av sakkunniga och fördelning av ansökningar till kontakter med de sökande. Det är precis så som exempelvis Vetenskapsrådet arbetar. I Kanada är andelen internationella sakkunniga förvånansvärt låg. Ämnesrådet för Medicin och Hälsa vid Vetenskapsrådet hade som riktlinje att 20-40 procent av ledamöterna i beredningsgrupperna skulle rekryteras utanför Sverige. Även om det i Ämnesrådet fanns de som ville ha väsentligt färre internationella ledamöter brukade andelen hamna på litet drygt 30 procent. Syftet var förstås att både minska risken för jäv (som är en av peer review-processens stora faror) och att få in ett internationellt perspektiv. Det blir ju annars lätt så att all bra forskning i Sverige också betraktas som världsledande. Och så är det ju tyvärr inte alltid… Vi menade att en ökad internationell medverkan skulle bidra till att uppnå CIHRs mål att ”excel, according to internationally accepted standards of scientific excellence…”. Expertpanelen rekommenderade också att CIHR skulle införa en process där de sökande (som inte triagerats bort) ges tillfälle att bemöta de sakkunnigas initiala bedömning (i det första steget) inför den slutliga diskussionen bedömningspanelen (beredningsgruppen). Jag har tidigare varit mycket skeptisk till en sådan process på grund av det merarbete som det kan genera men blev under våra diskussioner i panelen övertygas om att fördelarna överväger. Det är viktigt att de sökande får möjlighet att framföra sina synpunkter och rätta till eventuella missförstånd. Med det tvåstegsförfarande och e-baserade system som CIHR introducerar så är det möjligt – och därmed rimligt – att införa ett sådant steg.

Expertpanelens avslutande och kanske viktigaste rekommendation var att ”CIHR continues to innovate in the way that it undertakes peer review”. Vi var alla i expertpanelen imponerade över CIHRs ambition och mod att försöka utveckla bedömningsprocessen för att såväl öka kvaliteten som att både minska de sakkunnigas arbetsbelastning och göra arbetet mer kostnadseffektivt. Förändringen innebär att det blir färre fysiska (face-to-face) möten utan mer elektroniska system. Det framgick väldigt tydligt att just panelmöten face-to-face är något av en helig ko för det kanadensiska forskarsamhället (och är nog det också här hemma). Men utöver att man som panelledamot har stor behållning av den typen av möten är faktum att det finns knappast något stöd för att det ger något mervärde för kvaliteten i bedömningen av ansökningarna.

Kanadensarna har varit väldigt innovativa – och modiga. CIHR har fått ta emot mycket stryk för detta men i ett internationellt perspektiv gör de en mycket betydelsefull insats för att processerna kring den kvalitativa bedömningen av ansökningar ett steg vidare. Jag skulle gärna se att vi i Sverige vore lika framsynta.

Gluckman, P., Ferguson, M., Glover, A., Grant, J., Groves, T., Lauer, M. & Ulfendahl, M. (2017). International Peer Review Expert Panel: A report to the Governing Council of the Canadian Institutes of Health Research.

Det här inlägget postades i Uncategorized och har märkts med etiketterna , . Bokmärk permalänken.

Kommentera

E-postadressen publiceras inte. Obligatoriska fält är märkta *

Denna webbplats använder Akismet för att minska skräppost. Lär dig hur din kommentardata bearbetas.