Il perverso meccanismo del peer review

Il sistema del peer review è quello adottato dalle riviste scientifiche allo scopo di validare il contenuto degli articoli inviati dagli autori per la loro pubblicazione.

Quando uno o più autori inviano un manoscritto a una rivista perché lo pubblichi, l’editor (la persona incaricata di pubblicarlo) lo invia a due o più esperti (o presunti tali) affinché verifichino che l’articolo sia privo di errori e corretto da un punto di vista scientifico. Quest’ultimo punto si presta già a qualche critica perché non è chiarissimo cosa voglia dire. La scienza difficilmente si presta a valutazioni “ordinarie” o standardizzate, sebbene, in effetti, la quasi totalità degli articoli pubblicati sia piuttosto banale, per certi versi (nel senso che spesso gli articoli contengono risultati più o meno rilevanti, per ottenere i quali tuttavia è sufficiente applicare correttamente una serie di “regole”).

Solitamente i referee (così si chiamano gli esperti), anonimi, inviano all’autore e, in copia, all’editor, i propri commenti. Se giudicano sostanzialmente corretto il contenuto dell’articolo danno il via libera alla pubblicazione, spesso indicando qualche modifica da introdurre o chiedendo chiarimenti. Altrimenti l’articolo non viene pubblicato e l’autore riceve una lettera di commenti che spiegano le motivazioni di una tale decisione.

La maggior parte dei ricercatori oggi ritiene che il sistema funzioni e garantisca la qualità del materiale pubblicato e, sopra tutto, pensa che il meccanismo che consente la pubblicazione di articoli scientifici, sia sempre stato questo.

In realtà, alcuni (me compreso) criticano apertamente il sistema perché si presta ad abusi e non garantisce affatto il progresso della ricerca scientifica. Alcuni critici (me compreso) pensano che possa addirittura danneggiarlo.

Come prima cosa è bene chiarire che il meccanismo del peer review non è sempre esistito ed è un’invenzione relativamente recente. Molte riviste scientifiche si chiamano Letters (Physical Review Letters, Physics Letters, etc.) perché in passato gli scienziati, per far conoscere le proprie ricerche, si scrivevano lettere a vicenda. Ed è evidente che una lettera non è soggetta ad alcun meccanismo di revisione.

Neanche quando si cominiciò, per praticità, a pubblicare su rivista s’immaginò di metter su un tale meccanismo. Di fatto non ce n’era bisogno. Chi pubblicava su certe riviste era in qualche misura certificato dal possedere una certa reputazione fosse anche solo per essere un esponente dell’accademia o dell’industria.

Il sistema del peer review nasce recentemente per selezionare gli articoli rilevanti tra quelli sempre piú numerosi che giungevano nelle redazioni delle riviste oppure come forma di aiuto per gli editor, che, dato l’ampio spettro di conoscenze richieste per giudicare la pubblicabilità di un manoscritto, non erano sempre in grado di decidere in autonomia.

Come ricorda il post recente di Andre Spicer e Thomas Roulet che trovate qui, portato alla mia attenzione da Nathalie Lidgi-Guigui, i lavori di Albert Einstein non erano soggetti a questa pratica. Probabilmente, se lo fossero stati fin dall’inizio, non avrebbero mai visto la luce. Nathalie pubblica infatti un estratto della lettera con la quale Einstein chiede la pubblicazione di un suo articolo, senza dire di cosa si tratta, e chiede ai suoi colleghi di aiutarla a rispondere in qualità di referee. Il post è questo:

Dear fellow reviewers of scientific papers, what would you answer to an author who write this sentence in the introduction of his paper? pic.twitter.com/1SO6xqAS2x

— Dr. Lidgi-Guigui (@nlidgi) August 17, 2020

https://platform.twitter.com/widgets.js

Quasi tutti hanno ridicolizzato il povero autore, fino a quando Nathalie ha svelato di chi si trattava. Nel post di Spicer e Roulet si ricorda come Einstein, avendo saputo che l’editor aveva inviato un suo manoscritto a un referee, non ritenendo di avere le competenze per giudicarlo, rispose piccato:

Le avevamo inviato il manoscritto per la pubblicazione, ma non l’avevamo affatto autorizzata a mostrarlo ad altri prima della stampa. Non vedo perché dovrei rispondere ai commenti – in ogni caso errati – di un anonimo “esperto”. In considerazione di questa grave mancanza, preferisco pubblicare il mio articolo su un’altra rivista.

Wow! Il fatto è che non tutti sono Einstein e la maggior parte di noi non si può permettere di rispondere in questo modo al direttore di una rivista. La scienza è fatta da pochi grandissimi che naturalmente possono svolgere il loro lavoro grazie a quello, silenzioso, di moltissimi “manovali” come me che, facendo misure e pubblicandole, rendono un grande servizio alla comunità e permettono ai geni di utilizzarle in modo creativo. Alcuni però si considerano dei geni (non essendolo) e pretendono la pubblicazione di ricerche inconcludenti, sbagliate o, peggio, totalmente o parzialmente costruite a tavolino. È dunque necessario porre un argine a questa pratica e così è iniziato il processo che oggi è universalmente considerato l’unico possibile e del tutto “naturale”.

Sfortunatamente, su questo processo si è innestato quella della cosiddetta valutazione oggettiva della ricerca che pretende di misurare la qualità di un ricercatore dal numero di pubblicazioni e delle relative citazioni. Per inciso osservo che la scienza, nel frattempo, è passata da una definizione apparentemente rigorosa di probabilità a una che definisce quest’ultima come il risultato di una valutazione soggettiva (il che non significa affatto che non si possano trarre da queste valutazioni elementi di oggettività, che sono spesso più solidi di quelli estratti da una definizione oggettiva di probabilità). Questo ha scatenato una corsa alla pubblicazione per la quale oggi si produce una quantità di articoli tale per cui solo una piccolissima parte di essi potrebbe materialmente essere letta da un ricercatore in ciascun singolo sottosettore di competenza. E con questa corsa si è irrigidita la posizione dei referee che spesso prendono troppo sul serio o fraintendono completamente il loro ruolo, inserendo in questo elementi di presunta oggettività.

Mediamente il referee si sente in dovere di giudicare il contenuto di un articolo, ma spesso lo fa sulla base delle proprie convinzioni senza valutare se le argomentazioni dell’autore abbiano senso o meno. Ciò risulta tanto più vero quanto più la ricerca proposta risulta innovativa. È evidente che, specialmente all’inizio della costruzione di una teoria, non tutti gli aspetti possono risultare chiari persino allo stesso autore. Molti referee tendono a rifiutare l’articolo se questo non presenta una visione del tutto coerente e completa di tutti i fenomeni e gli aspetti (o della maggior parte di quelli noti) che in principio potrebbero essere coinvolti. Riuscite a immaginare cosa sarebbe successo in questo caso all’articolo sull’effetto fotoelettrico? O a quelli sulla fisica del corpo nero?

In generale il referee tende anche a spingere l’autore a scrivere ciò che egli vorrebbe scrivere, nella maniera in cui vorrebbe scriverlo. Lima, aggiusta, cancella e riscrive frasi, senza limitarsi, come dovrebbe, a segnalare l’eventuale necessità di una revisione linguistica laddove l’autore non domini la lingua in cui scrive. Introduce nel giudizio la sua visione e la sua personale interpretazione dei dati o dei modelli presentati.

L’apice si raggiunge con l’analisi della bibliografia. Ora dirò una cosa che farà innervosire molti lettori: la bibliografia in un articolo è quasi del tutto inutile. Ero stato tentato di rispondere al post di Nathalie che a me la richiesta dell’autore di essere esentato dall’illustrazione della bibliografia non sembrava così grave, sebbene un po’ arrogante, specialmente nel modo in cui era presentata, ma poi non l’ho fatto per non apparire il solito “oppositore“. Delle decine di articoli citati in un manoscritto spesso ne basta meno del 5% per rendere l’articolo del tutto comprensibile e per consentire, a chi lo volesse, di approfondire. La funzione della bibliografia in un articolo in fondo è questa (a parte quella di ringraziare, sinceramente, gli autori i cui articoli siano stati seriamente d’aiuto nella preparazione del manoscritto). Invece, se si vuole che il proprio articolo sia pubblicato, occorre inserire almeno un’intera pagina di riferimenti bibliografici da citare ovunque, quasi sempre nell’introduzione. Si deve dar sfoggio di aver letto moltissimo e di apprezzare il lavoro di molti colleghi. Perché in fondo uno di quelli, o un suo vicino collega, potrebbe essere un referee del tuo lavoro. E se quello poi non trova i suoi articoli citati nel tuo se la lega al dito. È importante che la bibliografia sia lunga ed esaustiva perché così, statisticamente, prima o poi toccherà al referee di esser citato con lo stesso meccanismo.

Non parliamo poi di articoli nei quali s’intenderebbe illustrare una propria opinione o una diversa interpretazione o una rilettura di fenomeni già noti, allo scopo di iniziare un dibattito nella comunità. Oppure ancora di quelli nei quali si presenta un’esperienza fatta perché si ritiene che possa essere utile agli altri che potrebbero implementarla così com’è o migliorarla. Questo genere di comunicazione non trova proprio spazio in una rivista scientifica. Non dico che non sia corretto, ma il fatto è che, praticamente, non esistono riviste dedicate a questo e così è difficilissimo per un autore far conoscere il proprio punto di vista su certi argomenti o raccogliere le opinioni degli altri per coinvolgerli nella discussione.

Qual è la soluzione? Confesso di non averla, ma mi accontenterei del fatto che i referee facciano il loro lavoro onestamente e senza eccessi: quando io giudico un articolo in questa veste cerco di non imporre la mia visione delle cose (posso suggerirla nella lettera che invio agli autori perché la considerino, ma senza pretendere che sia accolta); segnalo la necessità di una revisione linguistica, se è il caso; mi limito al controllo dei conti e della coerenza di simboli e notazioni; non intervengo nell’interpretazione dei risultati, a meno che non sia palesemente in contrasto con i dati; non giudico preventivamente l’impatto che l’articolo può avere sulla comunità (questa in realtà è un’indicazione imprescindibile richiesta dall’editor, ma per quanto mi riguarda non è mai un criterio per rigettare un articolo). Io credo che, se un articolo non è contradditorio e inconcludente, sarà la comunità a giudicarlo: se il contenuto risulterà copiato o inventato, qualcuno lo denuncerà attraverso la pubblicazione di un altro articolo. Non si può certo pretendere che il referee conosca tutta la letteratura relativa al soggetto, per cui non può essere di quest’ultimo la responsabilità della pubblicazione di un plagio o di una truffa.