Il feticismo della bibliometria ai tempi dell’ANVUR
Patrizio Dimitri
*
(Steve Jobs)
Nella letteratura e, più in generale, nell’arte, la quantità non è sinonimo di qualità, il valore artistico di uno scrittore non è funzione del numero di libri pubblicati o di pagine scritte. Maria del Socorro Tellado Lopez, autrice spagnola di romanzi rosa sentimental-popolari, nella sua carriera ha pubblicato ben 5000 libri diffusi soprattutto nei paesi ispano- americani. Con tutto il rispetto per la prolifica scrittrice e per le sue schiere di lettori, è evidente che l’abnorme produzione non è sufficiente nemmeno a paragonarla in termini letterari e artistici ad autori del calibro di Gabriel García Márquez o Ernest Hemingway, entrambi premi Nobel per la letteratura, che pur senza avere tonnellate di pagine all’attivo (sono autori rispettivamente di 12 e 7 romanzi), hanno lasciato un segno indelebile nel panorama letterario mondiale, influenzando generazioni di scrittori.
Al contrario, la quantità sembra essere oggi il fattore prevalente per misurare le performance della ricerca scientifica in Italia. Questo è il punto di vista dell’Agenzia di Valutazione di Università e Ricerca (ANVUR) che dal 2011 in Italia ha dato vita a un sistema di valutazione della ricerca e dei ricercatori rigidamente basato su indicatori blibliometrici ritenuti oggettivi per misurare la produttività scientifica.1 Una pretesa non banale, visto che l’oggettività è un concetto da sempre dibattuto nella filosofia e nella scienza.
La bibliometria, nata negli anni venti, utilizza metodi matematici e statistici per misurare la produzione scientifica e di conseguenza fornisce stime quantitative e non qualitative. Per questo, la scelta dell’ANVUR di utilizzare un sistema basato principalmente su meri parametri quantitativi, ormai abbandonato all’estero, ha suscitato molte perplessità.
Ma in cosa consiste la bibliometria dell’ANVUR e in che modo l’Agenzia ha deciso di definire la sua oggettività? Per i settori bibliometrici, quelli che pubblicano articoli censiti in banche dati ISI e Scopus, nelle prime tornate delle ASN i parametri “oggettivi e certificabili“ erano rappresentati dalle mediane di tre indicatori: 1) numero di articoli, 2) numero di citazioni e 3) h-index (un ricercatore ha indice h, se possiede h pubblicazioni con almeno h citazioni ciascuna). Nelle ultimi tornate delle abilitazioni, le mediane sono state rimpiazzate dai cosiddetti “valori soglia” dei medesimi indicatori, i candidati devono averne almeno due per accedere alla valutazione finale da parte delle commissioni, ma il risultato non cambia: la quantità rimane il fattore discriminante.
Purtroppo, gli indicatori quantitativi scelti dall’ANVUR sono inadatti a valutare due aspetti cruciali che definiscono l’autonomia dei ricercatori e la qualità e l’originalità del loro lavoro: 1) il contributo del singolo ricercatore alle pubblicazioni, espresso nei settori biomedici dall’ordine degli autori (i più rilevanti sono il primo e l’ultimo); 2) il livello scientifico e qualitativo delle riviste.
L’ANVUR ha inoltre deciso, molto soggettivamente, di rendere il parametro citazionale un fattore decisivo per la valutazione, in quanto esso è rappresentato da due indicatori su tre (numero citazioni e h-index). E’ noto, però, che il numero di citazioni non è direttamente correlato al livello qualitativo di un articolo, ma dipende dalla numerosità dei ricercatori che lavorano in un dato settore, anche a prescindere dal valore delle ricerche pubblicate. In ambito biomedico, le pubblicazioni di studi condotti in campo umano sono almeno di due ordini di grandezza più numerose, e quindi più citate, di quelle condotte sui cosiddetti “organismi modello” (il moscerino della frutta, Drosophila melanogaster, il lievito Saccharomyces cerevisiae o il nematode Caenorhabditis elegans). Malgrado ciò, negli ultimi venti anni ben sette premi Nobel per la Medicina sono stati assegnati a studiosi che hanno utilizzato proprio questi sistemi sperimentali.2 Spesso, inoltre, una ricerca può avere un impatto in termini citazionali anche molti anni dopo la sua pubblicazione su rivista.
Ne emerge che il “castello numerologico” costruito dall’ANVUR è tutt’altro che oggettivo nel definire la qualità e l’originalità della ricerca e dei ricercatori e non è neanche molto democratico. Infatti, da una parte penalizza le ricerche di nicchia e gli studi a lungo termine e dall’altra favorisce gruppi di ampie dimensioni che lavorano in settori di indagine molto diffusi e sfornano in tempi brevi numerose pubblicazioni con folte schiere di autori che si citano a vicenda, autoalimentando di conseguenza i propri parametri.
L’applicazione della cruda bibliometria anvuriana tende inevitabilmente a indirizzare la ricerca verso direzioni predeterminate, cancellando la fisiologica variabilità degli studi e degli approcci metodologici, uno dei fattori primari per la crescita e lo sviluppo. E’ un sistema che spinge i ricercatori allo spasmodico raggiungimento degli indicatori, costringendoli a pubblicare molto e in tempi brevi, anche a discapito della qualità e dell’affidabilità dei risultati. Un sistema che purtroppo ha incentivato espedienti opportunistici e anti-culturali, come il "mercato" di scambio di autori e citazioni, vero e proprio doping bibliometrico che falsa la valutazione e non ha nulla a che fare con il miglioramento della ricerca scientifica.
Un esempio clamoroso della scarsa affidabilità della bibliometria anvuriana è dato dal caso Peter Higgs, premio Nobel per la Fisica nel 2013. Nel database Scopus, in 50 anni di carriera, Higgs risulta autore di 13 articoli, per giunta intervallati da lunghi periodi trascorsi senza pubblicare. Ebbene, con il metodo ANVUR, Higgs non otterrebbe nemmeno l’abilitazione a professore associato!
Il risultato non cambia se consideriamo la valutazione della qualità della ricerca condotta da Dipartimenti ed Enti pubblici, la cosiddetta VQR, la cui ultima tornata ha preso in considerazione il periodo 2011-2014: anche in questo caso i parametri quantitativi, soprattutto le citazioni, sono determinanti. Il sistema è abbastanza macchinoso e anche in questo caso può produrre valutazioni aberranti.
La più evidente incongruenza della VQR è rappresentata proprio da uno dei suoi principali obiettivi: la valutazione dei prodotti della ricerca. Nella maggioranza dei casi si tratta di articoli già pubblicati su riviste scientifiche internazionali che differiscono per standard qualitativi e per livelli di rigore e selettività (espressa in termini di percentuale di rifiuto), tutti fattori che ne definiscono la reputazione. Di conseguenza, salvo eccezioni, la qualità di una ricerca è abbastanza ben correlata al livello della rivista dove viene pubblicata e non sarebbe necessario sottoporla a ulteriore valutazione. In campo biologico è ormai molto difficile pubblicare articoli su riviste prestigiose, o anche solo di buon livello: servono idee, originalità, risorse, rigore metodologico e anche tempo. Prima di essere preso in considerazione, un manoscritto viene esaminato da un comitato editoriale che decide se sottoporlo o meno al giudizio di due o tre referee internazionali, esperti del settore di solito molto agguerriti, che non fanno sconti o favori. Ebbene, nella VQR un articolo già pubblicato su riviste scientifiche eccellenti, come Nature, Science o PNAS, in mancanza del numero di citazioni stimato necessar
io dagli algoritmi dell’ANVUR, non solo non otterrà la valutazione massima, ma potrà addirittura essere degradato a livelli qualitativi anche inferiori a quelli di articoli pubblicati su riviste mediocri: un’assurda opera di svalutazione, un incubo per chi fa ricerca di qualità, una situazione paradossale che fa allibire i colleghi stranieri. It seems to me that this system is so artificial that it should appeal only to those who do not know enough about the science to make judgements based on real value, ha commentato, Mary-Lou Pardue, nota genetista e professore emerito al Massachusetts Institute of Technology di Cambridge (USA), da me intervistata due anni fa.
Di conseguenza, anche nella VQR, il metodo ANVUR, lungi dall’indentificare la qualità e l’eccellenza degli Atenei e delle strutture di ricerca, può appiattire le differenze qualitative o addirittura invertire i valori in campo. Sono noti diversi casi paradossali che rappresentano solo la classica punta dell’iceberg: se l’Università di Messina (con tutto il rispetto per i colleghi di quell’Ateneo) risulta migliore del Politecnico di Milano, se la Normale di Pisa viene classificata come università mediocre, se nel campo della Fisica l’università privata Kore di Enna risulta prima in Italia, davanti alla Normale e alla Sapienza, (casi segnalati anche nella trasmissione Report del 30/10/2017) non significa forse che esistono gravi problemi alla base del metodo scelto dall’ANVUR?
L’ex-presidente dell’ANVUR, Andrea Graziosi, in una lettera a Repubblica del 19 gennaio 2018, ha fatto presente in un virgolettato che secondo l’ANVUR una graduatoria VQR “non deve essere impiegata in nessuna circostanza per rappresentare la reale posizione di un ateneo”. Peccato che l’esito della VQR sia invece fondamentale per stilare classifiche di presunta eccellenza tra università e dipartimenti e distribuire risorse sostanziose. Carlo Calenda, Ministro dello Sviluppo Economico degli ultimi due governi, ha rincarato la dose con “quella roba assurda che è la classifica ANVUR”, tweet del 23 febbraio 2018. Ora, quindi, scopriamo che è stato tutto un brutto sogno? Mandiamo a monte la VQR? Qualcuno forse si dovrebbe chiarire le idee.
Non bisogna dimenticare, inoltre, che l’ANVUR è entrata in azione nel peggior periodo storico di sempre, caratterizzato dai tagli indiscriminati al sistema Università e Ricerca e da provvedimenti letali, conseguenze della legge Gelmini, che hanno condotto il sistema pubblico al collasso e alla depressione: l’azzeramento dei finanziamenti pubblici, il blocco degli scatti stipendiali e la cancellazione del turnover. Quest’ultimo ha prodotto una vera emorragia di docenti: dal 2008 al 2014 i professori ordinari sono calati del 30% e gli associati del 17%: una riduzione complessiva del 25% rispetto alla media europea, come segnalato dal CUN. Al contrario, i carichi d’insegnamento sono aumentati e di questo passo il sistema universitario andrà in tilt perché i docenti "superstiti" non saranno più in grado di soddisfare la varietà dell’offerta formativa dei vari Corsi di Laurea.
A tutto ciò si somma l’apparente schizofrenia dell’ANVUR. Da una parte, l’Agenzia valuta docenti e ricercatori in termini di produzione scientifica quantitativa, ma dall’altra, con la collaborazione del MIUR e dei governi di turno, impone agli stessi il già menzionato aumento dei carichi didattici e richieste continue di adempimenti burocratici che in alcuni casi appaiono in contrasto con la libertà d’insegnamento e di ricerca sancita dall’articolo 33 della costituzione. Ecco solo alcuni illuminanti esempi:
1) implementazione delle offerte formative e modifiche di ordinamenti didattici che hanno poco a che fare con gli aspetti culturali sostanziali;
2) compilazione della scheda SUA-CdS, uno dei documenti chiave del sistema di autovalutazione AVA;
3) compilazione di schede di insegnamento secondo gli obiettivi stabiliti dai cosiddetti “descrittori di Dublino”;3
4) compilazione di schede sulla sicurezza informatica che richiedono un livello di comprensione da specialista; 5) frequenza a ridondanti corsi online di decine di ore sulla sicurezza che solo in minima parte riguardano l’università. Dulcis in fundo, non possiamo dimenticare il famigerato decreto legislativo 18 aprile 2016, n.50 che si riferisce alla pubblica amministrazione e produce effetti nefasti sull’Università e sulla Ricerca, imponendo vincoli assurdi che complicano ulteriormente il lavoro di docenti e ricercatori e del personale tecnico-amministrativo.4
Purtroppo, la virale burocratizzazione del sistema universitario ha ridotto il tempo che professori e ricercatori possono dedicare alle attività di laboratorio e di tutoraggio delle tesi sperimentali di Laurea e di Dottorato. Se questa tendenza non sarà invertita, molto presto la ricerca scientifica, elemento cardine per lo sviluppo di un paese evoluto, verrà completamente espulsa dagli atenei che saranno sempre più ridotti alla stregua di meri e noiosi “esamifici”. Il fenomeno è già in fase avanzata e c’è il forte sospetto che si tratti di un progetto mirato di smantellamento del sistema pubblico di Università e Ricerca.
Un’attività di valutazione svolta in condizioni ambientali così ostili non può che produrre risultati poco attendibili, anche se il metodo utilizzato fosse il migliore e purtroppo non lo è. Prima di dare inizio ai cerimoniali della valutazione, sarebbe stato preferibile definire regole condivise e pianificare una seria programmazione a lungo termine con lo stanziamento di risorse adeguate per incentivare il sistema pubblico di Università e Ricerca. Ma l’ANVUR ha preferito fare le classiche “nozze coi fichi secchi”. Nozze alquanto onerose, visto quanto ci costa l’Agenzia con le sue attività.
Ma al peggio non c’è mai fine. Infatti, l’applicazione della bibliometria anvuriana è ormai assurta ad attività feticistica, rituale ossessivo-compulsivo che va ben oltre gli scopi iniziali. Gli indicatori sono diventati “armi improprie” utilizzate per l’accreditamento delle scuole di dottorato e l’assegnazione delle relative borse di studio, per l’attribuzione degli incentivi didattici e degli scatti stipendiali. Consultando le linee guida per l’accreditamento del dottorato di ricerca si apprende che la qualificazione del collegio dei docenti è misurata dagli indicatori “R”, “X1” e “I” che tengono conto della VQR e delle soglie ASN in possesso dei membri del collegio. Attenzione, però, si tratta di soglie relative alla categoria superiore.5
Alla Sapienza di Roma, inoltre, la commissione istruttoria per i dottorati di ricerca ha deci
so che il raggiungimento delle suddette soglie da parte dei membri del collegio di un dato dottorato sia determinante per l’assegnazione delle borse di studio ministeriali. Per sopravvivere, ora molte scuole di dottorato sono impegnate nella caccia a docenti bibliometricamente superdotati, a prescindere dagli interessi culturali, dalla qualità e dall’originalità delle ricerche. Cosa ha a che fare tutto ciò con il progresso della conoscenza, con qualità della ricerca e con la formazione e la crescita scientifica e culturale dei giovani?
L’eco delle ricadute negative della “numerologia” targata ANVUR si è diffuso anche all’estero, con buona pace di chi da noi finge di non vederle per motivi di opportunismo e va ripetendo l’insensata cantilena: “meglio una cattiva valutazione, che nessuna valutazione”. E’ di ottobre scorso una lettera inviata al Ministro Fedeli da diversi scienziati di fama mondiale, tra i quali Rainer Weiss e Kip Thorne, premi Nobel per la Fisica, dove si fa riferimento al blind evaluation algorithm e si chiedono al Ministro interventi puntuali per correggere il sistema.
Più recentemente, tre prestigiose Accademie scientifiche internazionali, Académie des Sciences (FR), Leopoldina (DE) e Royal Society (UK), hanno diffuso un importante documento congiunto su Good practise in the evaluation of researchers and research programmes dove viene esposta un’analisi approfondita e impietosa sull’utilizzo automatico degli indicatori quantitativi. Secondo le accademie, la bibliometria si dovrebbe utilizzare con parsimonia, come strumento valutativo ausiliario al peer-review, ma è inadatta a valutare correttamente la ricerca e i ricercatori perchè può penalizzare chi si dedica a studi di nicchia, favorendo, al contrario, chi segue filoni di ricerca alla moda e incentivando fenomeni opportunistici, come la crescita dei cosiddetti citation clubs: l’esatta fotografia di quanto accade in Italia. Purtroppo, l’ANVUR con la sua casereccia valutazione “un tanto al chilo”, fatta di algoritmi, sbornie di numeri e orge di indicatori, lungi dal migliorare la qualità della ricerca e della didattica, la sta in realtà deprimendo.
La valutazione della ricerca e dei ricercatori, sia ex-ante che ex-post, è un’attività necessaria, ma l’ANVUR ha imposto il suo sistema senza avviare con la comunità scientifica un dibattito preventivo che sarebbe stato necessario per definire scelte il più possibile condivise, calate nella realtà delle varie discipline e per limitare effetti gli indesiderati.
In mancanza di una seria autocritica da parte dell’ANVUR, per il bene dell’Università e della Ricerca nel nostro paese, è necessario aprire un dialogo all’interno della comunità scientifica italiana per arrivare a una revisione totale dell’agenzia e definire un sistema di valutazione più sano ed equo, basato su qualità, etica e responsabilità, dove il contributo umano, professionale e scientifico sia fondamentale.
* Professore di Genetica Istituto Pasteur Italia – Fondazione Cenci Bolognetti Dipartimento di Biologia e Biotecnologie "Charles Darwin" Sapienza Università di Roma
NOTE
1. In un documento approvato il 22 giugno del 2011, al fine di valutare candidati e commissari per le Abilitazioni Scientifiche Nazionali (ASN), l’ANVUR definì testualmente “criteri e metodologie basati su parametri oggettivi e certificabili” per il “miglioramento progressivo della qualità scientifica dei docenti abilitati, misurata mediante indicatori di produttività scientifica”.
2. Proprio pochi mesi fa, il premio Nobel 2017 per la Medicina è stato conferito a Jeffrey Hall, Michael Rosbash e Michael Young per gli studi di ricerca di base condotti in Drosophila melanogaster, grazie ai quali sono state delucidate le basi genetico-molecolari de ritmi circadiani, poi rivelatesi universali.
3. Nella guida alla compilazione delle schede di insegnamento si legge, tra l’altro che “Gli obiettivi formativi descrivono ciò che lo studente dovrà sapere, comprendere ed essere in grado di dimostrate al termine del processo di apprendimento. Queste competenze generali si applicano a tutte le aree di studio e possono essere così riassunte: capacità di fare ricerca, di lavorare in gruppo, di pianificare e gestire progetti o specifiche attività; capacità di risolvere problemi, di sviluppare idee in modo originale e creativo; capacità argomentative, analitiche e di sintesi.”
E ancora “Per conseguire un punteggio pari a 30/30 e lode, lo studente deve invece dimostrare di aver acquisito una conoscenza eccellente di tutti gli argomenti trattati durante il corso, essendo in grado di raccordarli in modo logico e coerente.
4, Il decreto invece di snellire, aumenta e complica la quota di burocrazia legata all’esecuzione degli ordini per le attrezzature e il materiale di consumo da destinare alla ricerca scientifica, allungando i tempi di consegna della merce, già ampiamente dilatati per colpa del famigerato mercato elettronico MEPA, il tutto a discapito dell’attività di ricerca.
5. Nelle linee guida si legge che “L’indicatore discreto, denominato I, è ottenuto mediando sui professori e ricercatori che fanno parte del collegio completo , il seguente indicatore A, in grado di tener conto della produzione scientifica complessiva: A = 0, 0,4, 0,8, 1,2 se il relativo componente del collegio, professore di I, II fascia , o ricercatore, rispetta 0, 1, 2 o 3 delle soglie relative rispettivamente a i commissari per i professori di I fascia, a i professori di I fascia per i professori di II fascia , ai professori di II fascia per i ricercatori, calcolate nel settore concorsuale di appartenenza del componente del collegio, come indicato nel DM n. 120 del 7 giugno 2016, “Determinazione dei valori – soglia degli indicatori di cui agli allegati C, D ed E del D.M. 7 giugno 2016, n. 120”.
(20 marzo 2018)
MicroMega rimane a disposizione dei titolari di copyright che non fosse riuscita a raggiungere.