Copyright Micromega 2009. Do not quote or reproduce without permission.
Uno spettro si aggira per l’Europa: lo spettro delle misure oggettive di valutazione della ricerca. Liste, classifiche, agenzie di valutazione, sistemi bibliometrici prolificano, si incrociano, si accumulano in un mosaico complesso di indici, voti, tassonomie da far girare la testa al povero professor Vaccadamus che nient’altro aveva fatto finora che stare seduto dietro alla scrivania, munito di pantofole, sciarpa, carta e penna, a scrivere spensierato pagine su pagine per il solo bene della conoscenza o dei suoi affezionatissimi studenti. Finita la libertà, finita l’ingenuità dello studioso isolato dal mondo: la macchina razionale ha investito anche noi poveri accademici, la modernità non perdona, il processo di razionalizzazione delle pratiche umane, nel quale Max Weber vedeva l’essenza stessa della modernità, travolge al suo passaggio le vecchie abitudini, i rituali e le piccole usanze dei mondi antichi, in un cieco tendere verso un optimum universale, condivisibile e razionale.
E ben venga. Perché le vecchie abitudini, i rituali e le usanze del mondo antico accademico nascondono, e neanche tanto bene, il peggio dei pubblici vizi: nepotismo, assenza di selezione nel vagliare il corpo docenti, mancanza di incentivi alla produzione scientifica di qualità, relazioni baronali con gli studenti, meschinerie, mediocrità, pubblicazioni vanitose a zero valore scientifico distribuite da misteriose case editrici accademiche locali, le varie
Copli, Clupi, Clop, Cbup, praticamente pubblicazioni in conto autore, libri che non circoleranno mai al di fuori dei commissari del concorso accademico destinato all’autore e dei familiari fieri del figlio eruditissimo che mostreranno il volume agli amici nella biblioteca del salotto. E poi l’impunità: non c’è errore, sgarro, mancanza che non possa essere perdonato dall’inerzia del sistema. Concorsi truccati senza conseguenze, plagio nelle pubblicazioni senza che questo scalfisca neanche di un graffio il pomposo e localissimo prestigio del plagiario: uno dei casi più spettacolari di quest’ultimo vizio tutto italico fu quello dello stimato professor Stefano Zamagni, professore ordinario di Economia all’università di Bologna, il quale, colto a copiare intere pagine del filosofo Robert Nozick - attività che dovrebbe comportare l’esclusione immediata e non ritrattabile dalla comunità accademica - non solo non subì alcuna sanzione da parte della comunità degli economisti italiani, ma anzi, fu difeso da vari colleghi che attaccarono il suo denunciatore, invocando il plagio come pratica normale di diffusione del pensiero, o sulla base di giustificazioni ancora più stravaganti, come quella data da una sua collega bolognese: “Almeno Zamagni copia da buoni autori!”. Caso analogo, più recente, quello del plagio di Umberto Galimberti, che, avendo copiato nel suo libro
L’ospite inquietante (Feltrinelli, 2007) intere pagine dal libro di Giulia Sissa,
Il piacere e il male. Sesso droga e filosofia, (sempre Feltrinelli 1999), fu difeso da professoroni e intelettuali italiani - tra i quali personaggi del calibro di Gianni Vattimo e Emanuele Severino - sulla base del semplice argomento secondo cui in fondo tutta la storia della filosofia è una storia di scoppiazzature, e dunque, che male c’è??
Bene, la festa è finita, l’Europa ci impone nuovi standard di qualità accademica - conseguenza della dichiarazione di Bologna del 1999 - in vista della costruzione di uno spazio europeo per l’istruzione universitaria con standard parificati: l’Agenzia europea per la garanzia della qualità dell’istruzione universitaria (ENQUA -
www.enqua.eu ) associa fondazioni e associazioni nazionali in tutti gli stati europei che realizzano inchieste e valutazioni di qualità nelle università cercando di armonizzarle in uno standard generale. Tra i criteri di qualità più importanti, vi è quello del valore e dello statuto delle pubblicazioni di ricerca prodotte dalle università. Come decidere? Come valutare in un continente multilingue, multitradizione, ciò che è buono e ciò che non lo è? Quali criteri si applicano alla valutazione di un articolo accademico, il famoso
paper che assilla la carriera dell’universitario? Il problema non è semplice, ed è ancora più spinoso nel caso delle cosiddette scienze umane. Perché, se per gli scienziati è ancora possibile appellarsi a criteri di qualità “oggettivi” e misurabili quantitativamente (robustezza degli esperimenti, replicabilità, numero di brevetti derivati da una scoperta, etc.) per tutti gli altri questa trasparenza è più difficile da stabilire. Nell’era moderna della produzione accademica anonima e a scala industriale, i linguaggi quantitativi della scienza hanno, al di là del loro valore metodologico oggi sempre più messo in discussione, un valore comunicativo: in un mondo in cui gli scienziati lavorano sugli stessi paradigmi agli antipodi geografici, il formato quantitativo in cui un risultato è espresso ne permette una lettura universale: chiunque padroneggi quel linguaggio tecnico è in grado di decodificare il contenuto delle stringate statistiche che riassumono un complesso esperimento, espresse a volte in non più di 800 parole, formato obbligatorio della rivista
Nature, la più autorevole delle riviste scientifiche. Anche se è difficile parlare ingenuamente oggi di “verità” di un risultato scientifico, possiamo comunque dire che il formato quantitativo - la sua comunicabilità e replicabilità - permette di controllare la qualità di ciò che viene detto nella scienza in modo sufficientemente robusto da filtrare nelle riviste l’informa-zione più pertinente per l’avanzamento di un certo campo di conoscenze. Certo, tutto ciò è sottomesso alle irregolarità e tendenze del sistema “scienza”, che nessuno considera più come una torre d’avorio protetta dalle pressioni della società, ma che è soggetta alle influenze detereminate dagli interessi economici, dalle politiche ideologiche, insomma, da tutto l’insieme di forze sociali a cui qualsiasi sistema di produzione sottostà. Ci sono dunque cento pesi e cento misure per ogni disciplina, e i programmi di ricerca che hanno più finanziamenti e più pubblicazioni sono quelli che corrispondono al trend di interessi e di valori stabilito dai grandi organismi di finanziamento nazionali e sovranazionali, come in Europa i programmi quadro (Framework Programmes) della Commissione Europea, i programmi EUROCORES della European Science Foundation, o, negli Stati Uniti, la National Science Foundation (
http://www.nsf.gov/). Le neuroscienze e le nanotecnologie per esempio hanno visto un successo senza precedenti nei finanziamenti degli ultimi 10 anni, il che spiega la loro onnipresenza anche mediatica, a scapito di altri programmi, come per esempio l’intelligenza artificiale, che hanno subito una drastica riduzione dei fondi.
Ciò detto, se per le scienze, soprattutto quelle formalizzate, c’è ancora un qualche barlume di senso oggettivo della qualità, la questione è molto più delicata nel mondo degli umanisti e dei cosidetti social scientists. Tutto l’apparato accademico di pubblicazioni, dal riconoscimento scientifico, al sistema di
peer-review, è basato sul modello, peraltro molto antico, del
paper delle scienze esatte. E come adattare questo modello nelle scienze umane non è evidente. In realtà, non c’è stato grande sforzo di adattamento, solo di trasferimento dei criteri di produzione scientifica da un ambito all’altro, e di formattazione del sapere nelle stesse griglie: un filosofo, uno storico o un esperto di Settecento letterario finlandese, dovranno confezionare articoli con un formato non dissimile a quello dei giornali di fisica - titolo, abstract, parole chiave, ringraziamenti agli organismi finanziatori del progetto, testo e bibliografia - spedire l’articolo al
journal accademico, aspettare il giudizio di due colleghi a cui l’articolo viene inviato per referaggio dalla redazione del
journal, integrare le eventuali modifiche se l’articolo è stato accettato e aspettare pazienti la pubblicazione. La pubblicazione, se la rivista è referenziata, metterà in circolo l’articolo nei vari sistemi di citazione internazionali, come il
Citation Index, e l’articolo acquisirà pian piano una sua reputazione, un suo ranking basato su una semplicissima misura: l’impatto, ossia quante volte l’articolo è citato negli articoli degli altri. A parte quest’ultima fase di messa in circolo automatica grazie al Citation Index, su cui ritornerò presto, i meccanismi di produzione del paper accademico indicato sopra non sono molto diversi da quelli della prima pubblicazione accademica della storia, le
Philosophical Transactions of the Royal Society, che cominciarono a uscire regolarmente nel 1665, circa vent’anni dopo che un gruppo di “filosofi naturali” particolarmente affascinati dalla nuova cultura sperimentale, cominciarono a incontrarsi regolarmente a Londra e a stabilire le nuove regole del gioco della scienza moderna, basate sulla sperimentazione, il disinteresse per il guadagno economico e l’importanza della diffusione dei risultati scientifici nel pubblico dominio. E’ proprio intorno alla Royal Society, con personaggi del calibro di Robert Boyle, John Walkins, Robert Hooke e, successivamente, Issac Newton, che prende corpo una certa concezione della proprietà intellettuale nella scienza, ancora oggi alla base dell’autorevolezza scientifica. In primo luogo, la comunità degli scienziati è una comunità di pari: ci si ritrova tra happy few tutti ben informati sulle discussioni scientifiche in corso, si discutono le nuove idee in circolazione, le quali diventeranno verità scientifiche solo dopo l’approvazione di un numero di colleghi. In secondo luogo, queste verità non possono essere oggetto di proprietà: nessuno scienziato degno di questo nome può acquisire diritti su ciò che scopre, perché si scoprono fatti che riguardano la natura, e la natura è di tutti. Lo scienziato potrà quindi acquisire solo benefici secondari dalla sua scoperta, ossia, il prestigio e il riconoscimento della comunità, e gli eventuali brevetti che possono derivare dalla sua scoperta e che possono dare benefici economici. La storia dell’autorità accademica nasce dunque separata dall’inizio da quella dell’autorità intellettuale: i diritti d’autore, le leggi sul copyright che cominciano a stabilirsi intorno alla prima metà del Settecento in Inghiterra e in Francia, non comprenderanno l’autore scientifico, ma solo l’invenzione, la creazione letteraria. Così, i brevetti proteggeranno l’invenzione tecnologica, ma mai la verità scientifica, che deve restare bene comune dell’umanità. Lo scienziato gentiluomo è dunque un essere disinteressato, che indaga la verità per il bene di tutti, e che mette i suoi risultati a disposizione grazie ai bollettini delle societés savantes, di cui la Royal Society è il primo esempio. Addirittura Robert Boyle incoraggiava la pratica della pubblicazione anonima, perché anche il riconoscimento personale gli sembrava legato al volgare mondo degli interessi contrapposto all’aulico mondo delle idee.
Sebbene il fair-play del filosofo naturale settecentesco si è decisamente perso nel gioco al massacro delle carriere scientifiche contemporanee, dove orde di giovani ambiziosissimi si riducono a lotte al coltello per decidere dell’ordine dei nomi degli autori di un articolo, alcune regole tutte sui generis di questo regime di produzione intellettuale resistono: un giornale accademico è tale solo se è una pubblicazione peer-review, ossia se il contenuto che pubblica è filtrato dalla comunità di pari di una certa disciplina scientifica. La ricerca deve essere giudicata originale dalla comunità di pari. Gli autori che pubblicano su questi giornali non sono pagati per la loro pubblicazione, perché si considera faccia parte del loro lavoro mettere a disposizione della comunità allargata i loro risultati su queste riviste e perché, come per i filosofi naturali, nessuno può avere diritti speciali su un fatto del mondo: i fatti sono di tutti. I benefici di una pubblicazione sono dunque tutti indiretti: impatto, riconoscimento, prestigio, che, se per i filosofi chic del Settecento potevano essere valori in sé, oggi hanno valore soprattutto se si traducono in avanzamento di carriera, migliori stipendi, migliore accesso ai fondi di ricerca.
L’applicazione di questo concetto di autorità scientifica nelle scienze umane e sociali fu un dato di fatto più che una scelta ideologica: l’evoluzione dell’accademia in un dispositivo di organizzazione del sapere in discipline a partire dall’inizio dell’Ottocento - grazie soprattutto al modello organizzativo delle università tedesche - creò pian piano la figura dell’accademico come “funzionario” del sapere, estendibile anche all’erudito oltre che allo scienziato. L’accademico assume così il ruolo di “vestale” di un corpus di conoscenze: deve mantenerlo, farlo evolvere, proteggerlo a volte dalle interferenze esterne, trasmetterlo alla prossima generazione...Così, a partire dall’Ottocento, le
sociétés savantes cominciano a proliferare anche nelle discipline letterarie e storiche, con criteri simili a quelli delle società scientifiche; comunità di pari, dedizione alla verità, disinteresse e oggettività. Ma sappiamo bene che l’intellettuale, il letterato o lo studioso di scienza politica è sottoposto a ben altre pressioni oggi che a quelle di fare evolvere il corpus della sua disciplina. Se il modello dell’accademico nella torre d’avorio della sua disciplina si è effettivamente mantenuto soprattutto nelle università americane di oggi, costruite sul modello tedesco, l’intellettuale europeo, e forse anche quello indiano o sudamericano, è più “organico”: il suo riconoscimento passa dalla sua partecipazione alla scena pubblica intellettuale e civile, al suo scrivere sui giornali non accademici, pubblicare nelle case editrici prestigiose, vendere copie dei suoi libri, prendere posizioni politiche pubbliche, insomma, tutto un lavoro che conterà pochissimo per il suo impatto accademico “formale”, ma che sta alla base del suo vero riconoscimento in quanto intellettuale di impatto. E nella società del riconoscimento, delle
economies de la grandeur, per usare la bella espressione di Luc Boltanski e Laurent Thévénot , rinunciare all’onore pubblico per il bene dei sistemi di citazione, soprattutto in paesi in cui la buona reputazione accademica non ha nessuna conseguenza sulla carriera, il guadagno e le migliori condizioni di lavoro, è davvero difficile. Eccomi qui, per esempio, a scrivere su una delle più prestigiose riviste culturali italiane, Micromega, la quale, non essendo un giornale peer-reviewed, non aumenterà il mio impatto accademico, benché aumenti molto di più di tante mie pubblicazioni in misteriosi journals, il mio “capitale simbolico” di intellettuale.
Ma davvero c’è una dicotomia tra sistemi razionali e oggettivi e capitale simbolico contingente e storicamente situato, come spesso viene rivendicato da coloro che non vogliono piegarsi alla logica dei sistemi scientometrici? In realtà la questione è più sottile, perché i sistemi cosiddetti “razionali” e oggettivi sono anch’essi dispositivi con una storia, una sociologia e un insieme di tendenze e di influenze che vanno ben al di là del puro calcolo razionale. Non c’è quindi contrapposizione tra oggettività e contesti locali storici: ogni dispositivo che crea un regime di conoscenza è il frutto in parte di una storia accidentale e ne porta le tracce. Per esempio, chi decide quali sono i journals che contano per la carriera accademica? Esistono più di ventimila riviste peer reviewed nel mondo e certo non tutte con lo stesso impatto. La differenza di impatto di un articolo su
Nature e di uno sul
Journal of Advances in Colloid and Interface Science, anche sullo stesso argomento, è incomparabile, tanto che la maggior parte degli scienziati “top” considera pubblicazioni scientifiche serie solo quelle che escono su
Nature e
Science, e relega il resto a una variante della vanity press. La maggior parte delle riviste scientifiche hanno pochissima rilevanza, la media dei lettori per articolo sui peer-reviewed journals è di 1,5, ossia un lettore e mezzo compreso l’autore che va a rimirarsi il suo capolavoro nel portale on line della rivista accademica. La storia dei sistemi scientometrici spiega da sola la formazione di un primo “ranking’ di journals, poi ripreso, modificato, razionalizzato negli ultimi vent’anni da comitati, fondazioni, istituzioni che vedevano nella classifica delle pubblicazioni l’unico strumento di categorizzazione del pasticciato universo accademico.
Il
Science Citation Index fu inventato nei primi anni Sessanta dal signor Eugene Garfield e dal suo ISI -
Institute for Scientific Information, frutto del sogno informatico dell’epoca di poter registrare qualsiasi informazione in potenti database. Fu la creazione, insomma, di un repertorio di riviste accademiche, senza nessun obiettivo di valutazione: le riviste che venivano repertoriate erano quelle che Garfield riusciva a scovare per ogni disciplina, che rispettassero i criteri, storici e intuitivi, del
peer-review, della rilevanza per la comunità di pari, etc etc. Molte sfuggirono alla rete di Garfield per pura mancanza di visibilità, e oggi il
Citation Index conta circa 5600 riviste repertoriate, ossia, molte meno delle ventimila riviste peer-reviewed. Presto Garfield si accorse che i criteri di accettazione di una rivista di “scienze dure” nel
Citation Index non potevano essere completamente uguali a quelli delle riviste umanistiche o di scienze sociali, cosa che lo spinse a costituire un
Social Science Citation Index e un
Arts and Humanities Citation Index. Il servizio era venduto alle università come un modo alternativo e oggettivo di misurare l’impatto delle pubblicazioni dei propri ricercatori. Ovviamente il servizio era a pagamento, e lo è tutt’ora, ossia il signor Garfield ci teneva a guadagnare con tutto ciò e non semplicemente a dare voti dall’alto della sua saggezza alle pubblicazioni accademiche. Il sistema funziona, come ho detto, calcolando l’impatto: un articolo ha impatto a seconda di quante volte viene citato in altri articoli. Ma la scientometria evolveva, e a partire da questa scarna misura si potevano calcolare molte altre misure, ossia, attribuire un ranking più alto alle riviste che avevano più articoli con più impatto, facendo così risalire l’autore e la rivista in un circolo virtuoso di successo sempre crescente dove chi è famoso rende famoso tutto ciò che tocca: la rivista dove pubblica, i colleghi con cui pubblica, gli argomenti su cui pubblica. Effetto correlato, la rivista, una volta resa famosa dal magico circolo virtuoso, illumina tutti gli autori che vi pubblicano, tutti complicati effetti di sistema, alcuni prevedibili e giustificabili, altri francamente spiacevoli e ben poco razionali, come il famoso Mathiew effect studiato dal sociologo Robert Merton, secondo cui, come nel Vangelo di San Matteo, chi vince piglia tutto e chi ha più citazioni, ha più chances di essere citato nel futuro e di accumulare ancora più credito accademico. Ecco dunque gli effetti di sistema che si accumulavano su un corpus che di per sé non aveva nulla di normativo: addirittura i criteri di ammissione delle riviste accademiche negli Indexes erano spesso confusi e contraddittori, tanto da ritrovare, per esempio, la
New York Review of Books tra le pubblicazioni dello
Arts and Humanities Citation Index, quando tutti sanno che non è una rivista
peer-reviewed, che si pubblica solo su invito del direttore Bob Silvers e che si viene profumatamente pagati (durante un’inchiesta alla IsI sul perché certe riviste non peer-reviewed erano state incluse, gli impiegati rispondevano: “Perché sono riviste che tutti sanno che hanno un grande impatto accademico” !)
Bene, questo gigante di citazioni creato dalla storia di un dispositivo che “gira” da più di quarant’anni, è stato ripreso negli ultimi dieci da varie istituzioni internazionali per creare le liste di riviste considerate “di prestigio” per ogni disciplina, e con questo costruire le griglie di valutazione delle istituzioni e dei ricercatori che tanto ci assillano oggi. Le prime liste europee sono state costituite dalla Commissione Europea e dalla European Science Foundation (
www.esf.org). Quest’ultima ha creato una classifica a tre livelli, A, B, C, delle pubblicazioni che contano consultando comitati costituiti da 5 o 6 accademici per disciplina, che stabiliscono non solo la classifica, ma anche i criteri con i quali attribuire i voti. Il motivo per cui un accademico si trova in questi comitati resta opaco, così come le procedure di selezione che l’hanno portato là: faccio l’esempio della disciplina che conosco meglio, la filosofia, per la quale i cinque accademici selezionati dall’ESF provenivano tutti da una sola area della filosofia, la filosofia analitica, riuscendo così a imporre molte A ai giornali di quella branca della filosofia, a scapito di altri giornali. Un criterio enunciato esplicitamente dalla ESF per giustificare la classifica è il numero di lettori, che appare esplicitamente accanto al nome della rivista. Non si spiega però allora perché tra le poche riviste italiane che hanno ricevuto una valutazione A risulti anche l’
Annuario della scuola archeologica italiana di Atene e delle missioni italiane in Oriente, che non escludo sia un’ottima pubblicazione, ma il cui valore non è certamente stato calcolato in termini di numero di lettori.
Ora, il problema non è così grave, perché nessun accademico serio è mai stato assunto solamente sulla base del suo ranking dentro a un
Citation Index o del calcolo del suo “fattore H”, il fattore di impatto che ormai ci viene chiesto di calcolare, tramite programmi online, come
Publish or Perish che estraggono tutta l’informazione esistente sul nostro lavoro e la trasformano in un numerino che ci dice qual è il nostro valore accademico. Le riflessioni sono molto più complesse e tengono conto di ben altri fattori che non possono essere calcolati meccanicamente. Ma il problema può diventare grave perché invece le nuove agenzie promosse a livello europeo per la valutazione della ricerca e dell’università, prendono queste classifiche come oro colato, come classifiche prodotte da una votazione imparziale, da un maestro saggio che sa dire chi è bravo e chi non lo è, e non dai mille accidenti di un dinosauro che accumula informazione da più di quarant’anni. In Francia, l’AERES, agenzia per la valutazione della ricerca e dell’insegnamento superiore, ha costruito le sue classifiche con nuovi, localissimi, comitati che avevano come compito quello di spulciare le classifiche già create dalla ESF e di “personalizzarle” un po’ al caso francese. Su quelle liste, i ricercatori francesi e i loro laboratori si giocano la carriera, come se le liste reificassero il valore di una classifica in realtà stabilita in gran parte dai capricci della storia.
Che fare? Sicuramente è nostra responsabilità epistemica almeno sapere come funzionano questi sistemi, quali sono i loro limiti, per farne buon uso. Inoltre, la cornucopia di misure e di valutazioni che il Web mette a disposizione fa sì che o queste classifiche saranno in grado di evolvere in fretta, o resteranno rigidi strumenti di valutazione da maestrini, superati da sistemi di ranking più efficienti, come per esempio quello gratuito e universale messo a disposizione da Google Scholar. Interessante peraltro notare che i famosi programmi di calcolo del fattore H, come il Publish or Perish, che istituzioni come l’AERES, o la Commissione Europea vi chiedono esplicitamente di usare per classificarvi, sono a loro volta basati sui rankings prodotti da Google Scholar, un bel gatto che si morde la coda, dato che il barocco incrocio di espertoni per compilare le liste di valore dovrebbe essere quello che ci salva dal cieco giudizio delle macchine à la Google.
Insomma, non ci sono né buoni, né cattivi: né vecchi metodi artigianali da difendere, né nuovi criteri perfettamente razionali. C’è solo da usare con la testa questi criteri, spendere qualche ora a capire come funzionano, padroneggiare i dispositivi grazie anche alla tecnologia di facile accesso di cui oggi disponiamo, invece di sentirsi schiacciati da essi. Io credo che in un modo di produzione scientifica più “aperto”, che il Web sta rendendo possibile, i criteri intuitivi e quelli oggettivi di valore piano piano torneranno a mescolarsi, e a rendere un’immagine più pacata e umana della nostra attività di ricerca. Che la ragione non ci faccia perdere di vista la ragionevolezza dei giudizi e delle classifiche, come un’appellazione D.O.C. non deve vincere sulla prova del palato di un vino. Le classifiche sono tante, i criteri molteplici e spesso contrapposti. Non priviamoci di nessuna risorsa per tenere quel che c’è di buono in questa rivoluzione e insieme mantenere vive le nostre sane intuizioni su ciò che vale e ciò che non vale.
Posts
