Position Statement di Giorgio Ghelli (Pisa) e Enrico Nardelli (Roma Tor Vergata)

PUNTI FONDAMENTALI

  • L'uso corretto di indicatori sintetici puo' giocare un ruolo importante ed utile nella valutazione di ogni tipo di ricerca
  • L'uso sbagliato di indicatori sintetici puo' portare a valutazioni sbagliate e a danni sistemici nelle pratiche dei ricercatori

PRINCIPI PER L'USO CORRETTO DEGLI INDICATORI

  • Interpretazione degli indicatori da parte di esperti della disciplina: la valutazione deve essere sempre espressa da esperti del settore scientifico sulla base di tutti le informazioni che sono a disposizione, senza mai considerare gli indicatori come unico fattore determinante
  • Qualita' degli indicatori: Gli indicatori devono essere definiti in modo non ambiguo, essere adatti alla comunita' scientifica sottoposta a valutazione, essere considerati validi dalla stessa comunita'
  • Trasparenza degli indicatori: gli indicatori devono essere calcolati a partire da dati noti, pubblicamente disponibili e ritenuti attendibili da parte della comunita' scientifica sottoposta a valutazione ed il calcolo deve essere ripetibile da parte di tutti i soggetti interessati
  • Uso di almeno tre indicatori: l'uso di uno o due indicatori e' possibile solo in casi la cui eccezionalita' e' riconosciuta dalla comunita' scientifica sottoposta a valutazione e non puo' MAI essere applicato per la valutazione di singoli o di piccoli gruppi. In ogni caso, non e' ammissibile la costruzione di indicatori sintetici mediante un processo unicamente algoritmico basato su una pluralita' di indicatori.
  • Gli indicatori bibliografici devono misurare la qualita' della specifica pubblicazione piuttosto che la sola qualita' della sede di pubblicazione: deviazioni da questo principio sono possibili solo in casi la cui eccezionalita' e' riconosciuta dalla comunita' scientifica sottoposta a valutazione e non puo' MAI essere applicato per la valutazione di singoli o di piccoli gruppi
  • Linee guida metodologiche: per ogni indicatore la comunita' scientifica sottoposta a valutazione deve aver individuato i contesti nei quali i suoi valori sono maggiormente attendibili e i contesti nei quali l'uso e' da sconsigliare (esempio: l'uso di un indicatore basato sull'h-index per valutare persone con diversa anzianita' nella ricerca e' da sconsigliare perche' l'indice in questione tende a crescere con l'anzianita')


AZIONI

In questo momento e' fondamentale che il GRIN abbia una forte presenza per contrastare i pesantissimi rischi legati all'uso scorretto di indicatori. Questa presenza si deve muovere sempre lungo due linee di uguale importanza:

  1. Riproposizione costante e contemporanea dei nostri due assunti di base: l'uso corretto di indicatori e' positivo, l'uso sbagliato – ad esempio l'uso puramente meccanico - porta gravi danni

  2. Azione di analisi e studio degli indicatori, in modo da poter discutere in modo documentato quelli che sono i limiti degli indicatori sbagliati e soprattutto in modo da poter specificare quali sono invece gli indicatori che la nostra comunita' considera come significativi, quando usati in modo corretto. A questo proposito si ricorda il documento di indagine prodotto dalla Commissione Scientifica 2009-2011 che mette a confronto i diversi indicatori per la valutazione fornendo indicazioni critiche http://www.grin-informatica.it/opencms/opencms/grin/files/ics.pdf

Per la prima azione, dobbiamo produrre un manifesto ufficiale, in cui fare riferimento anche a  documenti altrui nei quali ci riconosciamo o riteniamo siano evidenziati aspetti essenziali della tematica:

Per la seconda azione e' necessario che:

  • la commissione SCIENTIFICA che abbiamo eletto agisca con la massima rapidita' nell'elaborazione ed analisi di indici bibliometrici E NELLA STESURA DEL CORRISPONDENTE MANIFESTO
  • Il GdL PRODUCA I DATI NECESSARI ALLA costruzione di basi di dati che rispondano a criteri di qualita' e AGISCA DA RACCORDO VERSO LA COMUNITA' per sensibilizzarla e coinvolgerla in modo attivo e costruttivo su questa tematica
  • Gli indici bibliometrici oggetto dell'analisi devono essere almeno 3


OSSERVAZIONI FINALI

  • E' opportuno che la Commissione Scientifica indaghi anche il problema di eventuali indicatori connessi alla valutazione del software. Si veda ad esempio il documento del comitato di valutazione dell'INRIA: http://www.inria.fr/en/content/download/11783/409884/version/4/file/SoftwareCriteria-V2-CE.pdf
  • E' importante che si cerchi un raccordo con l'associazione europea "Informatics Europe", che ha in programma di lavorare sul tema degli indicatori bibliometrici in relazione alla valutazione della ricerca informatica, in modo da diminuire il livello di auto-referenzialita' del nostro lavoro.
  • E' altresi' importante che il GRIN proponga all'ANVUR ed al ministero la propria disponibilita' a collaborare nella definizione degli indici ed anche, se possibile, nella gestione degli strumenti informatici su cui tale calcolo andrebbe a basarsi.

Azione di analisi e studio degli indicatori, in modo da poter discutere in modo documentato quelli che sono i limiti degli indicatori sbagliati e soprattutto in modo da poter specificare quali sono invece gli indicatori che la nostra comunità considera come significativi, quando usati in modo corretto. A questo proposito si ricorda il documento di indagine prodotto dalla Commissione Scientifica 2009-2011 che mette a confronto i diversi indicatori per la valutazione fornendo indicazioni critiche http://www.grin-informatica.it/opencms/opencms/grin/files/ics.pdf

IL GDL PRODUCA I DATI NECESSARI ALLA costruzione di basi di dati che rispondano a criteri di qualità e agisca da raccordo verso la comunità per sensibilizzarla e coinvolgerla in modo attivo e costruttivo su questa tematica