VALUTAZIONE DELLA RICERCA IN INFORMATICA

Principi ispiratori e modalità di uso

Versione Febbraio 2005

 

Il GRIN ha messo a punto una propria valutazione della produzione scientifica (sia riviste che congressi) già nel 2000 con i lavori della Commissione presieduta da Degano (si veda verbale della Assemblea del 27/09/2000). Nell'assemblea GRIN 2003 la Commissione Scientifica ha avuto il mandato di revisionare la lista delle riviste approvata nel 2000. I criteri fondamentali della revisione sono stati approvati nell'Assemblea GRIN 2004 e la Commissione Scientifica ha concluso i lavori con la seduta del 9/02/2005.

MOTIVAZIONI

L'uso puro e semplice di Impact Factor (specie di quello assoluto) porta a notevoli distorsioni nella valutazione del settore della Computer Science. Inoltre anche in termini di copertura, l'indice ISI presenta numerose anomalie. Pertanto uno degli scopi della classificazione GRIN era di arrivare a classificare un insieme di riviste più ampio di quello preso in considerazione da ISI nelle sette categorie della classe Computer Science [1]. Questo è stato fatto assicurandosi che tutte le riviste che appaiono in una di queste categorie compaiono nella classifica GRIN, Inoltre nella classifica GRIN sono incluse sia riviste che appaiono nell'elenco ISI ma sotto altre categorizzazioni sia riviste che non appaiono nell'elenco ISI.
Inoltre negli ultimi anni il MIUR ha dato sempre una maggiore importanza alla valutazione e in questo ambito alle pubblicazioni su rivista. La valutazione delle riviste del GRIN è intesa come tassello di una valutazione della produttività scientifica delle strutture da proporre al CIVR e ai Nuclei di Valutazione degli atenei.

I PARAMETRI

Ciascuna rivista censita dal GRIN è categorizzata con due parametri:

  • la classe (da A a D)
  • la tipologia della rivista (INF, INT e MAG)

Per quanto riguarda la classe, il principi ispiratori sono stati approvati nell'assemblea 2004

Una rivista è in classe A se:

  • è "top" per un certo sottosettore dell'informatica
  • è popolata prevalentemente da lavori di provenienza informatica (anche se l'argomento è interdisciplinare)

In TUTTI gli altri casi una rivista è in classe B, C o D a seconda del degrado di (1) e/o (2), tenendo presente che:

  • Il numero di riviste in classe A non supera il 20% delle riviste totali elencate (il 20% è indicato dal CIVR come nozione di eccellenza).
  • Il numero di riviste in classe A e B non supera il 45%

Inoltre i rapporti tra le classi si applicano (con un pò di flessibilità) anche alle sottoaree dell'informatica.

Per quanto riguarda la tipologia della rivista sono state identificate tre tipologie: INF, INT e MAG.

  • INF (informatica). Una rivista di questo tipo contiene nella stragrande maggioranza dei casi lavori che riguardano uno dei sottosettori dell'informatica , gli autori sono persone che provengono da ambiente informatico cosi come l'Editorial board. Inoltre la maggior parte dei lavori hanno lo scopo di far avanzare lo stato dell'arte
  • INT (interdisciplinare) questa tipologia intende coprire sia i casi delle riviste in cui la maggior parte dei lavori hanno provenienza interdisciplinare vedendo insieme ad autori informatici autori di altre discipline che riviste multidisciplinari in cui accanto a contributi che arrivano dal settore informatico (o hanno un taglio informatico) si trovano altri contributi provenienti da comunità diverse. Anche in questo caso le riviste hanno lo scopo di pubblicare lavori che fanno avanzare lo stato dell'arte
  • MAG (Magazine). Questa tipologia include le riviste che pur avendo un significativo spessore scientifico e tecnico hanno lo scopo primario di portare a conoscenza di u n pubblico più ampio di quello strettamente scientifico (ad esempio i professionals) nuove metodologie e/o i risultati di progetti significativi che hanno introdotto queste metodologie

UTILIZZO

La classificazione delle riviste messa a punto nel 2004, ha lo scopo di fotografare la situazione a partire dal 2004, pertanto per valutazioni di anni precedenti fa fede la classifica delle riviste approvata nel 2000. Al momento non è stata intrapresa la revisione della classificazione dei congressi, per cui vale la classificazione delle conferenze predisposta nel 2000.

Nella assemblea GRIN 2004 è stato ribadito che "La lista delle riviste GRIN è intesa per la valutazione di strutture e non del singolo ricercatore". Analoga posizione era emersa ed approvata nell'assemblea GRIN 2000 "L'assemblea del GRIN ritiene che la classificazione delle riviste e delle conferenze, nonché di altre attività connesse alla ricerca, proposta dalla commissione Degano possa essere esclusivamente usata ai fini della valutazione della ricerca svolta dalle strutture scientifiche universitarie nell'ambito del macro-settore scientifico-disciplinare K, con particolare riferimento all'area K05B"

PROCESSO DI VALUTAZIONE

Nel rivedere la classificazione delle riviste, la Commissione Scientifica ha preso in esame

  • le richieste di modifica e/o i suggerimenti pervenuti a partire dalla fine del 2002.
  • l'inclusione della rivista nella lista ISI (ed in quale categoria)

     

  • l'impact factor (assoluto e relativo) delle riviste ISI nel 2002 e 2003
  • L'inclusione della Rivista nella ACM guide
  • Eventuali altri indici
  • La rilevanza della rivista per il settore INF/01 come emerge anche dalla notorietà dell'editorial board, tipologia di articoli pubblicati, ecc.
  • L'esperienza dei membri della commissione scientifica nei diversi sottosettori
  • Le osservazioni delle sedi alla bozza di revisione fatta circolare nel novembre 2004

La commissione scientifica ha dedicato alla problematica numerose riunioni informali e scambi di opinioni. Inoltre si è riunita formalmente presso DISCO, Università di Milano Bicocca con all'ordine del giorno la revisione della classificazione delle riviste i giorni 7/12/2003, 9/9/2004, 22/10/2004. La bozza delle proposte di revisioni è stata fatta circolare tra le sedi (l'invio ai rappresentati di sede e alla giunta GRIN è avvenuto il 27/11/2004) e sono stati raccolti numerosi suggerimenti e commenti. La revisione finale è stata fatta nella riunione del 9/02/2005 (si veda verbale della riunione)


[1] Si ricorda che le sette categorie ISI sono

  1. Computer Science, Artificial Intelligence che include, oltre al settore di Intelligenza Artificiale vero e proprio, anche riviste di Pattern Recognition e di Image Processing

     

  2. Computer Science, Cybernetics che include oltre a riviste di Cibernetica anche riviste di Interazione uomo-macchina

     

  3. Computer Science, Hardware and Architecture che comprende riviste di hardware, architettura dei sistemi e più in generale relative a problematiche di sistemi di elaborazione

     

  4. Computer Science, Information Systems che copre oltre ai settori di Basi di Dati e Sistemi Informativi anche riviste di Information Retrieval, Documentazione Automatica

     

  5. Computer Science , Interdisciplinary applications che copre molte aree applicative dell'informatica

     

  6. Computer Science, Software Engineering che, oltre al settore dell'Ingegneria del Software e alle Metodologie per lo sviluppo del software, copreanche il settore della Informatica grafica e della Modellizzazione grafica

     

  7. Computer Science, Theory and Methods che include non solo le riviste sui metodi formali e sugli algoritmi, ma anche riviste relative ad altri paradigmi computazionali.
Alcune riviste appaiono in più di una categoria ed è frequente anche il caso che siano listate sia in una categorie di Computer Science che in un altro settore (ad esempio Mathematics o Electrical Engineering).