giovedì 2 marzo 2017

ANVUR e VQR: La valutazione (incompleta) dei piu' bravi «Impossibile considerare tutti i lavori» --- proponiamo di aumentare il numero di prodotti per ricercatore a 10?

Il matematico Mingione sottolinea il difetto della valutazione dei dipartimenti universitari (valutazione VQR) di "tagliare" l'eccellenza nella valutazione a pochi prodotti (solo 2 per ricercatore in 4 anni è davvero un valore minimo, specie poi in certi campi), suggerendo che ci sia addirittura un vizio di fondo di voler appiattire tutto.   Mingione sottolinea il suo caso personale ovviamente, sostenendo che sia a livello di scandalo mondiale che il suo dipartimento non sia nemmeno entrato nella rosa dei VQR. Vedi articolo qua.

Il tutto potrebbe creare distorsioni quando si andranno a premiare i dipartimenti "eccellenti".

ANVUR si difende dicendo che si voleva solo far emergere gli "inattivi", e che non si potevano trattare dei numeri molto alti di lavori.....    Ma cosa proporre di costruttivo?  Per fare VQR molte banche dati sono state messe a punto. Si potrebbe fare una valutazione di 2-3 individui per dipartimento, che siano eccellenti.  Ma a dire il vero la discussione non è solo italiana, vedasi qua. E si veda il bel blog University Ranking Watch.  

Pare per es. che la pura misurazione delle citazioni, come in parte suggerito da autorevoli autori qua, sia meglio: e allora, perchè non calcolare la somma degli H-index? Perchè si è voluto fare un algoritmo complesso (quello che incrocia la presunta qualità delle riviste con il numero di citazioni) per poi tagliare i risultati a due soli?  Si vuole forse evitare che un dipartimento sia "tirato" solo da pochi eccellenti? Personalmente suggerirei almeno di aumentare il numero di prodotti a 10.

Allo stesso tempo, la stessa maggioranza che voleva promulgare le cattedre Natta, intanto milleproroga i concorsi "interni", vedi qua. Occorre una seria riflessione.


7 commenti:

  1. Beh, qualche dubbio c'é sulla commedia del Vqr.
    http://www.ilfattoquotidiano.it/2017/01/16/universita-come-non-si-premia-il-merito-negli-atenei-italiani/3319076/

    RispondiElimina
  2. caro Renzo,
    si ma come sottolinea http://rankingwatch.blogspot.it/, i trucchi ce ne sono anche nel resto del mondo. Ho chiesto all'autore di quel blog cosa ne pensa del sistema italiano. Nella scala della corruzione in italia siamo mi pare 60-70° paese nel mondo, la VQR e ANVUR rispettano questo trend.

    Ma che proposte possiamo fare? E chi ci può ascoltare?

    RispondiElimina
  3. La proposta di calcolare la somma degli H-index potrebbe essere interessante ... ma come si fa a depurare da situazioni dove citazioni incrociate li fanno salire in modo vertiginoso ?? Secondo me la valutazione serve principalmente ad individuare le code .. ovvero coloro che fanno poco o nulla! Il punto però è: quando li abbiamo individuati, cosa fare ??

    RispondiElimina
    Risposte
    1. Tutte le regole già individuate per evitare gli incroci (ossia che 2 autori di uno stesso dipartimento non possano mettere 2 volte lo stesso lavoro), possono essere acquisite. Semplicemente, è il numero dei prodotti che non deve essere limitato, o deve essere limitato ad un numero molto maggiore, per es 10. Secondo quale logica dobbiamo penalizzare i dipartimenti con inattivi, se poi c'è un EINSTEIN in quel dipartimento che ce li fa dimenticare?

      Elimina
  4. Caro Ciavarella,
    la VQR serve a valutare Settori scientifici, Dipartimenti e Atenei. Non i singoli. Tu proponi un meccanismo di "sussidiazione" tra colleghi... se c'è un genio con 200 pubblicazioni (in 4 anni) questo deve sussidiare l'improduttività scientifica dei colleghi. Neanche questo mi sembra corretto. La VQR serve a valutare una struttura nella sua complessità, se in un dipartimento c'è 1 genio, 5 persone normali e 10 inattivi è ovvio che le politiche di reclutamento non hanno funzionato... e il dipartimento si prenderà quello che merita, molto meno di un dipartimento che magari è privo del genio, ma ha 16 persone tutte attive. La qualità si fa non avallando scelte scellerate di assunzione/promozione... ne ho viste troppe di cretinate, adesso le strutture che hanno abusato della loro autonomia finalmente verranno messe al bando!

    RispondiElimina
    Risposte
    1. Mi devi spiegare perchè N.2 lavori è un numero ideale.

      Elimina
  5. Caro Ciavarella,

    prima ancora di chiedersi perche' n.2 lavori sia un numero ideale o no,
    bisognerebbe chiedersi prima ben altro, a mio modesto parere.
    Primo, a che cosa serve tutto questo ambaradan. La risposta - mi pare -
    e' che serve a spostare una parte dei finanziamenti FFO agli atenei,
    che comunque non continuano certo ad aumentare complessivamente;
    quindi serve per risparmiare.
    E allora intanto non si parli piu' di premiare i piu' bravi ecc,
    perche' i premi sono qualcosa in piu' della sussistenza,
    qui invece si parla di qualcosa in meno ...
    Secondo, prima ancora di chiedersi se 2 lavori vadano bene o no,
    uno dovrebbe chiedersi se il metodo usato vada bene o no. Il fatto
    che si facciano medie pesate di percentili crea paradossi matematici
    che dovrebbero indicare come questo metodo non abbia alcun senso
    statistico
    (vedi questo articolo, per esempio,
    http://www.roars.it/online/la-junk-arithmetic-della-bibliometria-fai-da-te-della-vqr-2011-2014/).
    Il fatto di applicare questo metodo
    a 10 lavori invece di 2 non lo rende certo piu' significativo ...
    Terzo, vedo che in questo blog - come del resto in gran parte
    dell'accademia - si confonde il risultato VQR con la valutazione
    dei singoli. Anche nell'articolo citato in cui si parla di Mingione e
    Checchi sembra che il difetto della VQR sia quello di non far
    emergere i singoli ricercatori eccellenti. Ma non e' questo lo
    scopo, mi pare.
    Quarto: comunque un metodo che si basi sulla statistica
    difficilmente sara' significativo per valutare i singoli,
    mentre potrebbe avere un senso (e purtroppo il meccanismo VQR
    non sembra avere manco questo...) per valutare grandi strutture.
    Quinto: ma perche' tutto questo accanimento nel
    cercare classifiche, valutare le prestazioni ecc. ? I matematici conoscono bene
    il valore di Mingione e sono certo che lui - come tanti altri
    scienziati eccellenti nei vari settori - e' in grado
    di ottenere ben altri finanziamenti e riconoscimenti.
    Infine, per chi propone H-index o altre diavolerie bibliometriche:
    tenete presente che ci sono interi settori dove le citazioni
    non indicano necessariamente il valore di un lavoro.
    E' stato dimostrato statisticamente che in certi settori le
    citazioni tendono ad apparire con estrema lentezza
    e tendono a perdurare di piu' nel tempo rispetto ad altre
    discipline dove invece le citazioni appaiono e scompaiono
    rapidamente.
    Spesso avere tante citazioni significa solo che stiamo lavorando
    in un settore di moda, non necessariamente indica che il
    nostro sia un lavoro di qualita'. Ricordo che un collega
    mi ha confessato che da quando ha scritto una cosa
    sulla quale stavano lavorando dei colleghi cinesi, il suo
    numero di citazioni si era impennato ....
    Siamo sicuri che usare l'H-index - o altri indici simili
    e piu' o meno bislacchi, come l'indice di Katsaros, per
    esempio - sia il modo giusto
    di valutare e poi confrontare scienziati che operano in
    settori molti diversi ?
    Per non parlare, poi, del confronto con i settori non blibliometrici
    (personalmente, aggiungo un bel: beati loro ....) ...


    RispondiElimina

Post in evidenza

codici etici nell'università italiana e cariche elettive "abusate". Facciamo un patto tra gentiluomini?

Carissimi   avrete seguito la vicenda del prof. Capano che qualche giorno fa è andata in prima pagina sul corriere , con successiva re...