domenica 5 marzo 2017

H-index funziona! Tutti gli ISI highly cited sono Top Italian Scientists, ossia hanno H-index>30

Diversi colleghi, alla pubblicazione del nostro post sulla lista dei 1612 autori mondiali con H>100 qua, (compreso qualche giovane membro del gruppo2003 --- gli ex-ISIhighlycited, chiamamoli HCR in seguito) sostengono che l'algoritmo della Thomson-Reuters sia più serio di una banale misurazione dell'H-index, in quanto separa aree disciplinari diverse, elimina meglio anche manualmente gli omonimi, ed è fatto con più rigore. Sul fatto che sia meno numeroso, questa invece è una scelta di prendere solo, il top 250 most cited researchers in a particular subject area. For 21 broad subject areas as defined by ISI, this list when complete will contain the names of more than top 5000 authors. In realtà la lista ne contiene meno (4500 nel 2004, e ora anche meno). La logica di base è sempre la stessa ovviamente di H-index --- individuare gli individui altamente citati, sulla base dell'ipotesi che il fatto di essere molto notati dai peers sia un segno di grande riconoscimento, indicazione di possibili premi importanti. E' stato notato che gli ISI sono concentrati sopratutto in USA (3082 su 4500! HCR nel 2004), molto dopo gli UK (354) e decima soltanto l'Italia con solo 32 (sempre nel 2004) ossia l'1% del totale di HCR. Non abbastanza sicuramente.

(da Basu, Aparna."Using ISI's' Highly Cited Researchers' to obtain a country level indicator of citation excellence." Scientometrics 68, no. 3 (2006): 361-375)

 Intanto, a mostrare che il numero di HCR correla bene con la produzione in generale, ecco un grafico da Basu et (2006)
Correlazione (quadratica) tra % produzione mondiale di articoli e numero di HCR (da Basu, Aparna."Using ISI's' Highly Cited Researchers' to obtain a country level indicator of citation excellence." Scientometrics 68, no. 3 (2006): 361-375) 

Notare che l'algoritmo è cambiato a partire dal 2014: invece di basarsi sulle citazioni totali (che lo facevano somigliare di più all'H-index probabilmente), ora si basa sui cosiddetti Highly Cited Papers (ranking among the top 1% most cited for their subject field and year of publication—between 2002 and 2012) compiled by Essential Science Indicators. Il numero di HCR è sceso a poco più di 3,000 authors in 21 main fields of science and the social sciences. Si veda qua.   Il contributo italiano nella nuova edizione è salito in percentuale, ci sono 44 / 3100 HCR = 1.42%, certo una crescita -- vedi anche qua, maggiore della crescita media della produzione italiana.




Quindi entrano anche dei giovani che scrivano diversi articoli "hot".  Ma come tutte le scelte, sono opinabili, e comunque, soggettive.

Siamo andati comunque a verificare, per curiosità, gli H-index degli ISIHighlyCited italiani (attuali o passati, vecchio e nuovo algoritmo), che sono quindi elencati nel cosiddetto Gruppo2003, e sono 77.

Ci sembra di poter confermare che è difficile sostenere che H-index non significhi nulla.... Tutti gli ISI Highly cited sono "Top Italian Scientists" secondo la definizione di Via-Academy, ossia hanno H-index Google Scholar >30.  Certo alcuni superano la soglia di poco (molto probabilmente i giovani new entries e quindi hanno scritto pochi lavori che hanno già raccolto molte citazioni, gli Hot Papers su cui si basa il nuovo algoritmo.

Ovviamente non vale il viceversa, in quanto solo 50 sono ISI Highly cited, mentre 4000 sono i Top Italian Scientists.  Ossia circa 1%.   Tuttavia, più si sale con H-index, e più è probabile appartenere ad entrambe le categorie:- infatti ci sono 166 TIS con GS H>100 mentre sono 20 tra gli ISIhighlycited, ossia il 12% (probabilmente in prevalenza quelli con il vecchio algoritmo). Le rimanenti incongruenze probabilmente dipendono dal fatto che ISI ha comunque sempre contato solo i lavori di una decade, e ora solo gli hot papers, e dalla non disambiguazione su ambiti scientifici. 

Ma basarsi solo su H>threshold, perlomeno in prima battuta, non ha poco significato, se si vuole valutare un campione più largo dei soli HCR.  E comunque, la scelta è più semplice, e da ingegnere, quando non si dispone di dati "migliori", meglio una misura che nulla.   E poi esistono dati e algoritmi perfetti?  Dubito.  Persino il premio Nobel, spesso, viene contestato.

Persino la ISI ha creato una sottolista, “Hottest Researchers,”determined by the number of Hot Papers published over the preceding two years".  In questo caso è stato notato che "genomics" porta a 12 dei 17 "hottest researchers" e 7 di loro sono di uno stesso gruppo (Eric S. Lander di MIT e Harvard).  Quindi ci sono dei pattern di numerosità di papers che dipendono dall'argomento che non si possono escludere nemmeno per loro;  i rimanenti 5 dei 17, sono in cardiology, materials, and engineering.

Torniamo alla correlazione con gli H-index di Google Scholar.  I dati del gruppo 2003 sono tutti fortunatamente o quasi su Google Scholar.  

La distribuzione che si ottiene ha questi dati statistici principali sull'H-index degli appartenenti al Gruppo 2003.  N.B. Non tutti i soci gli HCR sono soci di Gruppo 2003.:-

Mediana 67
Min 31
Max 170
Mean 75.3
StandardDeviation 30.4
Skewness 0.78
Kurtosis 3.05

e questo è l'istogramma della distribuzione, piuttosto simile ad una Rayleigh o una Weibull.
H-index

WeibullDistribution[2.66, 85]
H-index


Naturalmente la discussione su H index e come perfezionarlo è sempre viva, e un link interessante su m-quotient: Accounting for varying lengths of academic careers, g-index: Accounting for highly-cited papers, Contemporary h-index: Accounting for active versus inactive researchers, Individual h-index: Accounting for differences in co-authorship patterns, la trovate qua.

Ecco comunque i valori completi di GS H-index per il Gruppo2003.

Soci GRUPPO 2003

Oltre ai soci Fondatori, l'associazione contempla l'esistenza di soci Ordinari, soci Onorari e soci Sostenitori.

Fondatori

Ordinari

Nessun commento:

Posta un commento

Post in evidenza

codici etici nell'università italiana e cariche elettive "abusate". Facciamo un patto tra gentiluomini?

Carissimi   avrete seguito la vicenda del prof. Capano che qualche giorno fa è andata in prima pagina sul corriere , con successiva re...