[escepticos] Una entrevista fundamental

[Xosé Afonso Álvarez Pérez]

Lo que cuenta sobre el ránking de Shanghai (Academic Ranking of World
Universities, http://www.shanghairanking.com) es básicamente cierto,
con la salvedad de que no es verdad del todo que se deje fuera a las
"Humanidades" en el ranking, porque tienen en cuenta no sólo el
Science Citation Index, sino también el Social Sciences Citation
Index, que no es tan específico como el Arts and Humanities Citation
Index, pero sí que incluye revistas de disciplinas que llamaríamos "de
Humanidades". También es verdad que nació para lo que nació (comparar
las universidades chinas con las del resto del mundo para identificar
estrategias para ese sistema universitario), no era algo concebido ab
initio para hacer clasificaciones de universidades. El caso del de
Shanghai es más ridiculizable, por esos factores peculiares, pero
existen otros, como el el ranking Times
(http://en.wikipedia.org/wiki/Times_Higher_Education_World_University_Rankings)
o el QS (http://en.wikipedia.org/wiki/QS_World_University_Rankings)
que tienen en consideración también otro tipo de factores (ratio
profesor/alumno, estudiantes y docentes internacionales, captación de
fondos externos, encuestas a académicos...). Siguen teniendo su sesgo,
básicamente el peso de los rankings bibliométricos privados (Thomson)
y, en gran parte consecuencia de ello, el anglocentrismo. También hay
ensayos de rankings europeos
(ftp://ftp.cordis.europa.eu/pub/indicators/docs/3rd_report_snaps10.pdf
; http://www.researchranking.org/ ) y, por supuesto, estatales
(http://en.wikipedia.org/wiki/Research_Assessment_Exercise). En la
wikipedia hay bastante información sobre las críticas que se pueden
aplicar a cada uno. También, sin ser propiamente rankings,
periódicamente salen listas de las universidades que han captado más
proyectos europeos, más convocatorias del ERC,... Dentro de sus sesgos
y explicaciones, lo que también es verdad es que si tu institución no
sale en absolutamente ninguno de los rankings ni destaca en ninguno de
los diferentes criterios, va a ser que muy muy buena no es...

Los criterios de evaluación de papers y evaluadores. No me he fijado
mucho ahora que he vuelto a poner la entrevista y la web de la Coz de
Malicia no me deja ir para atrás. Es indudable que existe una "mafia"
que ocupa posiciones clave en las altas jerarquías y que tiene mucho
control en el reparto de fondos. Ahora bien, la pluralidad de
organismos que acaban evaluando una cosa u otra es muy grande, y
aunque sea por demografía y porque se renuevan periódicamente, en un
sistema tan amplio es imposible que estén los mismos caciques en la
ANECA, la ANEP, la CNEAI, la SEI y la miríada de organismos autónomos
y autonómicos que evalúan CVs y proyectos.  También va por áreas la
cosa. No es lo mismo el área de conocimiento de Bioquímica, que tiene
a ciento y la madre de personas dentro que el de Historia Antigua o el
de Filología Italiana, en donde ya es más normal que coincida la misma
gente, especialmente cuando para alguna comisión piden cátedros, gente
con 3 o 4 sexenios, etc. Cada vez más se recurre también a evaluadores
externos, que emiten un informe, y eso condiciona la evaluación final.
Yo mismo tengo ahora encima de la mesa un proyecto del Plan Estatal de
Investigación (financiado, por tanto, por el Ministerio de Economía)
para evaluar, y puedo asegurar que nadie me ha dicho "oye, trátalos
bien" o "no interesa que pase" ni nada por el estilo, y para ser
evaluador sólo he tenido que enviar mi CV a una comisión, no me ha
designado ningún oscuro padrino ni nada.

Sobre las revistas. Sí que es cierto el predominio absoluto y
vergonzoso de dos multinacionales privadas (Thomson y Elsevier) y la
predominancia de sus ránkings y métodos de cálculo, las citaciones, el
índice H y esas gaitas. Esto crea un sesgo muy importante hacia las
publicaciones incluidas en esas listas y discrimina tanto a las áreas
de conocimiento donde el inglés no es lengua habitual (no excluye, hay
publicaciones en esos índices sin ninguna pizca de inglés) como áreas
de conocimiento bastante específicas, en las que no es fácil o
aconsejable publicar en revistas internacionales. Bermejo citaba a un
amigo neurólogo, yo citaré a un amigo entomólogo. Si descubre una
especie nueva de escarabajo en España, lo más correcto para él sería
publicar en no sé qué revista española que es la que leen todos los
entomólogos del país; sin embargo, como esa revista no está en los
índices de la Thomson/Elsevier (así que por mucho que lo citen o
valoren, no se va a reflejar en esas bases de datos), pues
posiblemente para él es mejor escribir el artículo en la New Canadian
Journal of Escarabajology (inventado, obviamente), que está en el
primer cuartil del JCR, así que para los bibliómetras tendrá mayor
impacto. Hay miles y miles de trabajos sobre el sesgo de esos rankings
(véase, por ejemplo,
http://en.wikipedia.org/wiki/Impact_factor#Criticisms) y sobre las
corrupciones asociadas: falsas citas para "inflar" el prestigio de una
revista, favorecer las revistas de las grandes editoriales,
discriminación de campos científicos muy específicos,...

De todas formas, hay que matizar que el grado de adherencia a la secta
de la bibliometría es muy variable. Por un lado, han aparecido varias
instituciones de evaluación de la investigación que se han negado en
redondo a aplicar el sistema de los índices de impacto y citas en la
evaluación de los investigadores, o que lo combinan con otros sistemas
(por ejemplo, pidiendo una lista y resumen de lo que se consideran las
3, 5, 10... contribuciones más relevantes del investigador). Una
iniciativa de referencia en este caso, con un éxito muy grande, es
DORA (http://am.ascb.org/dora/). Por otro lado, han ido apareciendo
numerosos índices de calidad de revistas impulsados por entidades o
por grupos de investigación de esos organismos, sobre todo para áreas
como las Ciencias Sociales y Humanidades, poco representadas en los
índices de Thomson/Elsevier, o para evaluar la calidad de las
publicaciones españolas, poco presentes en esos índices, por su ámbito
local: CARHUS, DICE, ERIH, RESH,... Y todos esos índices son tenidos
en cuenta en las evaluaciones.



El día 24 de enero de 2014, 8:09, Mr Reivaj <mrreivaj en gmail.com> escribió:
> Muy de agradecer estas aclaraciones. De cualquier modo las acotaciones que
> hace Bello están ahí ¿no?. Y esas sí que remachan a gusto.
> Gracias por toda esta información muy necesaria para entender el
> hiperombliguismo cátedra de los años felices-;)