Tras la publicación de los criterios de evaluación de la convocatoria 2016 (BOE, 26/11/2016), desde sexenios.com hemos preparado una entrada recopilando las novedades más significativas de esta convocatoria. Este análisis, realizado por Susana Sánchez Gil, evaluadora de sexenios.com y por Álvaro Cabezas Clavijo, coordinador del servicio, reseña las novedades de este año respecto a la convocatoria pasada.
En líneas generales se aprecia una continuidad en los criterios de evaluación, sólo apreciándose una mayor exigencia en el Campo 7: Ciencias Sociales, Políticas, del Comportamiento y de la Educación y en muy menor medida en el campo 2: Química. Por su parte, el campo 11: Filosofía, Filología y Lingüística es el único en el que se detecta una reducción de la exigencia en los criterios orientativos.
En cuanto a fuente de datos, éste año desaparece la mención a diversas bases españolas en varios campos de evaluación, muchas de ellas obsoletas. Asimismo, se incluye en los campos 10 y 11 una nueva fuente (Emerging Source Citation Index) –pese a que las revistas ahí incluidas cuentan con una características y calidades muy dispares-, y se sustituye la mención genérica a Scopus (que como tal no ofrece gradación de las revistas) de años anteriores por la más concreta a Scimago Journal Rank, que sí clasifica a las revistas según su impacto.
Como nota previa al desglose de criterios por áreas, se añade el punto F a la convocatoria, en el que se señala que:
“F. Como paso previo a su valoración se establecerá si cada aportación es adecuada a la convocatoria, utiliza un medio de difusión apropiado y muestra responder a una línea de investigación coherente. Ello no implica juicio alguno sobre su calidad intrínseca, sino tan sólo constatar que se trata de una aportación evaluable”.
AUTORÍA
En cuanto a la autoría de las aportaciones evaluables, se hace hincapié en que los investigadores de todos los campos deben concretar su aportación específica en aquellas aportaciones en multiautoría. Esta exigencia es explícita para el Campo 2: Química, para el Campo 3: Biología Celular y Molecular y para el Campo 4: Ciencias Biomédicas.
En concreto, los criterios expresan para el Campo 2: Química, “si el número de autores fuese superior a cinco se deberá detallar con exactitud la aportación concreta del solicitante”. Para el Campo 3: Biología Celular y Molecular, se considerará esa relevancia el ocupar posición de primer o último firmante, de no ser el orden aleatorio, o figurar como autor de correspondencia. El solicitante deberá figurar como autor relevante en al menos uno de los artículos sometidos a evaluación. Y para Campo 4: Ciencias Biomédicas, como principio general un número elevado de autores implicará la aplicación de un factor de reducción en la valoración del trabajo si sus exigencias de contenido y metodología no lo justifican. Igualmente si el solicitante no figura como firmante destacado como primero o último (de no ser el orden de firma aleatorio) o autor de correspondencia.
ARTÍCULOS
En cuanto a los artículos en revistas de impacto internacional, apenas existen cambios de relevancia en los campos 1 a 6.2.
Únicamente en el Campo 2: Química se elimina la posibilidad de que se presenten como en 2015, “cuatro artículos en revistas situadas en el primer cuartil y uno en revistas del segundo, siempre que entre los anteriores haya una contribución de muy alta calidad” siendo ya necesaria la presentación de cinco artículos JCR en primer cuartil.
Sí se han detectado cambios cosméticos en el Subcampo 6.3: Arquitectura, Ingeniería Civil, Construcción y Urbanismo como que, las revistas situadas en el primer y segundo cuartil se consideran de relevancia alta, las del tercer cuartil se consideran de relevancia media y las del cuarto cuartil de relevancia baja (al igual que en el campo 6.2). No obstante no se especifican cuántas revistas de cada tipo debe aportar un solicitante, ya que al igual que en años anteriores, “se considera que para poder alcanzar una evaluación positiva, para perfiles tecnológicos, en las áreas de Arquitectura, Ingeniería Civil, Construcción y Urbanismo, al menos tres de las aportaciones deben ser de los tipos 3.a), 3.b) o 3.c). (es decir, artículos, capítulos/monografías, o patentes). “También con carácter orientador, se considera que para poder alcanzar una evaluación positiva, para perfiles no tecnológicos, en las áreas de Arquitectura al menos dos de las aportaciones deben ser de los tipos 3.a), 3.b) o 3.c).”. Se ha perdido pues una oportunidad en este campo de arrojar algo más de objetividad a las evaluaciones.
En el Campo 7: Ciencias Sociales, Políticas, del Comportamiento y de la Educación, se detecta un endurecimiento de los criterios, ya que se hace énfasis en que no se valorará necesariamente igual una revista incluida en el Scimago Journal Rank o en Arts and Humanities Citation Index (Web of Science) que una incluida en JCR (teniendo éstas valoración superior). Además, se introduce la novedad de que las revistas en SJR deberán ocupar “posiciones relevantes” (en convocatorias anteriores no se mencionaba posición) de lo que se deduce que las aportaciones en el tercer y cuarto cuartil podrían ser penalizadas. Estos criterios son pues muy perjudiciales para las cientos de revistas españolas incluida en Scopus / SJR en los últimos años y que cuentan con escaso impacto.
Siguiendo con el campo 7, se endurecen los criterios en la especialidad de Biblioteconomía y, los investigadores de esta área deberán contar con tres artículos en revistas situadas en el primer y segundo cuartil bien en JCR o en SJR (en la convocatoria anterior eran dos los trabajos que se pedían en revistas de impacto “alto o medio”). Sigue pues una singularización de la Biblioteconomía en los criterios de evaluación que le ponen muy por encima en cuanto a exigencia de otras disciplinas de Ciencias Sociales.
En Psicología continúa el alto nivel de exigencia, ya que se siguen solicitando como orientación cuatro JCRs de los cuales tres deben estar publicados en revistas Q1 o Q2.
Se han eliminado de los criterios la mención a bases de datos como ERIH, CIRC, DICE, revistas FECYT, etc. “Se podrán valorar también, pero nunca del mismo modo, revistas cuya inclusión en bases de datos especializadas constituya, a juicio del comité asesor, un claro indicio de calidad”.
En el Campo 8: Ciencias Económicas y Empresariales, tradicionalmente uno de los campos más exigentes, continúan los mismos criterios orientativos de 2015 (cinco artículos en posiciones relevantes en revistas JCR/SJR ó bien que “dos de las cinco aportaciones sean artículos publicados en revistas de relevancia significativa dentro de las áreas del Campo 8 recogidas en el JCR Social Sciences Edition o JCR Science Edition”. “Se considerarán también (sin que necesariamente se valoren por igual) artículos publicados en revistas que ocupen posiciones relevantes en otras bases de datos internacionales de referencia” (más allá de JCR y SJR) “siempre que, a juicio del comité asesor, cuenten con una calidad científica similar a las incluidas en los índices mencionados y satisfagan los criterios que se especifican en el apéndice de la resolución”.
En el Campo 9: Derecho y Jurisprudencia no se detectan modificaciones en los criterios.
En el Campo 10: Historia, Geografía y Artes se incluye, explícitamente la valoración de revistas indizadas en el Emerging Sources Citation Index así como en otras fuentes de datos, si bien se especifica que “la mera indización o indexación de una publicación en un repertorio o una base de datos sin que incluya índices de gradación no es en sí misma un indicio de calidad”. No se modifican los criterios orientativos.
En el Campo 11: Filosofía, Filología y Lingüística, desaparece la exigencia de dos artículos de ámbito internacional como una de las opciones, en los requisitos necesarios para una valoración positiva y, se pasa a exigir “que cumplan lo especificado en el punto 3”. Es decir, existe una rebaja de la exigencia en los criterios orientativos. Se incluye, igual que en el campo 10, explícitamente la valoración de revistas indizadas en el Emerging Sources Citation Index con la misma indicación respecto a la gradación de las fuentes mencionada en el párrafo anterior. Al igual que en el campo 7 desaparece la mención a numerosas fuentes de datos españolas, muchas de ellas obsoletas desde hace años.
MONOGRAFÍAS Y CAPÍTULOS
Para las aportaciones en forma de monografía y capítulo de libro, se especifican posiciones para las editoriales incluidas en el Scholarly Publishers Indicators. Así, en el Campo 3: Biología Celular y Molecular, la valoración máxima será equivalente a la de artículos científicos publicados en revistas del cuarto cuartil JCR.
En el Campo 7: Ciencias Sociales, Políticas, del Comportamiento y de la Educación y en el Campo 8: Ciencias Económicas y Empresariales, las aportaciones tendrán que situarse en el primer cuartil para las editoriales españolas o en el primero y el segundo para las extranjeras. Además para el Campo 7: Ciencias Sociales, Políticas, del Comportamiento y de la Educación, no se aceptarán las ediciones de textos clásicos que no tengan clara relevancia e incluyan estudios preliminares y notas fruto de una investigación personal y supongan una aportación apreciable a su campo temático. Y se especifica para las actas de congreso, que no serán evaluables (al igual que en años anteriores), añadiéndose la coletilla este año, “ya sean publicadas en libro o en revistas como proceedings”.
Por su parte, en el Campo 10: Historia, Geografía y Artes, se deberá atender particularmente a la posición que ocupe en este ranking. Y por último, en el Campo 11: Filosofía, Filología y Lingüística se habla de “situación destacada” en la correspondiente categoría de esta base de datos.
PATENTES
Las principales novedades para las patentes, se observan en el Campo 3: Biología Celular y Molecular, donde se señala que aquellas patentes en explotación internacional o europea podrán valorarse como equivalentes a una publicación de nivel alto. En explotación nacional podrá valorarse como equivalente a una publicación de nivel alto-medio. La presentación de una patente y de un artículo vinculado con el desarrollo de la misma o sus resultados no se valorarán como dos aportaciones distintas.
COMISARIADO DE EXPOSICIONES
En cuanto al comisariado de exposiciones para el Campo 10: Historia, Geografía y Artes, se tendrán en cuenta los proyectos que aporten novedades relevantes de investigación, con una reflexión sobre Estética o Teoría del arte documentada en el catálogo, así como los criterios determinados en el punto 5 respecto a la calidad del proyecto, medio de difusión y repercusión en los medios especializados nacionales e internacionales. No se valorarán más de tres exposiciones colectivas en un mismo tramo. En el área de Bellas Artes (arte, audiovisual, diseño y conservación y restauración) para la obtención de la valoración positiva, todas las aportaciones podrán ser de carácter extraordinario, y en concreto de las especificadas en el punto 5. Y como novedad, se deberán de aportar referencias precisas y datos suficientes para su identificación y estimación, y en concreto sobre su índole (exposición colectiva, individual, itinerante, escenografía, audiovisual, cortometraje, proyecto de diseño, publicidad, etc.), sobre la calidad del medio de difusión (espacio expositivo, feria, festival, bienal, etc.) y sobre su repercusión, siempre conforme a lo que se especifica en el citado punto 5.
TRANSFERENCIA
Para finalizar en el Campo 0: Transferencia del Conocimiento e Innovación se señala que, en todo caso, las aportaciones deberán implicar efectiva innovación y no meros desarrollos. De cada aportación de transferencia se deberá hacer constar en qué aportaciones científicas de calidad (artículos, congresos, etc.) se basa. Estas aportaciones científicas deberán poder ser consideradas de alta relevancia según los criterios especificados en esta Resolución para el respectivo campo científico, pudiendo éstas corresponder al período del tramo solicitado o ser cronológicamente anteriores.
APÉNDICE 1 (ACTUALIZADO 01/12/2016)
Había pasado desapercibido para nosotros que se modifica también el último párrafo del apéndice 1. Si en 2015 se señalaba que «se tendrá especialmente en cuenta la progresiva indexación de las revistas en las bases de datos internacionales especializadas», en este caso se señala «se tendrá especialmente en cuenta la indexación de las revistas en las bases de datos internacionales más acreditadas que las categoricen por índice de impacto y difusión», es decir se muestra una clara preferencia por aquéllas fuentes que presenten índices de gradación, como JCR o SJR por ejemplo.
Análisis realizado por Susana Sánchez Gil y Álvaro Cabezas Clavijo.
ACTUALIZACIÓN 07/12/2016: Para una mayor profundidad, recomendamos leer el magnífico análisis de Emilio Delgado, socio de EC3metrics, «Sexenios 2016: aparentemente todo sigue igual«
—-
CRITERIOS DE EVALUACIÓN SEXENIOS 2016
