HEGOA

Web 2.0

Instituto de Estudios sobre Desarrollo y Cooperación Internacional

Nazioarteko Lankidetza eta Garapenari Buruzko Ikasketa Institutua

Institute for International Cooperation and Development Studies

Localización de indicios de calidad de las publicaciones

imagen Índices de Calidad Relativa
Criterios de calidad editorial de las publicaciones
Calidad editorial de las revistas
Otras fuentes de medición de la calidad editorial

Para las Agencias Evaluadoras (ANECA, UNIBASQ, CNEAI…) los resultados de la investigación científica que fundamentalmente meritan son trabajos de investigación publicados en revistas de la especialidad con indices de calidad relativa; en concreto revistas incluidas en Journal Citation Reports. Para el campo de las Ciencias Sociales y Jurídicas y las Humanidades pueden considerarse también artículos publicados en revistas no indexadas o sin índice de calidad relativo atendiendo al reconocimiento científico de la revista en su área, y al rigor y objetividad del proceso de selección de los artículos (como referencia, ver más abajo los “Criterios que debe reunir un medio de difusión de la investigación (revista, libro, congreso) para que lo publicado en él sea reconocido como «de impacto»” (según CNEAI).

Nota: Aunque los criterios de evaluación suelen ser muy similares de una convocatoria a otra, debemos revisar siempre las bases de las mismas para determinar exactamente qué indices podemos o no podemos usar como indicadores de calidad.

Índices de Calidad Relativa

Los Índices de Calidad Relativa (ICR) son ranking o listados de revistas ordenadas y priorizadas según un parámetro conocido, de manera que se puede definir su posición relativa en relación con el resto de las revistas analizadas pertenecientes a la misma área de especialización. El parámetro más habitual es el índice de impacto que conjuga el número de artículos publicados y las citas recibidas.

Journal Citation Reports (ISI Web of Knowledge).

imagen El factor de impacto JCR es una medida de calidad científica para evaluar las revistas académicas que proporciona el Journal Citation Report, producto actualmente de la empresa Thomson Reuters. Es un índice de calidad relativo (ICR) que establece rankings de revistas dentro de una misma categoría en función de las veces que es citado un artículo. No mide la calidad de un artículo sino de la revista en la que se publica. Se valora especialmente en acreditaciones de la ANECA (PEP y ACADEMIA) y en otras procesos de evaluación por lo que imprescindible su consulta para la mayoría de los investigadores.

Cómo se calcula el Journal Impact Factor de JCR: es el resultado de dividir el número de citas que ha recibido una revista en un año dado para los dos años anteriores por la cantidad de artículos publicados por una revista durante esos dos años citados.

FECYT pone a disposición de la comunidad científica el listado de revistas españolas incluidas en Web of Science. El listado de revistas hasta febrero de 2014 puede consultarse aquí: Listado de revistas febrero 2014.

Scimago Journal & Country Rank

imagen SCImago Journal & Country Rank un indicador alternativo al factor de impacto, que basa su funcionamiento en el algoritmo PageRank. Es un portal que incluye las revistas científicas y los indicadores científicos por países que utiliza los datos de Scopus ® a partir de 1996. El acceso a este índice es gratuito y es una alternativa española desarrollada por el Grupo de Investigación Scimago. SJR es un índice más ponderado, ya que incluye cuatro factores respecto a los dos que incluye ISI: el índice H, Número total de citas por revista, Número total de documentos revista, Número de citas por documento

El indicador expresa el número de enlaces que recibe una revista a través de la citación ponderada de sus documentos en relación con el número de documentos publicados durante el año por cada publicación. Permite hacer un ránking por países “Country indicators”. También SCImago ha desarrollado The Atlas of Science project para disponer de una representación gráfica de la investigación científica.

IN-REC*

imagen Es un índice bibliométrico que ofrece información estadística a partir del recuento de las citas bibliográficas con el fin de determinar la relevancia, influencia e impacto científico de las revistas españolas de ciencias sociales, de los autores que publican en las mismas y de las instituciones a que estos se adscriben. Asimismo, permite conocer de manera individualizada las citas bibliográficas que reciben los trabajos publicados en revistas científicas españolas con lo que es posible conocer el impacto real que han tenido en la comunidad científica a la que se dirigen.

Otros ICR

Google Scholar Metrics

Google Scholar Metrics Google Scholar Metrics proporciona una manera fácil de medir el impacto y la visibilidad de las revistas. Actualmente ofrece un listado de las 100 revistas con mayor impacto agrupadas según idioma y ordenadas a su vez según su índice-h de los últimos 5 años.

También+ podemos identificar las revistas con mayor impacto por categorías temáticas, aunque esta opción sólo está, de momento, habilitada para las revistas en inglés.

RePEc

RePEc RePEc: Research Papers in Economics incluye un ranking con el factor de impacto de revistas y series de documentos de trabajo en Economía.

Journal-Ranking

Journal-Ranking.com proporciona información sobre el impacto de más de 7.000 revistas de todas las disciplinas.

Volver arriba


Criterios de calidad editorial

Además del índice de impacto, existen otros criterios para valorar la calidad científica de una publicación. Las diferentes agencias evaluadoras señalan, en sus respectivas convocatorias, los criterios que debe reunir un medio de difusión (revista, libro, congreso…) para que se reconozca su calidad.

Basicamente se refieren a:

  • Calidad informativa: identificación de los comités editoriales y científicos, instrucciones a autores/as, información sobre el proceso de evaluación y selección de manuscritos, traducción de sumarios, títulos de los artículos, palabras claves, resúmenes en inglés y publicación de datos del proceso editorial.
  • Calidad del proceso editorial: periodicidad, regularidad, arbitraje científico, revisores/as, anonimato de la revisión, instrucciones para la revisión, comunicación motivada de las decisiones, consejos de redacción y asesor.
  • Calidad científica: porcentaje y tasa de aceptación de artículos de investigación
  • Calidad de difusión y visibilidad: inclusión en bases de datos bibliográficas.

Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA). Programa Academia. Acceso a los Cuerpos Docentes Universitarios. Principios y orientaciones para la aplicación de los criterios de evaluación. V. 2.0 31/01/2008.

Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI). BOE. Resolución de 19 de noviembre de 2012, de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se establecen los criterios específicos en cada uno de los campos de evaluación.

Agencia de Evaluación de la Calidad y Acreditación del Sistema Universitario Vasco (UNIBASQ). DECRETO 228/2011, de 8 de noviembre, por el que se aprueban los criterios a utilizar por Unibasq _ Euskal Unibertsitate Sistemaren Kalitatea Ebaluatu eta Egiaztatzeko Agentzia-Agencia de Evaluación de la Calidad y Acreditación del Sistema Universitario Vasco en la evaluación y acreditación del personal docente e investigador contratado de la Universidad del País Vasco/Euskal Herriko Unibertsitatea y del profesorado de las Universidades privadas de acuerdo con lo establecido en la Ley 3/2004, de 25 de febrero, del Sistema Universitario Vasco.

Estos documentos refieren un conjunto de indicadores que deben cumplir las revistas científicas. En el caso de las agencias de evaluación estos indicadores se establecen como requisitos de referencia para que una revista pueda ser considerada en los procesos de evaluación o acreditación. No obstante, esto no significa que todos los indicadores tengan el mismo peso para las agencias, por lo que pudiera darse el caso de que revistas que cumplan muchos criterios pero no estén cumpliendo alguno de los considerados fundamentales por las agencias, no resultaran bien valoradas por estas.

Ejemplo: Criterios que debe reunir un medio de difusión de la investigación (revista, libro, congreso) para que lo publicado en él sea reconocido como «de impacto» (según CNEAI).

A. Criterios que hacen referencia a la calidad informativa de la revista como medio de comunicación científica.

  1. Identificación de los miembros de los comités editoriales y científicos.

  2. Instrucciones detalladas a los autores.

  3. Información sobre el proceso de evaluación y selección de manuscritos empleados por la revista, editorial, comité de selección, incluyendo, por ejemplo, los criterios, procedimiento y plan de revisión de los revisores o jueces.

  4. Traducción del sumario, títulos de los artículos, palabras clave y resúmenes al inglés, en caso de revistas y actas de congresos.

B. Criterios sobre la calidad del proceso editorial.

  1. Periodicidad de las revistas y regularidad y homogeneidad de la línea editorial en caso de editoriales de libros.

  2. Anonimato en la revisión de los manuscritos.

  3. Comunicación motivada de la decisión editorial, por ejemplo, empleo por la revista, la editorial o el comité de selección de una notificación motivada de la decisión editorial que incluya las razones para la aceptación, revisión o rechazo del manuscrito, así como los dictámenes emitidos por los expertos externos.

  4. Existencia de un consejo asesor, formado por profesionales e investigadores de reconocida solvencia, sin vinculación institucional con la revista o editorial, y orientado a marcar la política editorial y someterla a evaluación y auditoría.

C. Criterios sobre la calidad científica de las revistas.

  1. Porcentaje de artículos de investigación; más del 75% de los artículos deberán ser trabajos que comuniquen resultados de investigación originales.

  2. Autoría: Grado de endogamia editorial, más del 75% de los autores serán externos al comité editorial y virtualmente ajenos a la organización editorial de la revista.

Asimismo, se tendrá especialmente en cuenta la progresiva indexación de las revistas en las bases de datos internacionales especializadas.

Volver arriba


Calidad editorial de las revistas

Latindex

imagen Latindex (Sistema Regional de Información en Línea para Revistas Científicas de América Latina, el Caribe, España y Portugal) es un sistema de información que reúne y permite consultar información bibliográfica sobre las publicaciones científicas seriadas de la región. Las revistas incorporadas por cada país participante en el sistema son evaluadas conforme a 33 criterios de calidad para revistas impresas o 36 para revistas electrónicas. Por ello, el usuario podrá encontrar revistas incluidas en el Directorio Latindex (aquellas que cumplen menos de 25 criterios de calidad) o en el Catálogo Latindex (aquellas que cumplen 25 o más criterios de calidad).

CIRC

imagen La Clasificación Integrada de Revistas Científicas - CIRC se propone como objetivo la construcción de una clasificación de revistas científicas de Ciencias Sociales y Humanas en función de su calidad integrando los productos de evaluación existentes considerados positivamente por las diferentes agencias de evaluación nacionales como CNEAI, ANECA). La clasificación resultante consta de cuatro grupos jerárquicos (gA, gB, gC, gD) en función de la visibilidad de las revistas y un quinto grupo de excelencia (gEx).

ERIH

imagen European Reference Index for the Humanities (ERIH) es un índice elaborado por la European Sciende Foundation y que recoge publicaciones que cumplen ciertos criterios de calidad en el ámbito de las Humanidades. Las disciplinas que abarca son: antropología, arqueología, arte, historia, estudios clásicos, estudios de género, filosofía de la ciencia, lingüística, literatura, musicología, estudios orientales y africanos, investigación educativa y pedagógica, filosofía, psicología y estudios religiosos y teología.

En la Resolución de 11 de noviembre de 2008, de la Presidencia de la Comisión Nacional de Evaluación de la Actividad Investigadora, por la que establecen los criterios específicos en cada uno de los campos de la evaluación, aparece como fuente de consulta entre otros portales.

RECYT

RECYT Repositorio Español de Ciencia y Tecnología: Plataforma de gestión, edición y acceso al contenido de las revistas cientí­ficas españolas de calidad contrastada.

Listado de revistas científicas españolas que han obtenido el sello de calidad FECYT.

Listado provisional de las revistas que han obtenido el Sello de Calidad en la Cuarta Convocatoria de Evaluación de la Calidad Editorial y Científica de las revistas científicas españolas, FECYT 2013

Volver arriba


Otras fuentes de medición de la calidad editorial

Dialnet

Dialnet (Difusión de Alertas en la Red) es uno de los mayores portales bibliográficos de acceso libre, cuyo principal cometido es dar mayor visibilidad a la literatura científica hispana. Recopila y facilita el acceso a contenidos científicos, principalmente a través de alertas documentales. Además cuenta con una base de datos exhaustiva, interdisciplinar y actualizada, que permite el depósito de contenidos a texto completo.

RESH

imagen RESH (Revistas Españolas de Ciencias Sociales y Humanidades) es un sistema de información que integra indicadores de calidad para las revistas científicas españolas de Ciencias Sociales y Humanidades. Los indicadores que ofrece e integra esta plataforma son, por una parte, aquellos que CNEAI, ANECA y Latindex tienen en cuenta en sus respectivos sistemas de evaluación, y que se refieren fundamentalmente a la calidad editorial. Otro tipo de indicador ofrecido es el de difusión, medido a través de la presencia de las revistas en bases de datos nacionales e internacionales. Ofrece además un dato que cualifica la “opinión de expertos/as” y un índice de impacto.

MIAR

imagen MIAR es un sistema para medir cuantitativamente la visibilidad de las publicaciones periódicas en Ciencias Sociales en función de su presencia en distintos tipos de bases de datos.

CARHUS Plus+

imagen CARHUS Plus+ es un sistema de evaluación de revistas científicas de los ámbitos de las Ciencias Sociales y las Humanidades que se publican a nivel local, nacional e internacional. Esta clasificación se revisa periódicamente cada dos años. Desarrollado por la AGAUR a propuesta de la Direcció General de Recerca, se presenta con la finalidad de contribuir a la evaluación de la investigación que se lleva a cabo en el sistema científico y universitario catalán con la máxima objetividad. Utiliza, como indicador de calidad, el ICDS, que mide la difusión de las revistas en bases de datos científicas.

  • CARHUS Plus+. Sistema de evaluación de revistas científicas en el ámbito de las ciencias sociales y humanidades.

SPI

imagen SPI Scholary Publishers Indicators es una primera aproximación a la evaluación de la calidad de las editoriales de libros científicos. SPI muestra un ranking de editoriales basado en la opinión de expertos españoles en Humanidades y Ciencias Sociales. Representa solo una primera aproximación al estudio de la calidad de las editoriales y, por tanto, debe evitarse cualquier uso automático en sistemas de evaluación. Sí que puede servir de referencia en estos procesos, pero debe complementarse con el juicio matizado de los expertos que componen los paneles de evaluación o con otros indicadores, cuando estén disponibles.

SPI muestra un ranking general de editoriales para todas las áreas y rankings especializados por disciplinas. Se recomienda el uso combinado de ambos pues aportan informaciones distintas y complementarias.

Desarrollado por el EPUC, Grupo de de Investigación de Evaluación de Publicaciones Científicas del CSIC.

También puede consultarse una versión gráfica del ranking:

Volver arriba


¡ATENCIÓN! ACCESOS: Muchas de estas fuentes de información son de pago y la mayoría están contratadas por la Biblioteca de la Universidad del País Vasco UPV/EHU; otras son de acceso libre y gratuito en internet.


Puedes descargar esta página aquí.