La evaluación de la calidad y de la repercusión de las revistas científicas constituye uno de los métodos más habitualmente empleados para obtener información sobre la repercusión científica de las revistas y su impacto entre los miembros de la comunidad científica, lo que facilita la toma de decisiones en diferentes procedimientos selectivos relacionados con la resolución de convocatorias de competencia libre y a la hora de establecer controles de calidad en cuanto a inclusión de los contenidos que constituyen las principales bases de datos bibliográficas y más importantes fuentes de información de acceso a la literatura científica de valor cualitativo contrastado.

Partiendo de este concepto fundamental, la Biblioteca Nacional de Ciencias de la Salud (BNCS) del Instituto de Salud Carlos III (ISCIII) se planteó, a partir de 1999, el desarrollo del Índice Bibliográfico Español de Ciencias de la Salud (IBECS), como una base de datos que recogiese la bibliografía de publicaciones científicas españolas de calidad sobre medicina, farmacia, psicología, odontología, enfermería, fisioterapia, podología y veterinaria.

Debido a que uno de los principales objetivos y expectativas que pretendía cubrir la base de datos IBECS era completar el espectro internacional de acceso y difusión de revistas científicas internacionalmente reconocidas, con las publicaciones de calidad contrastada editadas en España que, por otra parte, se encontraban escasamente representadas en las mismas, se estableció como principal criterio de inclusión, el nivel de cumplimiento de criterios internacionales de calidad similares a los utilizados por otras bases de datos de ciencias de la salud tales como MEDLINE, de la National Library of Medicine de Estados Unidos y LILACS, la base de datos cooperativa del sistema Bireme (Organización Panamericana de la Salud/ Organización Mundial de la Salud).

Por tanto, para la inclusión de publicaciones en la base de datos IBECS se han establecido una serie de criterios y condiciones mínimas de calidad que incluyen criterios de calidad científica, editorial, estabilidad y visibilidad, seleccionados no sólo con el propósito de evaluar los niveles de desarrollo de las revistas, sino también al objeto de ofrecer a los editores parámetros que permitan incrementar sus estándares de calidad y alcanzar mayores niveles de visibilidad nacional e internacional.

La revisión del cumplimiento de los criterios preestablecidos se realiza mediante un sistema de evaluación que analiza la información suministrada por los propios editores a través de un formulario específicamente diseñado para IBECS, la observación y revisión de los fascículos recibidos y la evaluación y verificación de los aspectos formales y de contenido científico que se lleva a cabo con la colaboración de una red de evaluadores.

Los criterios de calidad de contenidos y la metodología de evaluación han sido establecidos tomando como referencia pautas validadas por el Centro de Información y Documentación Científica (CINDOC) del Consejo Superior de Investigaciones Científicas (CSIC), así como procedimientos internacionales de evaluación utilizados por BIREME/OPS/OMS, que aportan información en términos cuantitativos sobre calidad editorial de la publicación, nivel de difusión y relevancia de los contenidos científicos.

La ficha de evaluación, desarrollada conforme a la norma UNE 50-101-90, tiene en cuenta criterios de presentación, científicos y de difusión, evaluando 33 parámetros normativos que son debidamente chequeados y revisados por los evaluadores.

En cuanto a las características de presentación de la revista, el formulario de evaluación de IBECS incluye once elementos que representan diversos aspectos formales susceptibles de normalización, tales como la presentación y el de la revista, su identificación, membrete bibliográfico, presencia de índices o sumarios, indicación de la editorial o empresa distribuidora, ser registrada en el ISSN, etc.

Para la evaluación del merito científico de las revistas se tienen en cuenta distintos aspectos que permiten valorar de forma objetiva el contenido de las mismas. En este apartado se valoran la composición del comité o consejo de redacción de la revista, las normas de publicación y su conformidad con las normas de Vancouver, la información que proporciona la publicación y proporción o porcentaje de los contenidos científicos o técnicos originales frente a otro tipo de materiales y su apertura a los investigadores.

La revista debe tener un consejo editorial reconocidamente idóneo, la composición de dicho consejo ha de ser pública y sus integrantes especialistas con experiencia reconocida en el área. Además, será recomendable que la revista indique la ciudad o país al que pertenecen los miembros del consejo editorial.

Igualmente se tiene en cuenta en este proceso de evaluación, el hecho de que la revista especifique, o no, la(s) norma(s) seguida(s) para la presentación y estructuración de los textos y para la presentación de las citas bibliográficas, de modo que sea posible evaluar la obediencia a la(s) norma(s) indicada(s). Debe, por tanto, incluir unas instrucciones claras a los autores, que reflejen en lo posible los criterios de selección de los trabajos, de identificación de los autores, de elaboración de resúmenes y selección de descriptores o palabras clave.

Los criterios de difusión valoran la visibilidad y presencia de la publicación a nivel nacional e internacional en los cauces de difusión de la información científica habituales. Para ello se utilizan indicadores tales como la presencia de la revista en bases de datos nacionales e internacionales, publicación de la revista en Internet, presencia de resúmenes y palabras clave en inglés, así como la publicación de artículos de autores extranjeros.

En definitiva, para que una publicación se considere susceptible de formar parte del contenido de IBECS, además de los requisitos de obligado cumplimiento – presencia de resúmenes en español en, al menos, el 80% de los trabajos y existencia de normas de publicación a los autores – debe obtener una puntuación mínima de 27.