Una aproximación multimetodológica para la clasificación de las revistas de Scimago Journal & Country Rank (SJR)

Resumen

Introducción En el ámbito de las ciencias de la información, la clasificación resulta una actividad esencial para la organización lógica y posterior recuperación de la información de forma eficiente, más aún como consecuencia del crecimiento exponencial experimentado por la literatura científica y académica en la actualidad. Sin embargo, la importancia de la clasificación ha seguido creciendo a raíz del despegue de disciplinas como la bibliometría o la cienciometría y la aplicación de sus productos y/o herramientas en los procedimientos de evaluación de la ciencia y la investigación. Así, la elaboración de indicadores, rankings, o análisis consistentes y fiables, necesitan de una fuente de información exhaustiva y equilibrada. En la actualidad, existen dos fuentes de información científica especialmente reconocidas y prestigiosas en el ámbito de la comunidad científica internacional y especialmente valoradas por los bibliómetras y cienciómetras, como son Web of Science (WoS) y Scopus. Estos servicios específicos de información científica y académica se caracterizan por su amplia cobertura temporal y temática (multidisciplinar) que incluye miles de revistas de todo el mundo. Además de la información bibliográfica (autor, título, fuente...) integran las listas de referencias bibliográficas citadas de cada documento, dando lugar a una extensa red de documentos interconectados que permite calcular el impacto en base a las citas recibidas. Tomando como base la información de Scopus, SCImago Journal & Country Rank (SJR) es una plataforma que incluye indicadores sobre revistas y países que pueden ser utilizados para la elaboración de rankings y la evaluación y el análisis de dominios científicos a diferentes niveles de agregación. Inicialmente, SJR adoptó el sistema de clasificación jerárquico a dos niveles (áreas y categorías) implementado en Scopus. No obstante, sólidos argumentos como: (1) la necesidad de actualizar la clasificación a consecuencia del continuo dinamismo que caracteriza a la investigación y a la ciencia; (2) la falta de concordancia en la asignación temática de ciertas revistas en comparación con otros sistemas similares como el de WoS; (3) el feedback recibido con respecto a la clasificación de las revistas de mano de algunos editores; o, simplemente, (4) la falta de una clasificación bibliométrica aceptada de forma generalizada, propiciaron la puesta en marcha y el desarrollo de esta investigación. Objetivos El objetivo de la investigación es claro, y no es otro que mejorar la clasificación de SJR mediante procedimientos semiautomáticos desde una doble perspectiva: En primer lugar, optimizar y actualizar el sistema de clasificación introduciendo, eliminando o, modificando (mediante fusión, re-etiquetado, etc.) las áreas y categorías temáticas de acuerdo a los cambios sugeridos por el avance y los cambios surgidos en la ciencia y la investigación. En segundo lugar, ajustar la adscripción o asignación de las revistas a lo largo de las categorías temáticas de SJR, permitiendo un refinado y una mejora en la clasificación final de las revistas dentro del sistema. Material y Métodos Para conseguir los objetivos trazados inicialmente, se desarrollaron cuatro propuestas metodológicas basadas en diferentes técnicas estadísticas y de computación que, posteriormente, se presentaron en forma de publicaciones científicas. En cada propuesta se utilizaron los datos de citación referentes al conjunto total de revistas Scopus activas incluidas en la plataforma SJR de acuerdo a la lógica y a las características de cada una de las técnicas empleadas. Las cuatro propuestas pueden resumirse como: 1.- Análisis de referencias bibliográficas como técnica de clasificación de revistas. 2.- Algoritmos de detección de comunidades (clustering) sobre redes basadas en citación de revistas que incluyen: citación directa O co-citación O coupling. 3.- Otros métodos alternativos de clustering (método de Ward) aplicado sobre redes basadas en citación de revistas, que incluyen: citación directa Y co-citación Y coupling. 4.- Evaluación de los resultados de la clasificación mediante técnicas de visualización. Conclusiones Las diferentes propuestas aplicadas mostraron un funcionamiento adecuado y arrojaron resultados apropiados para la mejora de la clasificación de SJR. No obstante, algunas cuestiones importantes necesitan ser señaladas, como por ejemplo: El uso de técnicas y procedimientos completamente automáticos resulta poco factible a la hora de clasificar, por lo que un enfoque pragmático basado en los conocimientos y en la labor intelectual del clasificador resulta necesario. En los tres experimentos de clasificación desarrollados, numerosas revistas quedaron sin clasificar, más que por el funcionamiento de los algoritmos o técnicas en sí mismas, por no cumplir con ciertos criterios o requisitos metodológicos necesarios (umbrales mínimos de citación, tamaño mínimo de clúster, integración de medidas...). En referencia a la validación y contrastación de resultados, las técnicas de análisis y evaluación comparativos llevados a cabo en las diferentes propuestas y, más concretamente, la aplicación de técnicas de visualización en el último experimento, se mostraron como técnicas eficientes para obtener una visión global y genérica de los resultados obtenidos. No obstante, otros métodos más exhaustivos y avanzados, como la evaluación mediante paneles de expertos, o la aplicación de índices estadísticos para la valoración de la bondad de los grupos (Silhoutte, Rand Index, Entropy, etc.) serían necesarios y deseables. Perspectivas Futuras de Investigación A raíz de la ejecución de este trabajo, se presentan interesantes perspectivas de cara al futuro, como por ejemplo, la utilización de nuevas técnicas de clasificación estadísticas (análisis factorial, componentes principales y otros algoritmos de clustering distintos) o el análisis de redes. Otros experimentos futuros prometedores apuntan al uso de nuevas medidas de relación o asociación entre las revistas, por ejemplo, a partir del texto extraído de los documentos (análisis de co-words, frecuencias de aparición de términos, etc.) o el diseño de propuestas híbridas basadas tanto en texto como en medidas derivadas de la citación.