Journal Information
Vol. 56. Issue 5.
Pages 298-305 (May 2020)
Visits
6013
Vol. 56. Issue 5.
Pages 298-305 (May 2020)
Original
Open Access
Análisis de las métricas alternativas de Archivos de Bronconeumología durante el periodo 2014-2018
Altmetrics Analysis of Archivos de Bronconeumología From 2014 to 2018
Visits
6013
Daniel López-Padillaa,
Corresponding author
lopez.padilla84@gmail.com

Autor para correspondencia.
, Francisco García-Ríob, Adolfo Alonso-Arroyoc, Marta Pérez Gallánd, Luis Puente Maestúe, Gonzalo Segrelles-Calvof, José Ignacio de Granda-Oriveg
a Servicio de Neumología, Hospital General Universitario Gregorio Marañón, Facultad de Medicina, Programa de Doctorado en Medicina y Cirugía, Universidad Autónoma de Madrid, Madrid, España
b Servicio de Neumología, Hospital Universitario La Paz-IdiPaz, Centro de Investigación Biomédica en Red de Enfermedades Respiratorias (CIBERES), Instituto de Salud Carlos III, Universidad Autónoma de Madrid, Madrid, España
c Departamento de Historia de la Ciencia y Documentación, Universidad de Valencia, Valencia, España
d Servicio de Neumología, Hospital Virgen de la Salud, Toledo, España
e Servicio de Neumología, Hospital General Universitario Gregorio Marañón, Universidad Complutense de Madrid, Madrid, España
f Servicio de Neumología, Hospital Universitario Rey Juan Carlos, Madrid, España
g Servicio de Neumología, Hospital Universitario 12 de Octubre, Universidad Complutense de Madrid, Madrid, España
This item has received

Under a Creative Commons license
Article information
Abstract
Full Text
Bibliography
Download PDF
Statistics
Figures (4)
Show moreShow less
Tables (6)
Tabla 1. Distribución de las publicaciones por área de trabajo SEPAR y por tipología documental
Tabla 2. Impacto mediático por las categorías de PlumX Metrics y Altmetrics según la especialidad involucrada, financiación o número de instituciones participantes
Tabla 3. Impacto mediático según las categorías de PlumX Metrics por las áreas de trabajo SEPAR
Tabla 4. Impacto mediático según Altmetric por las áreas de trabajo SEPAR
Tabla 5. Impacto mediático por las categorías de PlumX Metrics y Altmetric según la tipología documental incluida en el estudio
Tabla 6. Impacto mediático de las visitas a la página web de Archivos de Bronconeumología según la especialidad firmante, financiación, número de instituciones y tipología documental
Show moreShow less
Additional material (1)
Resumen
Introducción

Las métricas alternativas o altmetrics son todas aquellas mediciones de la producción científica diferentes a los indicadores clásicos y recogen su influencia mediática en redes sociales y canales de difusión similares. El objetivo del estudio fue analizar el impacto mediático de Archivos de Bronconeumología en 2 agregadores de altmetrics y de las visitas a su página web.

Métodos

Estudio observacional de los artículos originales, de revisión y de consenso de Archivos de Bronconeumología durante el periodo 2014-2018. Se analizaron los agregadores PlumX Metrics y Altmetric, y las visitas a la página web de Archivos de Bronconeumología. Se realizaron 5 comparaciones: por especialidad firmante, por financiación recibida, por número de centros participantes, por tipología documental y por área temática. Como subanálisis, se correlacionaron las altmetrics con las citaciones convencionales.

Resultados

Se analizaron 273 publicaciones de las que 186 fueron artículos originales (68,1%). Las publicaciones de Neumología y las de revisión y consenso obtuvieron mayor impacto mediático en los 2 agregadores analizados, así como en las visitas a la página web. El score medio de atención de Altmetric fue de 1,9±4,4 (rango 0-59), por encima del promedio para la antigüedad de la publicación. Se documentó una correlación estadísticamente significativa débil a moderada entre las altmetrics y las citaciones clásicas.

Conclusiones

Las publicaciones de revisión, de consenso y las de Neumología tuvieron mayor impacto mediático. El score medio de atención de Altmetric fue superior al promedio en función de la antigüedad de las publicaciones. Se objetivó una correlación débil a moderada de las altmetrics con las citaciones convencionales.

Palabras clave:
Redes sociales
Altmetrics
Factor de impacto
Abstract
Introduction

Alternative metrics or altmetrics are non-traditional measurements of scientific production that reflect a publication's influence in social networks and similar channels of dissemination. The aim of this study was to analyze the media impact of Archivos de Bronconeumología according to 2 altmetric aggregators and website visits.

Methods

This was an observational study of the original articles and review and consensus articles published in Archivos de Bronconeumología during the period 2014-2018. Data from the PlumX Metrics and Altmetric aggregators and visits to the Archivos de Bronconeumología website were analyzed. Five comparisons were made: by specialty area, by funding received, by number of participating centers, by document type, and by topic. In a subanalysis, altmetrics were correlated with the conventional citation system.

Results

We analyzed 273 papers, of which 186 were original articles (68.1%). The papers that achieved greater media impact in the 2 aggregators analyzed, and in terms of website visits, were pulmonology papers and review and consensus articles. The mean Altmetric Attention Score was 1.9±4.4 (range 0-59), which is above average for the date of publication of the paper. A statistically significant weak to moderate correlation was identified between altmetrics and conventional citations.

Conclusions

Review articles, consensus documents, and pulmonology papers had a greater media impact. Mean Altmetric Attention Score was higher than the average based on the date of publication. A weak to moderate correlation between altmetrics and conventional citations was identified.

Keywords:
Social networks
Altmetrics
Impact factor
Full Text
Introducción

El término «altmetrics», acuñado en 20101, se refiere a todas aquellas mediciones de la producción científica diferentes a los indicadores bibliométricos clásicos como el factor de impacto (FI). Cuantifica el uso de la Internet y redes sociales dada la imposibilidad de seguir estrechamente el crecimiento exponencial de la producción científica. Desde entonces, han capturado la atención de las revistas científicas de mayor impacto y se pueden observar al lado de sus habituales medios de divulgación. Si bien todavía las altmetrics no son medidores de la calidad de una publicación sino de su atención mediática2, la ventaja que ofrecen es la rapidez con la que se pueden acceder, filtrar y reconocer los artículos que generan interés desde el mismo instante de su publicación, en un vertiginoso ritmo de aproximadamente 2,5 millones de publicaciones por año y que doblan su número cada 9 años, un ritmo humanamente imposible de seguir3.

La revista Archivos de Bronconeumología (AB), órgano difusor de la Sociedad Española de Neumología y Cirugía Torácica (SEPAR) y de la Asociación Latinoamericana de Tórax (ALAT), es la revista de lengua española en el área de respiratorio con mayor impacto a nivel mundial, con un FI de 4,214 y situada en el primer cuartil según la edición 2018 del Journal of Citation Reports (JCR). En consonancia con otras revistas de impacto del área como las de la American Thoracic Society4, AB se ha sumado a registrar sus altmetrics, que se cuantifican con programas específicos conocidos como agregadores. El de AB es PlumX Metrics, creado en 2011, pero existe también Altmetric, otro agregador importante que nació en 2012. El objetivo principal del presente estudio fue realizar un análisis de las altmetrics de AB durante un periodo de 5 años con los agregadores Altmetric y PlumX Metrics, y las visitas a su página web.

MétodosDescripción

Estudio bibliométrico de los altmetrics de AB en el periodo 2014-2018. Se incluyeron artículos originales, artículos especiales, revisiones y documentos de consenso, al tratarse de las publicaciones con una previsible mayor captación de visitas y difusión mediática (fig. 1). La búsqueda se realizó manualmente en PlumX Metrics y Altmetric entre los días 21 y 23 de marzo de 2019, también se documentaron las visitas por registro tanto en idioma español como inglés en la página web de AB. Finalmente, las citas convencionales fueron recogidas el 21 de marzo de 2019 en la base de datos Science Citation Index Expanded (SCI-E) de la Web of Science, propiedad de Clarivate Analytics, que es la base de datos a partir de la cual se calcula el FI de las revistas anualmente en el JCR, mediante la división del total de citas obtenidas en un año determinado entre el número de los artículos publicados en dicha revista en los 2 años previos. Por ejemplo, AB recibió en 2018 un total de 472 citas y publicó en 2016 y 2017 un total de 112 artículos citables, de tal forma que su FI en 2018 es 472/112=4,214. No se llevó a cabo un cálculo del tamaño muestral y se decidió el periodo de estudio descrito porque previo a 2014 las publicaciones de AB tuvieron un escaso impacto mediático posiblemente por el breve periodo de existencia de los agregadores analizados. Previo a la descripción de los ítems es preciso distinguir 2 aspectos bibliométricos fundamentales. El primero es que una cita o citación no es lo mismo que una referencia. Si el trabajo A menciona al trabajo B en su bibliografía, quiere decir que A ha referenciado a B y B ha recibido una cita de A, por lo que no son conceptos intercambiables. Dicho de otra forma, se reciben citas de trabajos posteriores y se referencia a trabajos anteriores. El segundo concepto es que existen varias bases de datos bibliográficas que recopilan las citas que los trabajos científicos reciben. Una de ellas es el SCI-E mencionado anteriormente, y otra es Scopus, propiedad de la editorial Elsevier y que calcula su propio indicador de impacto denominado CiteScore.

Figura 1.

Diagrama de flujo de la selección de tipología documental incluida.

(0.12MB).
Agregadores altmetrics

De PlumX Metrics se documentaron para cada publicación los siguientes ítems:

  • Citaciones (Citacions en inglés): recoge las citas en las bases de datos bibliográficas Scopus y CrossRef, esta última propiedad de Linking Association Inc.

  • Uso (Usage en inglés): incluyen los clicks, descargas, visitas o reproducción de vídeos.

  • Capturas (Captures en inglés): recoge los artículos que el usuario marca como «favorito» o que almacena en motores bibliográficos como Mendeley o CiteULike.

  • Redes sociales (Social Media en inglés): recoge la cantidad de publicaciones en Twitter, Facebook u otras redes similares, que incluyen un enlace al artículo en cuestión.

  • Menciones (Mentions en inglés): recoge las alusiones a una publicación en blogs, Wikipedia, prensa digital o escrita.

De Altmetric se documentaron los siguientes ítems por cada publicación:

  • -

    Mencionado por (Mentioned by en inglés): incluye todas las menciones del artículo en redes sociales como Twitter o Facebook, blogs, prensa digital y escrita, Wikipedia y reproducciones de vídeo, entre otros. En el presente trabajo se diferenciaron las redes Twitter y Facebook por ser las más utilizadas en el caso de las publicaciones de AB.

  • -

    Citas (Citations en inglés): a través del dominio Dimensions recoge las citas de otras revistas publicadas digitalmente.

  • -

    Lectores en (Readers on en inglés): incluye las lecturas en motores bibliográficos como Mendeley o CiteULike.

Con esta información, Altmetric calcula un índice propio de atención, el Altmetric Attention Score (AAS), que es un número entero y no tiene una escala clasificatoria como tal, pero considera el valor de 1 como un impacto promedio para la antigüedad de la publicación y la fuente, y por encima de este valor superior al promedio (tabla 1 del material adicional). Además, en el dominio Dimensions se registran tanto las citas recientes obtenidas en los últimos 2 años como las totales, y se calcula un índice de impacto total en el campo al compararse con publicaciones de la misma antigüedad (Field Citation Ratio en inglés), y un índice relativo que compara la velocidad de obtención de citas frente a otras publicaciones del mismo campo (Relative Citation Ratio en inglés).

Comparaciones

Se realizaron 5 comparaciones: por la primera especialidad firmante de la publicación (Neumología u otras especialidades de acuerdo con los Programas Formativos de Especialidades en Ciencias de la Salud del Ministerio de Sanidad, Consumo y Bienestar Social5); número de instituciones (un centro o multicéntrico); financiación (publicación financiada o no); tipología documental (artículos originales, revisiones, normativas y artículos especiales); y por las áreas de trabajo SEPAR, a manera de áreas temáticas. Dado que el tiempo de publicación de un artículo es un factor importante para la captación de citas porque cuanto más tiempo lleve publicado un registro tiene más probabilidad de que le citen, se calculó la mediana de tiempo para las 5 comparaciones planteadas y se analizaron mediante el estadístico log-rank.

Estadística

La versión 20 del programa Statistical Package for the Social Sciences (SPSS, Chicago, IL, EE. UU.) fue utilizada para el análisis estadístico. Las variables cualitativas son presentadas como números absolutos y porcentajes, las cuantitativas como medias±desviaciones estándar o rangos. La diferencia entre variables dicotómicas se analizó mediante la prueba de Chi-cuadrado. La normalidad de la distribución de las variables cuantitativas fue evaluada mediante la prueba de Kolmogorov-Smirnov. Como las variables no siguieron una distribución normal, se utilizaron los test de la U de Mann-Whitney y Kruskal-Wallis para 2 muestras o más de 2 muestras, respectivamente. Como subanálisis, se llevó a cabo una correlación de Spearman entre el número de visitas y los agregadores con las citaciones convencionales. A efectos de la representación gráfica se realizó una transformación logarítmica de las altmetrics por su considerable variabilidad. Se estableció la significación estadística en una p<0,05.

Resultados

Se incluyeron 273 documentos entre los años 2014-2018: 186 artículos originales (68,1%), 41 revisiones (15%), 26 artículos especiales (9,5%) y 20 normativas (7,3%). De tal forma que los artículos de revisión (normativas, revisiones y artículos especiales) representaron el 32% del total con 87 registros. El área de EPOC fue la que más documentos aportó con 52 registros (19%), seguida del área de Tuberculosis e infecciones respiratorias con 39 (14,3%) y la de Trastornos respiratorios del sueño-Ventilación mecánica-Cuidados respiratorios críticos con 36 (13,2%). En la tabla 1 se presenta la contribución del resto de las áreas, en función de la tipología documental. Neumología fue la primera especialidad firmante en 175 trabajos (64,1%) y se registraron 22 especialidades del Sistema Sanitario Español en el resto de los trabajos. Se financiaron 70 publicaciones (25,6%), y en 226 documentos participó más de una institución (82,8%). La mediana de todos los registros del tiempo de publicación fue de 50,9 meses (rango intercuartílico 47,2-54,5) y no se encontraron diferencias significativas en ninguna de las 5 comparaciones estudiadas.

Tabla 1.

Distribución de las publicaciones por área de trabajo SEPAR y por tipología documental

Área de trabajo SEPAR  Número de registros  Artículos originales  Revisiones  Artículos especiales  Normativas 
EPOC  52 (19)  38 (20,4)  6 (14,6)  4 (15,4)  4 (20) 
TIR  39 (14,3)  25 (13,4)  7 (17,1)  3 (11,6)  4 (20) 
TRS-VM-CRC  36 (13,2)  23 (12,4)  7 (17,1)  5 (19,2)  1 (5) 
Técnicas y trasplante pulmonar  30 (11)  21 (11,3)  8 (19,5)  1 (5) 
Oncología torácica  23 (8,4)  16 (8,6)  3 (7,3)  1 (3,8)  3 (15) 
Asma  20 (7,3)  16 (8,6)  1 (2,4)  2 (7,7)  1 (5) 
Cirugía torácica  14 (5,1)  14 (7,5) 
EPID  10 (3,7)  7 (3,8)  2 (4,9)  1 (5) 
Circulación pulmonar  9 (3,3)  8 (4,3)  1 (3,8) 
Neumología pediátrica  7 (2,6)  4 (2,2)  3 (7,3) 
EROM  6 (2,2)  3 (1,6)  1 (3,8)  2 (10) 
Tabaquismo  6 (2,2)  2 (1,1)  3 (11,6)  1 (5) 
Fisioterapia respiratoria  5 (1,8)  4 (2,2)  1 (5) 
Enfermería respiratoria 
Otras  16 (5,9)  5 (2,6)  4 (9,8)  6 (23,1)  1 (5) 
Total  273 (100)  186 (100)  41 (100)  26 (100)  20 (100) 

EPID: enfermedades pulmonares intersticiales difusas; EPOC: enfermedad pulmonar obstructiva crónica; EROM: enfermedades respiratorias de origen ocupacional y medioambiental; SEPAR: Sociedad Española de Neumología y Cirugía Torácica; TIR: Tuberculosis e infecciones respiratorias; TRS-VM-CRC: Trastornos respiratorios del sueño-Ventilación mecánica-Cuidados respiratorios críticos.

Los resultados de presentan como número de casos (porcentaje). Chi cuadrado=69,09; p=0,02.

Las publicaciones cuya primera especialidad firmante fue Neumología recibieron más atención mediática en la mayor parte de las categorías de PlumX Metrics y Altmetric y, por otra parte, en PlumX Metrics los trabajos multicéntricos recibieron mayor atención con más capturas (16,4±25,8), y más visitas en redes sociales (24,4±62,1) (tabla 2). En la tabla 3 se presenta el impacto mediático de PlumX Metrics por área SEPAR, donde la de Tabaquismo recibió más menciones (1,5±3,7) y la de Fisioterapia más usos (234±159,5) (fig. 2). En la tabla 4 destaca que la tasa de citación relativa de Altmetric fue mayor para el área de EPOC (2,2±5,8).

Tabla 2.

Impacto mediático por las categorías de PlumX Metrics y Altmetrics según la especialidad involucrada, financiación o número de instituciones participantes

  NeumologíaN=175  OtrasN=98  Valor de p  FinanciadaN=70  No financiadaN=203  Valor de p  Un centroN=47  MulticéntricoN=226  Valor de p 
PlumX Metrics
Citaciones  6,1 (10,9)  3,8 (7,5)  0,02  3,3 (3,1)  6,4 (11,4)  0,11  4,8 (8,7)  5,4 (10,1)  0,57 
Usos  127,9 (115,8)  100,0 (95,7)  0,05  99,9 (68,5)  132,7 (119,1)  0,21  94,1 (65,6)  122,8 (116,2)  0,32 
Capturas  16,5 (22,6)  13,5 (27,7)  0,04  12,6 (14,8)  17,0 (27,8)  0,89  10,9 (16,7)  16,4 (25,8)  0,04 
Redes sociales  26,5 (63,2)  10,5 (42,6)  0,001  7,8 (14,7)  24,7 (63,9)  0,60  3,2 (4,7)  24,4 (62,1)  0,001 
Menciones  0,1 (0,7)  0,1 (0,5)  0,72  0 (0)  0,1 (0,8)  0,11  0,1 (0,2)  0,1 (0,7)  0,82 
Altmetric
Tweets  2,7 (6,8)  1,5 (2,5)  0,07  1,6 (2,2)  2,5 (6,6)  0,24  1,5 (1,4)  2,4 (6,2)  0,81 
Mendeley  9,8 (16,6)  7,9 (12,1)  0,21  6,2 (7,3)  10,5 (17,3)  0,43  6,3 (9,1)  9,6 (16,1)  0,58 
Facebook  0,2 (0,5)  0,1 (0,3)  0,11  0,2 (0,6)  0,1 (0,4)  0,24  0,1 (0,1)  0,2 (0,5)  0,13 
Score de atención  2,2 (5,3)  1,3 (2,1)  0,039  1,7 (3,0)  2,0 (4,9)  0,59  1,2 (1,1)  2,1 (4,8)  0,71 
Dimensiones  7,8 (14,5)  4,3 (7,5)  0,007  4,3 (4,7)  7,8 (14,4)  0,06  5,6 (9,0)  6,8 (13,1)  0,60 
Tasa de citación en el campo  2,8 (7,7)  1,1 (1,4)  0,004  1,3 (1,4)  2,6 (7,2)  0,19  1,5 (2,1)  2,4 (6,9)  0,51 
Tasa de citación relativa  1,1 (3,2)  0,5 (0,7)  0,011  0,6 (0,6)  1,1(3,1)  0,67  0,6 (0,1)  1,0 (2,9)  0,29 

Los resultados se expresan como medias (desviación estándar) por registro.

En negrita se muestran los valores de p con significancia estadística (es decir, los menores de 0,05).

Tabla 3.

Impacto mediático según las categorías de PlumX Metrics por las áreas de trabajo SEPAR

Área de trabajo SEPAR  Citaciones  Usos  Capturas  Redes sociales  Menciones 
EPOC  9,7 (17,6)  152,5 (128,1)  17,9 (29,7)  18,7 (31,6)  0,1 (0,1) 
TIR  4,8 (5,2)  113,6 (102,6)  22,2 (42,1)  23,8 (43,8)  0,2 (0,8) 
TRS-VM-CRC  4,0 (4,7)  134,1 (79,2)  12,9 (14,9)  19,6 (69,8)  0 (0) 
Técnicas y trasplante pulmonar  7,3 (13,7)  77,5 (88,5)  14,5 (22,9)  14,5 (48,9)  0 (0)) 
Oncología torácica  3,7 (4,3)  98,4 (96,4)  15,4 (19,6)  5,9 (9,6)  0 (0) 
Asma  3,9 (3,9)  112,8 (97,1)  13,1 (12,8)  17,6 (36,8)  0 (0) 
Cirugía torácica  1,6 (1,4)  79,4 (38,4)  4,4 (3,8)  3,0 (3,1)  0 (0) 
EPID  3,1 (2,8)  72,3 (58,2)  12,4 (8,7)  38,2 (93,5)  0 (0) 
Circulación pulmonar  3,6 (3,6)  41,1 (28,1)  11,4 (12,4)  37,6 (88,9)  0,1 (0,3) 
Neumología pediátrica  5,2 (7,4)  135,0 (65,3)  20,2 (26,1)  4,0 (2,9)  0,2 (0,4) 
EROM  3,5 (4,7)  106,0 (61,3)  11,2 (11,9)  11,2 (11,5)  0 (0) 
Tabaquismo  2,8 (3,2)  99,8 (67,1)  17,7 (10,4)  117,3 (214,3)  1,5 (3,7) 
Fisioterapia respiratoria  3,6 (4,0)  234,0 (159,5)  17,2 (12,9)  19,6 (39,9)  0,2 (0,4) 
Otras  2,9 (2,6)  163,3 (204,5)  12,7 (15,4)  24,5 (38,6)  0 (0) 
Valor de p  0,518  0,002  0,395  0,156  0,039 

EPID: enfermedades pulmonares intersticiales difusas; EPOC: enfermedad pulmonar obstructiva crónica; EROM: enfermedades respiratorias de origen ocupacional y medioambiental; SEPAR: Sociedad Española de Neumología y Cirugía Torácica; TIR: Tuberculosis e infecciones respiratorias; TRS-VM-CRC: Trastornos respiratorios del sueño-Ventilación mecánica-Cuidados respiratorios críticos.

Los resultados se expresan como medias (desviación estándar) por registro.

En negrita se muestran los valores de p con significancia estadística (es decir, los menores de 0,05).

Figura 2.

Distribución de los usos por registro según áreas SEPAR en la plataforma PlumX Metrics. EPID: enfermedades pulmonares intersticiales difusas; EPOC: enfermedad pulmonar obstructiva crónica; EROM: enfermedades respiratorias de origen ocupacional y medioambiental; SEPAR: Sociedad Española de Neumología y Cirugía Torácica; TIR: Tuberculosis e infecciones respiratorias; TRS: Trastornos respiratorios del sueño.

(0.12MB).
Tabla 4.

Impacto mediático según Altmetric por las áreas de trabajo SEPAR

Área de trabajo SEPAR  Score de atención  Dimensiones  Tasa de citación en el campo  Tasa de citación relativa 
EPOC  3,6 (8,8)  12,7 (23,6)  5,4 (13,5)  2,2 (5,8) 
TIR  1,6 (2,6)  5,2 (5,0)  1,5 (1,9)  0,6 (0,7) 
TRS-VM-CRC  1,3 (1,4)  4,6 (5,9)  1,2 (1,4)  0,5 (0,6) 
Técnicas y trasplante pulmonar  0,9 (0,9)  9,1 (14,4)  2,3 (2,9)  0,9 (1,1) 
Oncología torácica  1,2 (0,9)  5,7 (6,4)  1,4 (1,6)  0,6 (0,5) 
Asma  2,4 (4,7)  4,4 (6,5)  1,8 (3,6)  0,6 (0,8) 
Cirugía torácica  0,8 (0,7)  2,2 (2,1)  0,7 (0,6)  0,3 (0,3) 
EPID  1,9 (2,3)  4,4 (4,2)  1,8 (2,2)  0,3 (0,3) 
Circulación pulmonar  1,1 (1,2)  3,9 (3,5)  0,9 (0,8)  0,3 (0,3) 
Neumología pediátrica  2,4 (1,9)  4,4 (4,6)  1,1 (1,3)  0,5 (0,6) 
EROM  1 (0,6)  5,0 (6,3)  1,4 (1,6)  0,4 (0,6) 
Tabaquismo  3,2 (4,0)  3,7 (2,8)  1,3 (0,6)  0,4 (0,2) 
Fisioterapia respiratoria  0,6 (0,5)  5,2 (5,5)  1,5 (1,2)  0,8 (0,9) 
Otras  1,7 (2,6)  2,7 (2,1)  0,9 (1,1)  0,4 (0,6) 
Valor de p  0,74  0,13  0,06  0,02 

EPID: enfermedades pulmonares intersticiales difusas; EPOC: enfermedad pulmonar obstructiva crónica; EROM: enfermedades respiratorias de origen ocupacional y medioambiental; SEPAR: Sociedad Española de Neumología y Cirugía Torácica; TIR: Tuberculosis e infecciones respiratorias; TRS-VM-CRC: Trastornos respiratorios del sueño-Ventilación mecánica-Cuidados respiratorios críticos.

Los resultados se expresan como medias (desviación estándar) por registro.

En negrita se muestran los valores de p con significancia estadística (es decir, los menores de 0,05).

Según la tipología documental, las normativas recibieron más atención mediática en casi todas las categorías analizadas (tabla 5). Respecto a la página web, las publicaciones con Neumología como primera especialidad firmante, sin financiación, y de tipología revisiones o normativas, recibieron más visitas (tabla 6). La participación de uno o varios centros no influyó en la cantidad de visitas, y no se encontraron diferencias por Área SEPAR independientemente del idioma de visita (tabla 2 del material adicional).

Tabla 5.

Impacto mediático por las categorías de PlumX Metrics y Altmetric según la tipología documental incluida en el estudio

  Revisiones N=41  Artículos originales N=186  Artículos especiales N=26  Normativas N=20  Valor de p 
PlumX Metrics
Citaciones  4,5 (3,5)  4,1 (7,3)  4,5 (6,7)  23,8 (5,3)  0,001 
Usos  154,8 (126,4)  93,3 (71,6)  159,8 (162,9)  201,5 (177,7)  0,001 
Capturas  20,6 (22,7)  12,4 (21,5)  16,5 (22,3)  29,8 (43,5)  0,046 
Redes sociales  15,3 (25,9)  11,2 (39,2)  60,1 (122,8)  65,4 (71,4)  0,001 
Menciones  0,1 (0,2)  0,1 (0,1)  0,6 (2,1)  0,1 (0,2)  0,012 
Altmetric
Tweets  2,7 (3,0)  1,5 (2,5)  3,0 (4,3)  6,9 (17,5)  0,002 
Mendeley  17,4 (19,9)  5,3 (7,3)  8,5 (6,3)  25,0 (34,4)  0,001 
Facebook  0,1 (0,3)  0,1 (0,4)  0,4 (0,6)  0,4 (0,8)  0,01 
Score de atención  1,9 (2,0)  1,3 (2,1)  3,4 (4,9)  5,1 (12,9)  0,002 
Dimensiones  5,6 (3,9)  4,9 (7,8)  6,4 (9,4)  22,2 (33,6)  0,001 
Tasa de citación en el campo  1,6 (1,3)  1,4 (1,9)  2,4 (3,9)  11,1 (20,9)  0,001 
Tasa de citación relativa  0,7 (1,1)  0,6 (0,8)  0,7 (1,1)  4,3 (9,1)  0,006 

Los resultados se expresan como medias (desviación estándar) por registro.

En negrita se muestran los valores de p con significancia estadística (es decir, los menores de 0,05).

Tabla 6.

Impacto mediático de las visitas a la página web de Archivos de Bronconeumología según la especialidad firmante, financiación, número de instituciones y tipología documental

Categorías  Visitas en español  Visitas en inglés 
Especialidad
Neumología (N=175)  11548,2 (29290,1)  2614,1 (2917,1) 
Otras especialidades (N=98)  7974,5 (16124,5)  2415,7 (2344,3) 
Valor de p  0,031  0,358 
Financiación
Financiada (N=70)  3268,3 (1714,7)  1539,2 (751,9) 
No financiada (N=203)  12557,9 (28860,9)  2890,3 (3053,3) 
Valor de p  0,001  0,0001 
Número de instituciones
Un centro (N=47)  7987,4 (10026,1)  2771,2 (2904,2) 
Multicéntrico (N=226)  10728,6 (27489,6)  2494,8 (2686,5) 
Valor de p  0,349  0,533 
Tipología documental
Revisiones (N=41)  23090,1 (29390,7)  5112,4 (3429,7) 
Artículos originales (N=186)  4095,4 (3967,9)  1756,6 (1256,9) 
Artículos especiales (N=26)  7301,6 (6623,9)  2101,1 (1059,4) 
Normativas (N=20)  40469,8 (70212,4)  5117,8 (6050,9) 
Valor de p  0,0001  0,0001 

Los resultados se expresan como medias (desviación estándar) por registro.

En negrita se muestran los valores de p con significancia estadística (es decir, los menores de 0,05).

El AAS medio de todas las publicaciones fue de 1,9±4,4 (rango 0-59). Un total de 77 publicaciones (28,2%) tuvieron un score de 0 y el valor más repetido fue de 1, documentado en 97 trabajos (35,5%). El área SEPAR con el mayor AAS fue la de EPOC con 3,6±8,8 y el AAS más bajo fue para el área de Fisioterapia respiratoria con 0,6±0,5, sin diferencia estadísticamente significativa entre todas las áreas (p=0,74). Por especialidad, los trabajos de Neumología documentaron un AAS mayor estadísticamente significativo con 2,2±5,3 frente a otras especialidades con 1,3±2,1 (p=0,04). Las publicaciones financiadas tuvieron un AAS de 1,7±3,0 y aquellas sin financiación 1,9±4,9 (p=0,59), y los artículos multicéntricos presentaron un score con 2,1±4,8 en comparación a los de un centro con 1,2±1,1 (p=0,71). Finalmente, por tipología documental, las normativas recibieron el mayor AAS con 5,1±12,9 y los artículos originales 1,3±2,1 (p=0,002).

Subanálisis de citaciones SCI-E

Se determinó una correlación moderada estadísticamente significativa entre las citaciones del SCI-E y las visitas a la página web de AB con un coeficiente de Spearman de 0,598 (IC95%: 0,497-0,678; p=0,01) (fig. 3). En el resto de los dominios se observó una correlación significativa muy débil con el AAS (ρ=0,157; IC95%: 0,005-0,306; p=0,036), débil con las capturas de PlumX Metrics (ρ=0,239; IC95%: 0,118-0,358; p=0,0001), moderada con los usos de PlumX Metrics (ρ=0,420;IC95%: 0,304-0,533; p=0,0001) y muy fuerte con las citaciones de PlumX Metrics (ρ=0,832; IC95% 0,778-0,874; p=0,0001). Las redes sociales en PlumX Metrics no se correlacionaron de forma significativa (ρ=−0,015; IC95%: −0,157-0,123; p=0,815).

Figura 3.

Correlación de las citaciones obtenidas por el Science Citation Index Expanded con las visitas por registro a la página web de Archivos de Bronconeumología expresadas por su transformación logarítmica.

(0.08MB).
Discusión

El hallazgo más relevante de nuestro estudio fue que el AAS documentado fue superior al promedio según la antigüedad de la publicación, aunque aproximadamente un cuarto de sus publicaciones no generó impacto mediático. También que, en términos generales, las publicaciones firmadas por Neumología como primera especialidad y por tipología documental las normativas, revisiones y artículos especiales, recibieron mayor atención mediática en los agregadores analizados y las visitas a la página web de AB.

Lo anteriormente descrito puede obedecer a una mayor probabilidad de obtener impacto mediático y convencional por la mayor cuantía de trabajos publicados. En el caso de Neumología, es la especialidad que históricamente más publica en AB con porcentajes superiores al 60% de todos los trabajos6. Aunque en los estudios bibliométricos la variable del tiempo de publicación es un factor de suma importancia para ponderar el verdadero impacto de un artículo en la comunidad científica y en una disciplina determinada7,8, en nuestro estudio no encontramos diferencias significativas posiblemente por el periodo relativamente breve de seguimiento. Por otra parte, en nuestro estudio los artículos de revisión y consenso captaron más atención mediática que los originales de acuerdo con autores previos, aunque no se trate de contenido original y posiblemente estén sobrerrepresentados en este tipo de análisis9,10. Respecto al 32% que aportó este tipo de artículos en nuestro estudio, este porcentaje es similar al de otros análisis bibliométricos recientes sobre los artículos históricamente más citados de disciplinas y temas biomédicos como la Dermatología (25%)11, la leucoplasia oral (37%)12 o el accidente cerebrovascular (36%)13.

Los trabajos multicéntricos presentaron mayor atención mediática en los usos y redes sociales de PlumX Metrics y en el uso de Facebook de Altmetric. En un análisis sobre los 101 artículos con mayor impacto mediático sobre neurointervención se observó que los trabajos con más disciplinas y centros tenían mayores puntuaciones de Altmetrics14. Si bien la multicentricidad no indica necesariamente multidisciplinariedad, contar con más centros y sus propios medios divulgativos podría explicar este mayor impacto. Finalmente, el área de EPOC presentó una asa de citación relativa de Altmetric más elevada. Dicho esto, cabe mencionar que la actualización de la guía GesEPOC de 201715 probablemente sea la responsable de su impacto con un AAS de 59, casi triplicando la segunda publicación con el mayor AAS, que fue de 21 y que se correspondió al área de asma.

Otro hallazgo importante fue el comportamiento distinto de las altmetrics comparados con los convencionales. A excepción de las citaciones de PlumX Metrics, la correlación con el resto de los dominios osciló entre muy débil a moderada. Una correlación débil también se documentó en los 200 artículos más citados de medicina de Urgencias (0,31)16, y moderada en los 100 trabajos más citados en Enfermería (0,438)17. Esto puede implicar que se consulta, pero no se publica y la citación se reduce. Las citaciones documentadas por PlumX Metrics merecen especial atención dado que presentaron una esperable correlación muy fuerte con las convencionales al perseguir objetivos comunes, pero las primeras incluyen revistas sin FI, y es por ello que la correlación no es mayor a la registrada de 0,832. El hecho de que estas métricas no se hayan correlacionado más con las convencionales no quiere decir que no tengan suficiente impacto. Por un lado, el FI no es el indicador bibliométrico perfecto, y por otro lado, es posible que todavía no sepamos cómo analizar el verdadero efecto de las altmetrics en la comunidad científica y en el público en general. En todo caso, su crecimiento en los últimos años ha sido exponencial y su potencial es casi ilimitado, por lo que deben ser objeto de análisis para evitar ponderaciones equívocas en detrimento de la calidad de la producción científica, y así ser agentes de cambio como comunicadores científicos responsables.

Altmetric, a manera de un JCR, publicó el listado de los 100 artículos con mayor impacto mediático de 2018, y el espectro es tan variopinto que oscila entre problemas actuales como el cambio climático o las diferencias de género, y que las copas de vino en Inglaterra han doblado su tamaño en los últimos 300 años18, prueba fehaciente de la complejidad tanto de la producción como del consumo científico. Una de estas publicaciones precisamente habla sobre el interés de los científicos en divulgar los resultados de sus investigaciones a través de Twitter, y se vio cómo a partir de los 1.000 «followers», el receptor de esa información no necesariamente se trata de una persona con formación científica extensa, por lo que el alcance de dicho acceso por una parte puede ser emocionante, pero a la vez preocupante19. Por lo tanto, los investigadores tienen la responsabilidad del impacto social que ahora se puede obtener con los resultados de sus publicaciones y la difusión exponencial que ofrecen las redes sociales20, y debe incluirse en sus estrategias de diseminación y comunicación el objetivo de compartir el impacto social de sus resultados con la publicación de evidencia cualitativa y cuantitativamente correcta21.

El potencial de la divulgación inmediata a través de los medios y redes sociales es innegable, y trabajos previos han explorado la sostenibilidad del proceso sin ser la primera opción de consulta de facto22. Desde el punto de vista numérico, trátese de visitas a una página web o de consultas en general a través de motores de búsqueda, la diferencia con las citaciones convencionales es abismal y el crecimiento de estas últimas es considerablemente más lento23. Está claro que las revistas de mayor impacto atienden cada vez más a estos indicadores e invierten en sus páginas web un espacio considerable para ellos, pero medios como las revistas «Open Access» pueden ser responsables de un mayor número de consultas o lecturas, y en este último caso no se garantiza que se accede al contenido científico de mayor calidad. AB no es una revista Open Access, y ya se ha documentado que dichas revistas tienen un mayor impacto mediático por la obvia razón de estar disponibles para cualquier usuario de Internet, incluso no siendo personal sanitario16,17. En todo caso, como científicos estamos obligados a contrastar y abordar con sentido crítico la cantidad ingente de información a la que nos vemos expuestos, en una era en que las «fake news» y la posverdad llegan a la población general, donde desafortunadamente las ciencias médicas no son la excepción24.

Se ha propuesto que las altmetrics no deberían ser utilizadas porque son más manipulables que las métricas convencionales y pueden depender de estrategias de las revistas por publicitar sus artículos en las redes sociales25, y no están exentas de circunstancias habituales en las citaciones clásicas como la autocitación26. AB publicó un Tweet de cada artículo entre 2014 y 2016 que ha contado para los agregadores del presente estudio, aunque actualmente se publica un Tweet por número y no por cada publicación. No creemos ni esperamos que este escenario sea habitual en las revistas científicas, no obstante, en un estudio reciente de las altmetrics en Microbiología se identificó que más de la mitad de las cuentas de Twitter que divulgan publicaciones en el campo eran «bots», programas informáticos que efectúan automáticamente tareas repetitivas a través de internet27. Como ya se ha mencionado anteriormente, el ser humano es complejo como productor y consumidor científico, pero en el caso de las redes sociales, también como divulgador. En un análisis logarítmico reciente sobre Twitter se comprobó que solo se hace una lectura efectiva del 41% de las publicaciones recomendadas o, dicho de otra manera, 6 de cada 10 sugerencias a nuestros contactos ni siquiera llegamos a leerlas28, dando lugar a que los títulos rimbombantes consigan un alto impacto mediático, aunque con una escasa verificación de su contenido.

Limitaciones

Una limitación importante del presente estudio fue que, hasta donde sabemos, no existe un trabajo similar de otras revistas de aparato respiratorio con el que se puedan comparar nuestros hallazgos. Por otro lado, el vertiginoso ritmo con el que estos indicadores pueden cambiar hace que el presente análisis no sea más que una mera fotografía de lo ocurrido en 3 días, pudiendo no ser representativo de la considerable dinámica con la que se modifican. Las altmetrics no son los únicos indicadores modernos propuestos dado que ahora se toma en consideración la contribución del primer y último autor, el año de la primera publicación del primer autor o solamente aquellas que tienen más de 10 citaciones29, y tienen una limitación inherente al comportamiento del usuario de Internet porque se puede opinar positiva o negativamente de cualquier publicación y esto no es comparable con una citación clásica, que se considera siempre positiva y es habitualmente el indicador de la calidad de una revista o publicación determinada30. Sin embargo, el creciente interés de la comunidad científica por estas métricas es evidente y este estudio puede significar un punto de partida para la evolución de dichos indicadores en AB.

Fortalezas

Aunque se trata de una revista específica, se analizó un espacio de tiempo aceptable y consecuente con el crecimiento de las redes sociales y agregadores, a diferencia de otros trabajos que han seleccionado de forma arbitraria las publicaciones más citadas, y por lo tanto ofrecen una panorámica sesgada al incluirse únicamente sus mejores trabajos, si se considera aceptable que las citaciones recibidas sea el parámetro adecuado para tal efecto. Otra fortaleza es que se ha analizado más de un agregador y se ha incluido las visitas a la página web de la revista, por lo que se da una visión más completa de la situación.

Conclusiones

En nuestro estudio hemos encontrado que los artículos de consenso y los publicados por Neumología como primera especialidad tuvieron el mayor impacto mediático. No podemos concluir que un agregador sea mejor que otro porque presentan algunas diferencias que les hace complementarios, y no consideramos que estas altmetrics sean superiores a las convencionales, aunque probablemente se convertirán en métodos sincrónicos para evaluar el impacto a gran y menor escala de las publicaciones científicas. Destacan porque nos brindan la posibilidad de saber lo que el consumidor de Internet y redes sociales, que somos prácticamente todos en el siglo xxi, quiere y le gusta. Archivos de Bronconeumología no es la excepción, y deberemos estar atentos a este interesante movimiento de la producción científica que ha revolucionado el abordaje clásico de las publicaciones.

Autoría

Daniel López-Padilla participó en la recogida de datos y asume la responsabilidad de la integridad y precisión de su análisis, al igual que contribuyó con el diseño del estudio, interpretación, análisis y redacción del documento final. Marta Pérez-Gallán contribuyó a la recogida de datos, interpretación y redacción del documento final. Luis Puente Maestú y Gonzalo Segrelles-Calvo contribuyeron con la interpretación y redacción del documento final. Francisco García-Río, Adolfo Alonso-Arroyo y José Ignacio de Granda-Orive contribuyeron sustancialmente con el diseño del estudio, interpretación, análisis y redacción del documento final.

Conflicto de intereses

Los autores declaran no tener ningún conflicto de intereses.

Bibliografía
[1]
Altmetrics: a manifesto [acceso 20 Jun 2019]. Disponible en: http://altmetrics.org/manifesto/
[2]
D. Crotty.
Altmetrics.
Eur Heart J., 38 (2017), pp. 2647-2648
[3]
H.R. Warren, N. Raison, P. Dasgupta.
The rise of Altmetrics.
JAMA., 317 (2017), pp. 131-132
[4]
ATS Journals. American Thoracic Society [acceso 27 Jul 2019]. Disponible en: https://www.atsjournals.org/
[5]
Programas Formativos de Especialidades en Ciencias de la Salud [acceso 20 Jun 2019]. Disponible en: https://www.mscbs.gob.es/profesionales/formacion/guiaFormacion.html
[6]
J.I. Granda-Orive, F. García-Río, T. Gutiérrez-Jiménez, J. Escobar-Sacristán, J. Riera-Palmero, L. Callol-Sánchez.
Evolution of bibliometric indicators and his websites evaluation approaches in relation to the foremost respiratory journal In Spanish.
Cybermetrics., 8 (2004), pp. 1-18
[7]
Whitepaper using bibliometrics: A guide to evaluating research data with citation data [Internet]. Londres: Thomson Reuters; 2008 [citado 27 Jul 2019] Disponible en: http://ips.clarivate.com/m/pdfs/325133_thomson.pdf
[8]
E. Kulczycki.
Assessing publications through a bibliometric indicator: The case of comprehensive evaluation of scientific units in Poland.
Res Eval., 26 (2017), pp. 41-52
[9]
Y. Gingras.
Bibliometrics and research evaluation: Uses and abuses (History and Foundations of Information Science).
The MIT Press, (2016), pp. 136
[10]
D.W. Aksnes.
Characteristics of highly cited papers.
Res Eval., 12 (2003), pp. 159-170
[11]
M.B.C. Maymone, M. Laughter, N.A. Vashi, J.D. Jones Jr., J. Hugh, C.A. Dunnick, et al.
The most cited articles and authors in Dermatology: A bibliometric analysis from 1974-2019.
J Am Acad Dermatol., (En prensa 2019),
[12]
W. Liu, Y. Zhang, L. Wu, X. Yang, L. Shi.
Characteristics and trends of oral leukoplakia research: A bibliometric study of the 100 most cited articles.
Medicine (Baltimore)., 98 (2019), pp. e16293
[13]
Y. Kim, J.E. Kim, Y.H. Kim, D.Y. Yoon, Y.J. Kim, J.S. Bae.
Social attention and scientific articles on stroke: Altmetric analysis of top-50 articles.
Clin Neurol Neurosurg., 183 (2019), pp. 105386
[14]
H.J. Kim, D.Y. Yoon, E.S. Kim, E.J. Yun, H.J. Jeon, J.Y. Lee, et al.
The most mentioned neurointervention articles in online media: A bibliometric analysis of the top 101 articles with the highest altmetric attention scores.
J Neurointerv Surg., 11 (2019), pp. 528-532
[15]
M. Miravitlles, J.J. Soler-Cataluña, M. Calle, J. Molina, P. Almagro, J.A. Quintano, et al.
Guía española de la enfermedad pulmonar obstructiva crónica (GesEPOC) 2017. Tratamiento farmacológico en fase estable.
Arch Bronconeumol., 53 (2017), pp. 324-335
[16]
D. Barbic, M. Tubman, H. Lam, S. Barbic.
An analysis of Altmetrics in emergency medicine.
Acad Emerg Med., 23 (2016), pp. 251-268
[17]
L.A. Dardas, A. Woodward, J. Scott, H. Xu, F.A. Sawair.
Measuring the social impact of nursing research: An insight into altmetrics.
J Adv Nurs., 75 (2019), pp. 1394-1405
[18]
The 2018 almetric top 100 [acceso 20 Jun 2019]. Disponible en: https://www.altmetric.com/top100/2018/
[19]
I.M. Côté, E.S. Darling.
Scientists on Twitter: Preaching to the choir or singing from the rooftops?.
Facets., 3 (2018), pp. 682-694
[20]
G. Poppy.
Science must prepare for social impact.
Nature., 526 (2015), pp. 7
[21]
C.M. Pulido, G. Redondo-Sama, T. Sordé-Martí, R. Flecha.
Social impact in social media: A new method to evaluate the social impact of research.
PLoS One., 13 (2018), pp. e0203117
[22]
A. Forkosh-Baruch, A. Hershkovitz.
A case study of Israeli higher-education institutes sharing scholarly information with the community via social networks.
Internet High Educ., 15 (2012), pp. 58-68
[23]
K.S. Shekhawat, A. Chauhan.
Altmetrics: A new paradigm for scholarly communication.
Indian J Dent Res., 30 (2019), pp. 125-126
[24]
V. Grech.
Fake news and post-truth pronouncements in general and in early human development.
Early Hum Dev., 115 (2017), pp. 118-120
[25]
A. Fassoulaki, A. Vassi, A. Kardasis, V. Chantziara.
Altmetrics should not be used for ranking of anaesthesia journals.
Br J Anaesth., 121 (2018), pp. 514-516
[26]
Y. Hassona, T. Qutachi, L. Dardas, M.S. Alrashdan, F. Sawair.
The online attention to oral cancer research: An Altmetric analysis.
Oral Dis., 25 (2019), pp. 1502-1510
[27]
N. Robinson-Garcia, W. Arroyo-Machado, D. Torres-Salinas.
Mapping social media attention in Microbiology: Identifying main topics and actors.
FEMS Microbiol Lett., 366 (2019),
[28]
M. Gabielkov, A. Ramachandran, A. Chaintreau, A. Legout.
Social clicks: What and who gets read on Twitter?.
ACM SIGMETRICS., 44 (2016), pp. 179-192
[29]
D.B.T. Robinson, L. Hopkins, C. Brown, T. Abdelrahman, A.G. Powell, R.J. Egan, et al.
Relative value of adapted novel bibliometrics in evaluating surgical academic impact and reach.
World J Surg., 43 (2019), pp. 967-972
[30]
Z. Zahedi, R. Costas.
General discussion of data quality challenges in social media metrics: Extensive comparison of four major altmetric data aggregators.
PLoS One., 13 (2018), pp. e0197326
Archivos de Bronconeumología
Article options
Tools

Are you a health professional able to prescribe or dispense drugs?