Ir al contenido principal

Evaluación de la investigación científica

Nuevas métricas

Concepto

Las nuevas métricas son herramientas que buscan medir el impacto académico y social de la investigación a través de las interacciones en plataformas digitales y redes sociales.

A diferencia de las métricas tradicionales basadas únicamente en citas académicas, estas métricas analizan menciones, descargas, vistas, y otras formas de difusión y uso en entornos en línea, revelando cómo un artículo o conjunto de datos puede influir más allá del ámbito académico, llegando a la sociedad y otras comunidades en tiempo real.

3 eventos de métricas [1]

  • Métricas de redes sociales y medios de comunicación: Estas incluyen interacciones como tweets, menciones en Facebook, publicaciones en blogs, artículos de noticias y actividades en plataformas académicas como ResearchGate.
     

  • Métricas de uso: Se refieren a datos que muestran cuántas veces se ha visto o descargado un artículo, así como los enlaces de salida que genera.
     

  • Métricas de impacto académico: Aquí se cuentan las citas en fuentes como Wikipedia y el número de lectores en herramientas como Mendeley o CiteULike.
     

Es importante no entender estas métricas de manera aislada, ya que cada una mide acciones diferentes. Por eso, es mejor agruparlas en categorías según su relevancia: mención social, uso, e impacto académico, para obtener una visión más completa.

Agregadores de métricas [1]

  • Herramientas creadas para analizar y registrar las menciones de artículos o datos académicos en distintas plataformas sociales, con el fin de reportar las métricas derivadas en eventos.

  • Estas herramientas tienen como propósito ofrecer a los usuarios una variedad de métricas para publicaciones, que incluyen desde las métricas tradicionales como las citas, hasta el registro de menciones en redes sociales.
     
  • Ejemplos de agregadores de estas nuevas métricas incluyen "Altmetric.com" y "PlumX Analytics", que ayudan a obtener una visión más completa del impacto que tiene la investigación en distintos contextos.

Concepto [1]

Altmetric.com es una herramienta lanzada en 2011 con el respaldo de Digital Science, enfocada en medir y analizar el impacto de los productos de investigación en el entorno digital.

A través de su distintivo visual, la Donut Almetric, proporciona el indicador AAS (Almetric Atention Score) uniendo diferentes fuentes de altmetrics con bajos recuentos para luego representar todo en un solo número.

Esta herramienta destaca por rastrear investigaciones mediante identificadores DOI o arXiv y se centra en un contexto editorial sólido, colaborando con importantes editoriales académicas a nivel mundial.

Donut de Almetric.com [2]

La Donut de Almetric.com es un distintivo visual, el cual muestra el cálculo del AAS, que es una puntuación acumulada basada en los eventos métricos recopilados del producto de investigación que se está evaluando.



Fuente: Sixto-Costoya et al. (2019)
 

  • La visualización obtenida permite reconocer cuánta atención ha recibido un trabajo científico y de qué tipo.

  • Cada color en el donut simboliza una plataforma distinta donde se ha mencionado el artículo.

  • Al hacer clic en el donut, se puede acceder a una página de detalles donde se muestran las menciones y referencias originales que contribuyeron al puntaje.
     

Puntuación de atención Almetric.com [3]

“Recuento ponderado y calculado automáticamente de toda la atención que ha recibido un resultado de investigación”
 

  • Volumen: La puntuación de un artículo sube conforme más personas lo mencionan. Sin embargo, Altmetric solo cuenta una mención por fuente por persona, ignorando las adicionales si alguien menciona el artículo varias veces.

  • Fuentes: Las diferentes categorías de menciones tienen distintos valores en la puntuación final. Por ejemplo, un artículo en un periódico suma más que una publicación en un blog, y esta a su vez tiene más peso que un tuit.

  • Autores: Se analiza la frecuencia con la que el autor de una mención discute sobre artículos académicos, si tiene un sesgo hacia una revista o editorial específica, y quiénes son los destinatarios de sus mensajes.

Ejemplos de casos en la Donut [3]



Fuente: Almetric (2024).

Ejemplos de la Donut en Dimensions [4]
 

De ejemplo se tiene al artículo de Sofia Chacaltana-Cortez en el 2016
 



Fuente: Digital Science & Research Solutions (2024).



Fuente: Digital Science & Research Solutions (2024).

Concepto [2]

Herramienta comercial que proporciona datos métricos utilizados por diversas instituciones. Recopila datos de múltiples fuentes y los organiza en 5 categorías, conocidas como PlumX Metrics:
 

  • Uso (vistas y descargas)
     
  • Capturas (inclusión en listas de lectura o marcadores)
     
  • Menciones (en noticias, blogs u otras plataformas)
     
  • Interacciones en redes sociales (interacciones en Twitter, Facebook, etc.) 
     
  • Citas (referencias académicas tradicionales).


En 2017, Plum Analytics se integró con Elsevier. Por esta razón, la base de datos Scopus, que pertenece a Elsevier, ahora incluye PlumX Metrics y proporciona información detallada para cada documento indexado en las 5 categorías mencionadas de métricas. 

Funcionamiento [5]
 

  • PlumX Analytics funciona rastreando y recopilando las huellas digitales que las personas dejan cuando interactúan con investigaciones en línea, como leer, descargar o mencionar un artículo.
     
  • Estas interacciones se convierten en métricas que permiten medir el impacto de cada pieza de investigación, ya sean artículos, capítulos de libros, actas de conferencias, entre otros.
     
  • Estas métricas se organizan en cinco categorías principales conocidas como PlumX Metrics: uso, capturas, menciones, redes sociales y citas.
     
  • Al categorizar de esta manera, PlumX simplifica y da sentido a la gran cantidad de datos recopilados, permitiendo a los investigadores y usuarios analizar y comparar métricas similares.
     

Plum Print [5]

El "Plum Print" es una visualización de datos que se ajusta dinámicamente para mostrar el número relativo de métricas en cada categoría, cada categoría es representada en base a un color.

Colores del Plum Print

  • Verde: Uso
     
  • Morado: Capturas
     
  • Amarillo: Menciones
     
  • Azul: Redes sociales
     
  • Rojo: Citas           


PlumX Metrics

Uso
(verde) 

 		 El uso refleja si las personas están leyendo o interactuando con la investigación de algún modo.

Ejemplos: clics, descargas, vistas, inclusión en fondos de la biblioteca, reproducciones.
                                       
Capturas (morado)
 

Las métricas de captura muestran que alguien tiene la intención de volver a trabajar con la investigación más adelante.

Ejemplos: marcadores, bifurcaciones de código, favoritos, lectores, vigilantes.
Menciones (amarillo)
 		 Las menciones miden actividades como artículos en medios de comunicación o publicaciones de blogs que discuten la investigación.

Ejemplos: entradas de blog, menciones en noticias, comentarios, reseñas, enlaces en Wikipedia.
Redes sociales
(azul)
 		 Las redes sociales sirven para medir el "buzz" y la atención que genera la investigación.

Ejemplos: Gustos, compartidos, Tweets.
Citas
(rojo)
 		 La categoría de citas abarca tanto los índices de citas tradicionales, como los de Scopus, así como nuevas formas de citas que reflejan el impacto social de la investigación, como citas clínicas o políticas.

Ejemplos: índices de citas, citas de patentes, citas clínicas, citas de políticas.

 

Ejemplo en Scopus del Plum Print y de las PlumX Metrics

De ejemplo se tiene al artículo de Sofia Chacaltana-Cortez y otros en el 2024 



Fuente: Elsevier (2024).

En la sección de "Métrica" podemos visualizar las métricas que ofrece PlumX

Fuente: Elsevier (2024).

Haciendo clic en "Ver detalles de Plum X" podremos ver el Plum Print de este artículo



Fuente: Elsevier (2024).