2019-21-3-10

Reporte Original

Deficiencias metodológicas frecuentes en reportes originales de la Gaceta Médica Espirituana

Frequent methodological deficiencies in original reports of the Gaceta Médica Espirituana

 

Elizabeth Manso Fernández1*ORCID: https://orcid.org/0000-0002-7412-3295
Vicente Eloy Fardales Macías1 ORCID: https://orcid.org/0000-0001-7591-653X
Geovanis Alcides Orellana Meneses2 ORCID: https://orcid.org/0000-0001-9159-2272
Mirian Belkis Nápoles Valdés2 ORCID: https://orcid.org/0000-0003-4614-8361
E. Amiris Llano Gil1 ORCID: https://orcid.org/0000-0002-8270-1550
Maikel Bello Castro2

 

1Universidad de Ciencias Médicas de Sancti Spíritus, Cuba.
2Hospital Provincial General Camilo Cienfuegos de Sancti Spíritus, Cuba.

*Autor para la correspondencia. Correo electrónico: ely.ssp@infomed.sld.cu

RESUMEN

Fundamento: La publicación científica constituye uno de los productos de una investigación, cuyos resultados pueden ser reproducidos y validados. En la revista Gaceta Médica Espirituana no existen antecedentes respecto al tema.

Objetivo: Describir la correspondencia de los artículos originales con las recomendaciones para la presentación de estudios observacionales (Strobe).

Metodología: Se realizó un estudio bibliométrico descriptivo donde se evaluaron, utilizando la guía Strobe, 40 artículos originales publicados del 2010 al 2012.

Resultados: En 31 artículos no se explicó el fundamento científico; en 11 se expuso el escenario donde se recogieron los datos; 35 no definieron todas las variables y 12 tenían más del 50 % de sus referencias desactualizadas.

Conclusiones: Un número importante de artículos no cumple con algunas de las recomendaciones del Strobe, lo que puede afectar su credibilidad y rigor científico.

DeCS: BIBLIOMETRÍA; INDICADORES DE PRODUCCIÓN CIENTÍFICA; REVISTAS ELECTRÓNICAS; ARTÍCULO DE REVISTA.
Palabras clave: Bibliometría; indicadores de producción científica; Strobe; revistas electrónicas; artículo de revista.

ABSTRACT

Background: the scientific publication is one of the products of an investigation whose results can be reproduced and validated. In the journal medical gazette from Sancti Spiritus, there is no antecedents about this subject.

Objective: to describe the correspondence of the original articles with the recommendations for the presentation of observational studies (Strobe).

Methodology: a descriptive bibliometric study was carried out where 40 original articles published from 2010 to 2012 were evaluated using the Strobe guidelines.

Results: the scientific basis was not explained in 31 articles; in 11 the scenario where the data was collected was exposed; 35 did not define all the variables and 12 had more than 50% of their outdated references.

Conclusion: A significant number of articles do not comply with some of the Strobe recommendations, which may affect its credibility and scientific strictness.

MeSH: BIBLIOMETRICS; SCIENTIFIC PUBLICATION INDICATORS; ELECTRONIC JOURNALS; JOURNAL ARTICLE.
Keywords: Bibliometrics; indicators of scientific production; Strobe; electronic journals; article of journal.

INTRODUCCIÓN

La publicación científica constituye uno de los productos de una investigación y la principal fuente para que los resultados obtenidos puedan ser replicados y validados. Sin embargo, prevalecen estudios en los que se hace referencia a las deficiencias en la metodología empleada y la necesidad de que las revistas biomédicas incrementen el rigor del proceso de arbitraje, eslabón esencial dentro del proceso editorial que puede contribuir a incrementar la calidad metodológica de los reportes. (1,2) Específicamente, hay evidencias que muestran limitaciones respecto a la metodología estadística utilizada (3-7) cuestión importante si se tiene en cuenta la advertencia de varios estudios relacionados con el incremento en su complejidad. (8-12)

En este contexto es necesario homogeneizar metodológicamente los reportes originales, asimismo mejorar su calidad, particularmente con iniciativas como el proyecto Equator, centro de recursos “para la presentación correcta de informes sobre los estudios de investigación sanitaria” (http://www.espanol.equator-network.org/), que ofrece y sugiere tomar en consideración guías estandarizadas para llevar a efecto estos análisis.

Estos elementos, unidos a la premisa de que la Gaceta Médica Espirituana (GME) no cuenta con antecedentes que muestren evidencias en relación a la calidad metodológica de sus reportes científicos, en su mayoría de tipo observacional, constituyen la razón por la cual este trabajo tiene como objetivo describir la correspondencia de los artículos originales con las recomendaciones para la presentación de estudios observacionales (Strobe); este constituye un resultado de la investigación  que responde al proyecto: Trayectoria de la revista GME y su aporte a la investigación científica en las Ciencias de la salud.

MATERIAL Y MÉTODO

Se realizó un estudio bibliométrico descriptivo en el que se examinaron todos los artículos originales publicados en la revista Gaceta Médica Espirituana durante el periodo comprendido entre los años 2010 y 2012; no fueron considerados los artículos originales sobre temas pedagógicos y aquellos que apoyan sus resultados exclusivamente en métodos y técnicas cualitativas de investigación. Estos artículos se encuentran disponibles en formato electrónico en el sitio web de la revista: http://revgmespirituana.sld.cu/index.php/gme/issue/archive

La recolección de la evidencia empírica se realizó de modo independiente por tres observadores. Cada observador procedió a la lectura del título, resumen, métodos y cuando fue necesario, los resultados. Este proceso tuvo como referente a las recomendaciones para confeccionar los reportes de estudios observacionales (Strobe 2007). Se observó la pertinencia del título (si ofrece información sobre el diseño del estudio), del resumen (si proporciona una sinopsis informativa y equilibrada del trabajo) y de la introducción (si se expone el fundamento científico de la investigación y se evidencia claramente su objetivo). La sección de los métodos incluyó analizar el escenario clínico en el que se produjo la recolección de los datos (contexto), criterios de elegibilidad de los participantes, variables empleadas, fuentes de los datos y metodología estadística empleada. Además, se obtuvo información sobre grado de actualización de la bibliografía empleada; para ello, se tuvieron en cuenta como referente cinco años previos a la fecha de su publicación, se establecieron tres categorías sobre la base del porcentaje de referencias incluidas en este periodo: Muy Buena (Si incluye al menos el 75 %), Buena (Si incluye al menos el 50 %) y Regular (Si incluye menos del 50 %). Los trabajos se clasificaron en descriptivos (Caracterización resumida de una realidad sanitaria en un lugar y un momento particulares) y explicativos (Valoración de hipótesis que podrían explicar las causas de un problema), aspecto tomado de Sarria (13).

Se utilizaron tablas de frecuencias para analizar la calidad de los reportes publicados en la revista Gaceta Médica Espirituana. Los datos fueron procesados mediante el paquete estadístico profesional SPSS (versión 15.0.1, SPSS Inc, Chicago, IL, USA)

RESULTADOS

De los 40 artículos incluidos en el estudio, en 28 (70 %) se observó en el título información sobre el diseño del estudio; 39 (97.5 %) aportan en el resumen una sinopsis informativa y equilibrada de su contenido en términos de los principales resultados y recursos empleados para obtenerlos. En la introducción, 29 (72.5 %) precisan claramente los objetivos y 9 (22.5 %) logran argumentar sólidamente las razones y el fundamento científico de la investigación.

En la sección de métodos, 11 (27.5 %) trabajos aportan información relevante del escenario clínico en el que se desarrolló la investigación y obtención de la evidencia empírica que sustenta sus resultados; el resto de los trabajos (72.5 %) se limita a aportar información sobre el lugar en que se desarrolló la investigación y el tiempo de duración, también omite otros elementos de valoración como posibles fechas relevantes, periodos de reclutamiento y exposición. Declaran los criterios de elegibilidad en correspondencia con el diseño del estudio (Casos y Control, Transversales y Cohortes) 22 (55 %). Solo 5 (12.5 %) ofrecen información detallada sobre la operacionalización de todas las variables incluidas en el estudio (de respuesta, exposiciones, predictoras, confundidoras y modificadoras del efecto). Se explicitan las fuentes de obtención de la evidencia empírica y detalles sobre los instrumentos de medición empleados en 26 (65 %). dejan claro el modo en que se obtuvo la evidencia y el por qué del tamaño muestral 9 (22.5 %). En relación a los recursos estadísticos, 27 (67.5 %) especifican cuáles fueron empleados y su finalidad. Sin embargo, un análisis cualitativo a este grupo arroja que con frecuencia omiten especificar cuáles fueron aquellos que se emplearon para controlar los factores de confusión, así como qué procedimientos se instrumentaron en el tratamiento a datos ausentes o perdidos. Respecto a la actualización de las referencias bibliográficas, el 70 % de los trabajos incluyeron referencias bibliográficas con fecha de publicación no superior a los cinco años.

DISCUSIÓN

El título y el resumen fueron dos puntos en los cuales se observaron menos insuficiencias. En el caso del título, si bien no resulta comparable con otros trabajos dado el grado de subjetividad que incluye esta valoración, consideramos importante resaltar que constituye un indicador esencial para orientar al lector sobre la pertinencia de el estudio en relación con su necesidad de información, asimismo, para facilitar el proceso de búsqueda a través de las diferentes bases de datos electrónicas, aspecto señalado como clave en el momento de confeccionar un manuscrito científico. (14) 

La racionalidad del estudio desde el punto de vista de una exposición clara, coherente y detallada en torno a cuáles son los fundamentos científicos que sustentan la propuesta del investigador, evidenciando el vacío de conocimiento que amerita y justifica la realización del estudio, constituyó uno de los puntos con mayores dificultades, cuestión que a nuestro juicio no solo evidencia deficiencias en la preparación científico metodológica de los autores, sino también de los revisores en relación con el análisis que realizan del contenido científico de los manuscritos; en este aspecto es importante destacar que no basta con fortalecer el proceso de arbitraje, sino que además se necesita implementar un enfoque integral en el que se potencie no solo el asesoramiento profesional a los autores, sino también la preparación estadística del profesional de la medicina, en particular la formación estadística en el posgrado. (15)

A pesar de estas deficiencias, el objetivo declarado en los artículos resultó un indicador que mostró mejores resultados. Ello pudiese explicarse si se toma en consideración que predominaron los estudios descriptivos.

Referente a la sección de métodos, si bien se observa como regularidad un predominio de insuficiencias, son la operacionalización de las variables (12.5 %) y el modo en que los investigadores obtienen la evidencia empírica (22.5 %) los dos puntos de mayores dificultades, aspecto este señalado por Silva (16) como clave en el marco de la investigación biomédica, sobre todo si se toma en cuenta que una aplicación pertinente del muestreo es esencial para realizar la inferencia estadística.

Además, consideramos que esta limitación en los manuscritos publicados en la GME durante el período evaluado, pudiese indicar la participación de árbitros (peer review) con limitaciones en su preparación estadística, lo cual además pudo estar condicionado por no existir en la GME homogenización en cuanto a indicadores que posibilitaran realizar estos análisis. A partir de estos resultados el comité editorial de la revista GME ha realizado una serie de acciones encaminadas a perfeccionar los procesos de arbitraje y editorial, entre las que se encuentra el uso de guías estandarizadas (17) que permitirá la realización de estudios comparativos para evaluar su impacto en la redacción, arbitraje y revisión editorial de los artículos.

Limitaciones del estudio: Incluyó solo reportes originales de investigaciones biomédicas, aspecto que, si bien ofrece evidencias relacionadas con la calidad metodológica de las publicaciones de la GME, limita la generalización de sus resultados a otros tipos de publicación como pueden ser los originales de investigaciones pedagógicas, presentaciones de casos y revisiones. Tuvo como referente algunos de los puntos sugeridos en el Strobe, específicamente los relativos a la sección de los métodos, por lo que importantes secciones como las reservadas a exponer los resultados y su discusión no se analizaron.

Fortaleza del estudio: Ofrece evidencias de la calidad metodológica de reportes originales sobre la base de una guía validada por expertos (Strobe) y de uso recomendado para las revistas biomédicas.

CONCLUSIONES

Un número importante de artículos no cumple con todos los requerimientos metodológicos del Strobe lo que puede afectar su pertinencia, rigor científico y credibilidad ante la comunidad de investigadores.

REFERENCIAS BIBLIOGRÁFICAS

  1. Glantz SA. Biostatistics; how to detect, correct, and prevent errors in the medical literature. Circulation [Internet]. 1980 [citado 16 feb 2019];61(1):1-7. Disponible en: https://doi.org/10.1161/01.CIR.61.1.1
  2. Altman, D. G. The scandal of poor medical research. BMJ [Internet]. 1994 [citado 23 ene 2019];308(6924):283-4. Available from: https://doi.org/10.1136/bmj.308.6924.283
  3. Jaykaran Yadav P. Quality of reporting statistics in two Indian pharmacology journals. Journal of pharmacology & pharmacotherapeutics [Internet]. 2011[citado 23 ene 2019];2(2):85-9. doi:10.4103/0976-500X.81897
  4. Massip Nicot J, Soler Cárdenas S, Torres Vidal RM. Uso de la estadística en la Revista Cubana de Higiene y Epidemiología, 1996-2009. Revista Cubana de Higiene y Epidemiología [Internet]. 2011[citado 23 ene 2019];49(2):276-91. Disponible en: http://scielo.sld.cu/pdf/hie/v49n2/hie13211.pdf
  5. Fernandes-Taylor S, Hyun JK, Reeder RN, Harris AH. Common statistical and research design problems in manuscripts submitted to high-impact medical journals. BMC Research Notes[Internet]. 2011[citado 03 dic 2018];Aug 19;4:304. doi:10.1186/1756-0500-4-304
  6. Silva Aycaguer LC. Errores metodológicos frecuentes en la investigación clínica. Med Intensiva[Internet]. 2018[citado 23 ene 2019];42(9):517-72. DOI: 10.1016/j.medine.2018.10.001
  7. Günel Karadeniz P, Uzabacı E, Atış Kuyuk S, Kaskır Kesin F, Ezgi Can F, Seçil M, Ercan İ. Statistical errors in articles published in radiology journals. Diagn Interv Radiol[Internet]. 2019[citado 23 ene 2019];25(2):102-8. DOI: 10.5152/dir.2018.18148
  8. Horton N, Switzer SS. Statistical methods in the journal. New England Journal Medicine. 2005;353(18):1977-79.
  9. Tetrault JM, Sauler M, Wells CK, Concato J. Reporting of multivariable methods in the medical literature. J Investig Med[Internet]. 2008[citado 23 ene 2019];56(7):954-7. DOI:10.2310/JIM.0b013e31818914ff
  10. Massip Nicot J, Soler Cárdenas S, Torres Vidal RM. Accesibilidad estadística para el lector de la Revista Cubana de Higiene y Epidemiología, 1996-2009. Revista Cubana de Higiene y Epidemiología[Internet]. 2012[citado 03 dic 2018];50(1):76-87. Disponible en:  http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1561-30032012000100010&lng=es&tlng=es.
  11. Arnold LD, Braganza M, Salih R, Colditz GA. Statistical trends in the Journal of the American Medical Association and implications for training across the continuum of medical education. PloS one[Internet]. 2013[citado 03 dic 2018];8(10):e77301. doi:10.1371/journal.pone.0077301
  12. Yi D, Ma D, Li G, Zhou L, Xiao Q, Zhang Y, et al. Statistical Use in Clinical Studies: Is There Evidence of a Methodological Shift?. PloS one[Internet]. 2015[citado 03 dic 2018];10(10):e0140159. doi:10.1371/journal.pone.0140159
  13. Sarria Castro M, Silva Ayçaguer LC. Las pruebas de significación estadística en tres revistas biomédicas: una revisión crítica. Rev Panam Salud Publica[Internet]. 2004[citado 03 dic 2018];15(5):300-6. Disponible en: https://scielosp.org/pdf/rpsp/2004.v15n5/300-306
  14. González de Dios J, González-Muñoz M, Alonso-Arroyo A, Aleixandre-Benavent R. Comunicación científica (XV). Conocimientos básicos para leer (y escribir) un artículo científico (2): título, resumen e introducción. Acta Pediatr Esp[Internet]. 2014[citado 03 dic 2018];72(8):169-75. Disponible en: http://www.actapediatrica.com/index.php/secciones/formacion-e-informacion-en-pediatria/1018-comunicacion-cientifica-xv-conocimientos-basicos-para-leer-y-escribir-un-articulo-cientifico-2-titulo-resumen-e-introduccion#.XR-0DG7B-1s
  15. Fardales Macías VE, Manso Fernández E. Necesidad de fortalecer el arbitraje de los informes de investigación enviados a la Gaceta Médica Espirituana. Gac méd espirit[Internet]. 2016[citado 03 dic 2018];18(1). Disponible en: http://revgmespirituana.sld.cu/index.php/gme/article/view/1224
  16. Silva Ayçaguer LC. Errores garrafales en el uso del muestreo. Apuntes de una experiencia. Brotes[Internet]. 2001[citado 03 dic 2018];2(1):49-54. Disponible en: http://lcsilva.sbhac.net/Articulos/11.Errores%20garrafales_en_el_uso_del_muestreo.pdf
  17. Lang TA, Altman DG. Basic statistical reporting for articles published in biomedical journals: the "Statistical Analyses and Methods in the Published Literature" or the SAMPL Guidelines. Int J Nurs Stud[Internet]. 2015[citado 03 dic 2018];52(1):5-9. Disponible en: https://www.sciencedirect.com/science/article/pii/S0020748914002545?via%3Dihub

Conflicto de interés

Los autores declaran no tener conflicto de interés en esta investigación.


Recibido: 20/04/19
Aprobado: 03/05/19




Licencia de Creative Commons
Esta obra está bajo una licencia de Creative Commons Reconocimiento-NoComercial 4.0 Internacional.