PEER REVIEW IN SCIENTIFIC PUBLICATIONS
Sección: Avances de investigación
Dr. Víctor Wilson-Corral
https://orcid.org/0000-0002-3155-1310
Dr. Joel López Pérez
https://orcid.org/0009-0003-8791-1383
Recibido: 04 de marzo de 2024.
Aceptado: 12 de abril de 2024.
La actividad científica genera datos empíricos a través de la ejecución de un diseño experimental. La interpretación de los datos empíricos generados es, actualmente, la forma más aceptada de acercarse al conocimiento de cualquier aspecto de la naturaleza. Pero la actividad científica no está libre de la comisión de errores. El creciente énfasis en la diseminación de investigación rápida, a menudo se traduce en la ausencia de una revisión por pares de calidad. Durante el año 2023, la cantidad de artículos científicos retractados ascendió a poco más de 10 000, lo cual estableció un récord anual. Es claro que, la revisión por pares no puede mejorar una investigación desarrollada de forma deficiente pero, a menudo, puede ayudar a corregir, mejorar y fortalecer, entro otras cosas, el análisis estadístico de los datos y, además, mejorar notablemente la presentación y la claridad. Con cierta frecuenc ia, la lente de los científicos pasa por alto detalles finos en los procesos de revisión por pares, tal y como puede apreciarse en el caso que se expone en este breve ensayo.
Scientific activity generates empirical data through the development of experimental work. Interpreting the empirical data obtained from research is currently the most accepted approach to understanding any aspect of nature. However, scientific activity is not immune to errors. The increasing emphasis on rapid research dissemination often results in a lack of quality peer review. In 2023 alone, more than 10,000 research papers were retracted, setting an annual record. While peer review cannot salvage poor research, it often serves to correct, enhance, and fortify statistical analysis of data, thereby significantly improving presentation and clarity. Scientists sometimes overlook finer details in the peer review process, as exemplified in the case presented in this brief essay.
El conocimiento que se genera acerca de cualquier aspecto de la naturaleza puede ser sometido a prueba y cuestionado en cualquier momento. El cuestionamiento debe tener como base datos empíricos generados mediante la actividad científica, interpretados a través de la actividad intelectual y revisados por pares. Este podría ser visto como un sólido argumento para considerar a la ciencia como la forma más aceptada para acercarse a la interpretación de la naturaleza (Bunge, 2017). La revisión por pares ha sido la base de la publicación académica y la comunicación científica que parte de (por ponerle una fecha) marzo de 1665, con la edición de la revista “Philosophical Transactions” publicada por la Royal Society of London y que es considerada como la primera y más antigua revista científica del mundo.
Los beneficios y ventajas de la revisión por pares en el ámbito científico son múltiples y manifiestos (Kelly et al., 2014). La era del internet ha provocado la aparición de un volumen inconmensurable de noticias falsas, y la producción científica de nuestros tiempos no escapa por completo a este fenómeno (Steer & Ernst, 2021). Datos contenidos en una nota de la revista Nature sobre las fallas en la construcción del conocimiento científico indican que, el número de retractaciones de artículos de investigación suscitadas en 2023, ha superado las 10,000 (Van Noorden, 2023). Según Van Noorden (2023), esta cifra es la mayor registrada en un año, mientras los editores luchan contra la gran cantidad de artículos falsos y fraudes en la revisión por pares. La nota mencionada, publicada en diciembre de 2023, señala que, durante las últimas dos décadas, la lista de países que producen una mayor cantidad de artículos fraudulentos está encabezada por Arabia Saudita, Pakistán, Rusia y China.
La generación de publicaciones se ha convertido en un factor importante de éxito en la obtención de subvenciones, promociones y distinciones (Hopf et al., 2019). De acuerdo con Hopf y colaboradores (2019), los científicos e investigadores se encuentran bajo la presión de "publicar o perecer" y esto ha conducido a que el número de publicaciones fraudulentas se haya incrementado en magnitudes alarmantes. Al mismo tiempo, esta presión ha llevado a muchos autores a enviar sus trabajos a las llamadas "revistas depredadoras" las cuales rara vez, si es que alguna vez ocurre, someten los artículos a alguna forma de revisión por pares. El creciente énfasis en la diseminación de investigación rápida a menudo se traduce en ausencia de una revisión por pares de calidad (Kharasch et al., 2020). En estas circunstancias, de acuerdo con Kharasch y colaboradores (2020), las revistas, los editores y los revisores tienen una gran responsabilidad como administradores de información válida, con rendición de cuentas a la comunidad científica y una obligación de mantener la confianza pública.
La revisión por pares no puede mejorar la investigación deficiente, pero a menudo, puede ayudar a corregir, mejorar y fortalecer el análisis estadístico de los datos y, de esta forma, mejorar notablemente la presentación y la claridad (Kharasch et al., 2020). La ciencia registra suficientes casos en los cuales la interpretación que se genera acerca de algún aspecto del conocimiento inicialmente aceptado como válido puede, posteriormente, ser rebatido cuando las evidencias no satisfacen los estándares de rigurosidad científica. De esta forma, incluso, los paradigmas científicos se sustituyen dando paso a nuevos paradigmas para avanzar en el conocimiento de aspectos específicos de la naturaleza. La lente de los científicos e investigadores puede, en ocasiones, pasar por alto detalles finos en los procesos de revisión por pares. Ni siquiera las investigaciones desarrolladas en las instituciones o centros de investigación considerados como los más prestigiados, pueden considerarse libres de estos delicados detalles, como podrá apreciarse en el caso que se expone en el presente documento.
De acuerdo con el Journal Citation Report, la revista Nature Human Behaviour tiene un factor de impacto de 29.9 y ocupa el lugar 84 en un total de 9 483 revistas indexadas (Clarivate, 2022). Esto sitúa a la mencionada revista, como integrante de un selecto grupo integrado por el 1% de las revistas que mayor impacto suscitan en la actividad de la comunidad científica. En el año 2017, la citada revista, publicó un artículo intitulado: “Machine learning of neural representations of suicide and emotion concepts identifies suicidal youth” (Just et al., 2017). La coautoría del artículo publicado contó con la participación de diversas instituciones, entre las cuales se encontraba Harvard University, ubicada en los Estados Unidos y reconocida internacionalmente por los altos estándares de calidad de la investigaciòn científica que ahí se desarrolla. Es importante destacar que el documento mencionado, al igual que cualquier otro artículo original de investigación sometido a evaluación en la revista mencionada, pasa por un proceso de selección por parte del comité editorial, seguido de una revisión por pares considerada rigurosa, antes de su publicación o, en su defecto, su rechazo.
Cuatro años después de su publicación, la veracidad de la información contenida en el documento ya mencionado, fue cuestionada por un grupo de científicos del Institute of Neuroscience and Medicine: Brain and Behaviour de la Universidad Heinrich Heine Düsseldorf. Estos científicos dieron seguimiento a la línea de investigación sobre la subjetividad en la definición y confiabilidad de los diagnósticos psiquiátricos, debido a la falta de biomarcadores objetivos para estos diagnósticos (los cuales actualmente se sabe que dependen, en gran medida, de los informes de los pacientes y del juicio clínico) (Dukart et al., 2021). Producto de este seguimiento, a continuación, el grupo de investigadores publicó, en la misma revista, Nature Human Behaviour, un artículo en el que cuestionaban la validez del uso de una combinación de neuroimagen avanzada y aprendizaje automático para sustituir la ausencia de biomarcadores objetivos en el diagnóstico psiquiátrico, planteado por el equipo de Just y colaboradores en su publicación de 2017.
Los autores del artículo cuestionado, optaron por responder a través de una publicación titulada: "Reply to: Towards increasing the clinical applicability of machine learning biomarkers in psychiatry" (Just et al., 2021), la cual apareció en el mismo volumen de la revista Nature Human Behaviour en el que fue cuestionada su publicación anterior de 2017.
En los primeros meses del año 2023, nuevamente fue puesta en tela de juicio la validez de las conclusiones contenidas en el documento cuyos resultados habían sido puestos en duda. En esta ocasión, dicho cuestionamiento se hizo mediante la publicación de un documento intitulado: “Overfitting to ‘predict’ suicidal ideation” (Verstynen & Kording, 2023). La argumentación de este segundo cuestionamiento fue aportada por científicos de la Carnegie Mellon University y de la University of Pennsylvania, ubicadas en los Estados Unidos de Norteamérica. Como resultado de los argumentos expuestos, los autores del documento cuestionado se retractaron, aceptando que el método utilizado en el estudio era realmente defectuoso y que afectaba las conclusiones del estudio realizado (Just et al., 2023).
En alguna medida y de forma implícita, es posible que, al cuestionar la validez de las conclusiones del artículo mencionado, la eficacia del proceso de revisión por pares al que fue sometido el artículo, haya sido también cuestionado. Es claro que, los argumentos que guiaron la decisión de publicar el documento, se alejaron del rigor científico que debe siempre prevalecer en estos casos. Si asumimos, bajo una lógica simplista, que este corresponde al caso de un documento remitido por un prestigiado grupo de investigadores, que se desempeñan para una prestigiada universidad y que es remitido para su publicación a una prestigiada revista, que además es editada por una prestigiada empresa editorial, es posible que el rigor científico, durante el proceso de revisión por pares, se haya visto sustituido por el prestigio de quienes someten a evaluación su manuscrito. ¿Podríamos, entonces, estar situados frente a un típico caso de un documento lo suficientemente exquisito para ser aprobado sin que medie el nivel de rigurosidad científica adecuado?
¿Podría este, ser considerado como un típico caso de lo que, en ciencia, se conoce como efecto Mateo? El efecto Mateo, como es sabido, se denomina de esta forma considerando la cita bíblica del capítulo 13, versículo 12, del evangelio de San Mateo que textualmente establece: “Porque a cualquiera que tiene, se le dará, y tendrá más; pero al que no tiene, aun lo que tiene le será quitado”. El efecto Mateo también es considerado como un fenómeno social que, a menudo, se relaciona con la idea de que "los fuertes se hacen más fuertes y los débiles se hacen más débiles".
Los estándares o instrumentos que miden el nivel de confiabilidad de la información científica, publicada en las fuentes primarias, son falibles, como lo es también la ciencia al tratarse de una actividad humana. La veracidad de la información publicada en dichas fuentes, es verificada en el proceso de revisión por pares, pero estos procesos a menudo se ven afectados por aspectos alejados de la rigurosidad científica. Eventos como el que se aborda en este breve ensayo, en el cual se aprecian evidentes fallas del proceso de revisión por pares, invitan a ser más cuidadosos y críticos con la información que buscamos, administramos, y usamos en nuestros procesos de aprendizaje de la ciencia.
Los datos más recientes indican que, en promedio, se retractan 27 artículos científicos diariamente alrededor del mundo. Esto podría estar manifestando un nivel de crisis importante, en lo que respecta al nivel de calidad de los procesos de revisión por pares en la ciencia. Sin embargo, es de reconocerse que, los ejercicios de revisión, reflexión y evaluación permanente del conocimiento generado permiten que, a pesar de las fallas que puedan identificarse en los procesos de revisión por pares, la ciencia sea actualmente aceptada como la forma más adecuada para avanzar en la construcción de interpretaciones acerca de cualquier aspecto de la realidad.
Bunge, M. A. (2017). El planteamiento científico. Revista Cubana de Salud Pública, 43(3), 1-29.
Clarivate. (2022). Journal Citation Report 2022. Clarivate, USA. 131 pp.
Dukart, J., Weis, S., Genon, S., and Eickhoff, S. B. (2021). Towards increasing the clinical applicability of machine learning biomarkers in psychiatry. Nature Human Behaviour, 5, 433-435.
Hopf, H., Krief, A., Mehta, G., and Matlin, S. A. (2019). Fake science and the knowledge crisis: ignorance can be fatal. Royal Society Open Science, 6, 190161.
Just, M. A., Cherkassky, V. L., and Brent, D. (2021). Reply to: Towards increasing the clinical applicability of machine learning biomarkers in psychiatry. Nature Human Behaviour, 5(4), 433-435.
Just, M. A., Pan, L., Cherkassky, V. L., Dana, L., McMakin, Cha, C., Nock, M. K., and Brent, D. (2023). Retraction Note: Machine learning of neural representations of suicide and emotion concepts identifies suicidal youth. Nature Human Behaviour, 7, 824.
Just, M. A., Pan, L., Cherkassky, V. L., McMakin, D. L., Cha, C., Nock, M. K., and Brent, D. (2017). Machine learning of neural representations of suicide and emotion concepts identifies suicidal youth. Nature Human Behaviour 1(911– 919).
Kelly, J., Sadeghieh, T., and Adeli, K. (2014). Peer review in scientific publications: Benefits, critiques, & a survival guide. EJIFCC 25, 227-243.
Kharasch, E. D., Avram, M. J., Clark, J. D., Davidson, A. J., Houle, T. T., Levy, J. H., London, M. J., Sessler, D. I., and Vutskits, L. (2020). Peer review matters: research quality and the public trust. Anesthesiology, 134(1), 1-6.
Steer, P. J., and Ernst, S. (2021). Peer review - Why, when and how. International Journal of Cardiology Congenital Heart Disease, 2,100083.
Van Noorden, R. (2023). More than 10,000 research papers were retracted in 2023 a new record. Nature 624, 479-481.
Verstynen, T., and Kording, K. P. (2023). Overfitting to ‘predict’ suicidal ideation. Nature Human Behaviour, 7, 680–681.