Noticias

May 30, 2023

Aprendizaje automático multimodal en salud de precisión: una revisión de alcance

Volumen de Medicina Digital de npj

npj Digital Medicine volumen 5, Número de artículo: 171 (2022) Citar este artículo

18k Accesos

19 citas

47 Altmetric

Detalles de métricas

El aprendizaje automático se aprovecha con frecuencia para abordar problemas en el sector de la salud, incluida la utilización para el apoyo a la toma de decisiones clínicas. Históricamente, su uso se ha centrado en datos modales únicos. Los intentos de mejorar la predicción e imitar la naturaleza multimodal de la toma de decisiones de expertos clínicos se han cumplido en el campo biomédico del aprendizaje automático mediante la fusión de datos dispares. Esta revisión se realizó para resumir los estudios actuales en este campo e identificar temas maduros para futuras investigaciones. Realizamos esta revisión de acuerdo con la extensión PRISMA para Scoping Reviews para caracterizar la fusión de datos multimodal en salud. Se establecieron cadenas de búsqueda y se usaron en bases de datos: PubMed, Google Scholar e IEEEXplore de 2011 a 2021. Se incluyó en el análisis un conjunto final de 128 artículos. Las áreas de salud que más comúnmente utilizaron métodos multimodales fueron neurología y oncología. La fusión temprana era la estrategia de fusión de datos más común. En particular, hubo una mejora en el rendimiento predictivo al usar la fusión de datos. Los documentos carecían de estrategias claras de implementación clínica, aprobación de la FDA y análisis de cómo el uso de enfoques multimodales de diversas subpoblaciones puede mejorar los sesgos y las disparidades en la atención médica. Estos hallazgos brindan un resumen sobre la fusión de datos multimodal aplicada a problemas de diagnóstico/pronóstico de salud. Pocos artículos compararon los resultados de un enfoque multimodal con una predicción unimodal. Sin embargo, los que lo hicieron lograron un aumento promedio del 6,4 % en la precisión predictiva. El aprendizaje automático multimodal, si bien es más robusto en sus estimaciones sobre los métodos unimodales, tiene inconvenientes en su escalabilidad y la naturaleza lenta de la concatenación de información.

El apoyo a las decisiones clínicas ha sido durante mucho tiempo un objetivo para quienes implementan algoritmos y aprendizaje automático en el ámbito de la salud1,2,3. Los ejemplos de soporte de decisiones algorítmicas utilizan valores de pruebas de laboratorio, protocolos de imágenes o sellos clínicos (puntuaciones de exámenes físicos)4,5. Algunos diagnósticos de salud se pueden hacer con un solo valor de laboratorio o un solo umbral, como en el caso de la diabetes en adultos mayores6. Otros diagnósticos se basan en una constelación de signos, síntomas, valores de laboratorio y/o imágenes de apoyo y se conocen como diagnóstico clínico. A menudo, estos diagnósticos clínicos se basan en sistemas de puntuación aditivos que requieren una mezcla de características positivas y negativas antes del etiquetado de confirmación.

El modus operandi de un diagnóstico clínico puede no tener en cuenta la ponderación relativa de estas entradas de datos dispares y las relaciones potencialmente no lineales que destacan las limitaciones de la capacidad humana de toma de decisiones. La fortaleza del soporte algorítmico para la toma de decisiones es que puede usarse para descargar tales tareas, lo que idealmente produce un resultado más exitoso. Esta es la promesa de la medicina de precisión. La medicina/salud de precisión tiene como objetivo crear un modelo médico que personalice la atención médica (decisiones, tratamientos, prácticas, etc.) que se adapten al fenotipo de un individuo o paciente7. Esto incluye el seguimiento longitudinal de las trayectorias de salud de los pacientes8, a menudo incorporando genética/epigenética9,10 y modelos matemáticos11 donde los diagnósticos y tratamientos incorporan esta información única12. Compare esto con un modelo de un solo fármaco para todos, donde hay un solo tratamiento por trastorno. La Figura 1 ilustra el flujo de información de hospitales/centros de atención que generan datos dispares. Es a través del modelado computacional y la fusión de información que los resultados de interés, como los objetivos de tratamiento y medicamentos, en última instancia, facilitan una mejor toma de decisiones a nivel del paciente en esos centros de atención. Este fenómeno ha despertado el interés en los estudios de fusión utilizando datos de atención médica.

La información se mueve en un patrón cíclico desde los centros de salud hasta los bienes comunes de información, donde se puede transformar y realizar el modelado algorítmico. Estos algoritmos brindan información sobre muchos resultados de salud diferentes, como ensayos clínicos, fenotipado, descubrimiento de fármacos, etc. Esta información debería regresar a los centros de salud y a los profesionales para proporcionar la medicina más eficiente y basada en evidencia posible.

Los compromisos para caracterizar esta literatura han sido realizados por Huang et al.13, quienes realizaron una revisión sistemática de la fusión de aprendizaje profundo de imágenes y datos de EHR en salud. Sin embargo, se limitó a EHR y datos de imágenes y aplicaciones de aprendizaje profundo. Un artículo de revisión de seguimiento incluyó un comentario sobre la fusión de datos ómicos y de imágenes14. El propósito de este estudio es resaltar el alcance actual de este dominio de investigación, resumir y ofrecer sugerencias para avanzar en el campo. El estudio actual es más inclusivo en cuanto a la amplitud de los tipos de protocolos de aprendizaje automático utilizados e intenta abarcar todas las modalidades actuales (tipos/fuentes de información).

La fusión de datos se basa en la teoría de la información y es el mecanismo mediante el cual se fusionan fuentes de datos dispares para crear un estado de información basado en la complementariedad de las fuentes15,16 (Cuadro 1). La expectativa en el aprendizaje automático es que los esfuerzos de fusión de datos darán como resultado una mejora en el poder predictivo17,18 y, por lo tanto, proporcionarán resultados más confiables en entornos de validez potencialmente baja19. La fusión de datos promociona la ventaja de que los resultados del modelado se vuelven inherentemente más sólidos al depender de una multitud de factores informativos en lugar de un solo tipo. Sin embargo, la metodología de información combinatoria tiene inconvenientes; agrega complejidad a la especificación del modelo y reduce la interpretabilidad de los resultados19,20.

Los datos de diferentes fuentes y formatos de archivo rara vez son uniformes, y este es especialmente el caso de los datos clínicos21. Por ejemplo, los conjuntos de datos pueden tener diferentes convenciones de nomenclatura, unidades de medida o representar diferentes sesgos de la población local. Se debe tener cuidado para buscar y corregir las diferencias sistemáticas entre conjuntos de datos y evaluar su grado de interoperabilidad. Por ejemplo, Colubri et al. valores agregados de laboratorio de tomografía computarizada (TC) y PCR, mediante la realización de una normalización dentro del sitio. Esto aseguró que los valores fueran comparables entre sitios. Al hacerlo, descartaron varias variables clínicas potencialmente informativas, ya que no todas estaban disponibles en todos los conjuntos de datos22.

Se requiere un equilibrio para permitir que la información que es similar trabaje en conjunto (armonización) y conserve la pureza de los datos (correspondencia de la información)23. La fusión exitosa utiliza técnicas de armonización de datos que aseguran ambos en el control de calidad del proceso de integración. La armonización de datos clínicos requiere investigación multidisciplinaria entre medicina, biología e informática. El área clínica de insuficiencia cardíaca con fracción de eyección preservada (HFpEF, por sus siglas en inglés) vio aplicaciones novedosas de formulaciones de factorización de tensor múltiple para integrar la información fenotípica profunda y transómica24, y esto se extiende a otras áreas de la medicina de precisión25. Para aumentar la portabilidad de los algoritmos de fenotipo basados ​​en EHR, la red Electronic Medical Records and Genomics (eMERGE) ha adoptado modelos de datos comunes (CDM) y patrones de diseño estandarizados de la lógica del algoritmo de fenotipo para integrar datos de EHR con datos genómicos y permitir la generalización y escalabilidad26 ,27,28,29.

Hay tres tipos principales de fusión de datos que se utilizan en el aprendizaje automático; temprano (nivel de datos), intermedio (conjunto) y tardío (nivel de decisión)30. En el caso de la fusión temprana, múltiples fuentes de datos se convierten al mismo espacio de información. Esto a menudo da como resultado una vectorización o conversión numérica desde un estado alternativo, como el realizado por Chen et al. a través de informes de patología vectorizados31. Las imágenes médicas poseen características que pueden sufrir conversión numérica basada en cálculos de área, volumen y/o estructura32. Luego, estos se concatenan con mediciones adicionales de fuentes de datos estructurados y se alimentan a un clasificador individual. El análisis de correlación canónica33, la factorización matricial no negativa34,35, el análisis de componentes independientes (ICA) y las metodologías de conversión de características numéricas existen como opciones comunes para transformar todos los datos en el mismo espacio de características36.

La fusión de datos intermedios ocurre como un conjunto de modelos por pasos y ofrece la mayor libertad en la arquitectura de modelos. Por ejemplo, Zhou et al.37 propusieron un modelo de fusión y aprendizaje neuronal profundo de 3 etapas. La etapa 1 consiste en la selección de características por un clasificador soft-max para modalidades independientes. Las etapas 2 y 3 consisten en combinar estas características seleccionadas, establecer un conjunto refinado adicional de características y alimentarlas en un Cox-nnet para realizar una representación conjunta de características latentes para el diagnóstico de Alzheimer. A diferencia de la fusión temprana, la fusión intermedia combina las características que distinguen cada tipo de datos para producir una nueva representación que es más expresiva que las representaciones separadas de las que surgió.

En la fusión tardía, normalmente se entrenan varios modelos donde cada modelo corresponde a una fuente de datos entrante. Esto es similar al aprendizaje conjunto, que ofrece un mejor rendimiento que los modelos individuales38. Los métodos de conjunto utilizan múltiples algoritmos de aprendizaje (generalmente aplicados al mismo conjunto de datos) para obtener un mejor rendimiento predictivo que el que podría obtenerse de cualquiera de los algoritmos de aprendizaje constituyentes solos. Sin embargo, el conjunto de aprendizaje automático multimodal aquí puede referirse al aprendizaje conjunto dentro de un tipo de datos o entre tipos de datos. Estos toman como fuentes las representaciones simbólicas y las combinan para obtener una decisión más precisa39. Los métodos bayesianos suelen emplearse en este nivel40 para respaldar un proceso de votación entre el conjunto de modelos en una decisión global. Dentro de la fusión tardía se ha avanzado para realizar un aprendizaje profundo multitarea41,42,43,44,45,46,47. En la Fig. 2 se presenta un esquema para los 3 subtipos de fusión de datos. En la Tabla 1 se muestran los atributos de las técnicas de fusión.

La fusión de información puede ocurrir en una miríada de formas. En el aprendizaje automático, la fusión temprana, intermedia y tardía se caracteriza por si toda la información fluye hacia un solo modelo (temprano), una forma escalonada donde los resultados de un modelo se convierten en entradas para otro (intermedio) y, por último, donde todos los tipos de datos únicos se someten a un modelado separado, después de lo cual se produce el ensamblaje y/o la votación (tarde).

Aprendizaje automático multimodal: el área de aprendizaje automático que se ocupa de reunir fuentes de datos dispares para capitalizar la información única y complementaria en un marco algorítmico.

Armonización de datos: usar el aprendizaje automático para unificar diferentes fuentes de datos para mejorar su calidad y utilización.

Aprendizaje automático multivista: otro término para el aprendizaje automático multimodal.

Fusión de datos: las metodologías específicas emprendidas para realizar la integración de datos para el aprendizaje automático multimodal/multivista; se dividen en tres amplias categorías: temprano, intermedio/articulado y tardío.

El modelo de tema que se muestra en la Fig. 3 muestra la categoría, la dolencia de salud específica bajo investigación y el tipo de modalidad para los estudios incluidos. Posteriormente, estos se asignaron a la categoría de la combinación de información que se fusionó para crear modelos para predicción/clasificación/agrupamiento (Tabla 2). Este diagrama debería servir como recurso para que los colegas investigadores identifiquen áreas que son menos frecuentes, como la dermatología48, la hematología49, los problemas de medicamentos/drogas, como el trastorno por consumo de alcohol, que pueden ofrecer nuevos horizontes de investigación50. La Figura 4 identifica las plataformas de codificación, la tendencia de publicación y la ubicación a lo largo del tiempo, las ubicaciones de los autores y las cohortes de pacientes de los artículos incluidos en esta revisión.

La neurología, y en particular, las investigaciones sobre la enfermedad de Alzheimer representaron la mayoría de los artículos publicados sobre este tema (n = 22). Con el inicio de la pandemia de COVID-19, se dedicaron varios artículos de investigación primaria a este tema, al que se puede llegar a través de las jerarquías de enfermedades respiratorias o infecciosas. Todos los artículos señalados en esta revisión utilizaron dos o tres fuentes de datos dispares al fusionar sus datos, y específicamente la de imágenes y EHR (n = 52), fue la más prevalente.

un mapa de calor del tipo de fusión desglosado en los documentos de las plataformas de codificación utilizados mediante la suma de los recuentos de documentos (aquellos que mencionaron la plataforma utilizada), siendo los más populares la plataforma Python y la fusión temprana. Es de destacar que 37 de los documentos no mencionaron explícitamente una plataforma. b Número total de trabajos de investigación originales publicados en este ámbito en los últimos 10 años. c Desglose continental de las contribuciones de los autores (tenga en cuenta que algunos artículos tienen autores de varios continentes). d Desglose por tipo de publicación (revista clínica/no clínica). Menos de la mitad (37,6%) de los artículos se publicaron en una revista destinada a un público clínico. e Desglose por sexo de las poblaciones estudiadas. Tanto hombres como mujeres estuvieron representados en los documentos, sin embargo, el grado de representación varió dentro de los estudios individuales.

De los modelos utilizados en los trabajos, 126/128 informaron explícitamente haber realizado un procedimiento de validación de los mismos. Los procesos de validación más comunes realizados fueron validación cruzada N-fold (55)51,52, división de prueba de tren (51), validación cruzada de exclusión (10) y conjunto de datos externo (10). Se utilizó una cornucopia de técnicas y métodos de aprendizaje automático dentro y entre los artículos de esta revisión. Se han resumido en la Tabla 2, señalando en qué subtipo de paraguas de fusión se implementaron.

La mayoría de los artículos se publicaron utilizando la fusión temprana. De ellos, la mayoría se publicaron utilizando imágenes médicas y datos EHR34,36,48,53,56,57,60,62,63,64,68,71,73,75,85,86,87,88,90,92 ,93,94,95,96,98,100,104,111. Casi todos estos documentos realizaron la numerización de las características de la imagen, en esencia convirtiéndolos en datos estructurados antes del procesamiento, sin embargo, dos realizaron la factorización matricial34,36. Se observó una combinación de EHR y datos de texto en 15 artículos31,54,69,72,79,80,81,91,99,102,106,112. Meng et al. creó un modelo de aprendizaje de representación bidireccional que utilizó la asignación latente de Dirichlet (LDA) en notas clínicas112. Cohen et al. usaron unigramas y bigramas junto con el uso de medicamentos54. Zeng et al. Utilizó identificadores de conceptos del texto como características de entrada81. Nueve artículos utilizaron la fusión temprana con imágenes, EHR y datos genómicos32,50,51,55,61,65,83,89,108. Donan et al. componentes concatenados derivados de imágenes con puntajes de riesgo poligénico83. Lin et al. también creó puntajes agregados de resonancia magnética, líquido cefalorraquídeo e información genética y los reunió en una sola máquina de aprendizaje extremo cohesiva para predecir el deterioro cognitivo leve55. Tremblay et al. usó una spline de regresión adaptativa multivariada (MARS) después de la normalización, eliminando características altamente correlacionadas89. Diez artículos realizaron la fusión utilizando imágenes y datos genómicos33,52,70,76,77,78,82,84,97,110. Tres de estos generaron matrices de correlación como características mediante la vectorización de parámetros de imágenes y su correlación con polimorfismos de un solo nucleótido (SNP) antes de introducirlos en el modelo33,70,78. Tres artículos de esta categoría utilizaron EHR y series temporales58,74,101. Tanto Hernández como Canniére et al. implementaron sus métodos con fines de rehabilitación cardíaca y aprovecharon el poder de las máquinas de vectores de soporte (SVM). Sin embargo, Hernández conservó la información de la serie temporal al ensamblar datos de ECG en tensores que conservan las relaciones estructurales y temporales inherentes al espacio de características74, mientras que Canniére realizó una reducción de la dimensionalidad de la información de la serie temporal utilizando diagramas t-SNE58. Dos artículos comprendían la fusión temprana utilizando imágenes y series temporales67,103. Hubo dos artículos que aprovecharon EHR y la información genómica66,119. Luo et al. implementó la factorización de matriz híbrida no negativa (HNMF) para encontrar coherencia entre fenotipos y genotipos en aquellos que padecen hipertensión119. Un artículo aprovechó la fusión temprana utilizando imágenes y datos de texto105 y otro utilizó EHR, genómica, transcriptómica y reclamaciones de seguros157.

La fusión intermedia tuvo el segundo mayor número de artículos publicados. 14 utilizaron imágenes y datos EHR43,59,113,114,118,121,123,125,126,129,131,132,133,135,137. Zihni et al. combinó la salida de un perceptrón multicapa (MLP) para modelar datos clínicos y una red neuronal convolucional (CNN) para modelar datos de imágenes en una sola capa final completamente conectada para predecir accidentes cerebrovasculares135. Un enfoque muy similar fue adoptado por Tang et al. quien usó CNNs tridimensionales y fusionó las capas en la última capa113. Los datos de EHR y de texto se fusionaron en 11 artículos41,44,80,107,109,116,122,126,134,136,142. De estos, seis41,44,80,122,134,142 utilizaron redes de largo plazo a corto plazo (LSTM), CNN o CNN guiadas por el conocimiento160 en su fusión de EHR y notas clínicas. Chowdhury et al. utilizó redes neuronales gráficas y codificadores automáticos para aprender metaincrustaciones a partir de resultados de pruebas de laboratorio estructuradas y notas clínicas107,109. Pivovarov et al. aprendió fenotipos probabilísticos a partir de notas clínicas y datos de órdenes de medicación/laboratorio (EHR)136. Dos modelos, cada uno empleando LDA donde el tipo de datos se trató como una bolsa de elementos y para brindar coherencia entre los dos modelos para identificar fenotipos únicos. Ye et al. y Shin et al. utilizaron identificadores de conceptos a través de técnicas de PNL y bolsa de palabras, respectivamente, antes de probar una multitud de modelos secundarios116,126. En general, las notas clínicas pueden proporcionar información complementaria a los datos estructurados de EHR, donde a menudo se necesita el procesamiento del lenguaje natural (NLP) para extraer dicha información161,162,163. Se publicaron algunos estudios utilizando imágenes y genómica37,117,120. En este caso, la radiogenómica se utilizó para diagnosticar el trastorno por déficit de atención con hiperactividad (TDAH), la supervivencia del glioblastoma y la demencia, respectivamente. Las puntuaciones de riesgo poligénico se combinaron con la resonancia magnética por Yoo et al. que utilizó un conjunto de bosques aleatorios para el diagnóstico de TDAH120. Zhou et al. fusionaron información de SNP junto con resonancia magnética y tomografía por emisión de positrones (PET) para el diagnóstico de demencia mediante el aprendizaje de representaciones latentes (es decir, características de alto nivel) para cada modalidad de forma independiente. Posteriormente, se llevó a cabo el aprendizaje de representaciones de características latentes conjuntas para cada par de combinación de modalidad y luego el aprendizaje de las etiquetas de diagnóstico mediante la fusión de las representaciones de características latentes conjuntas aprendidas de la segunda etapa37. Wijethilake usó MRI y perfiles de expresión génica, realizando la eliminación recursiva de características antes de fusionarse en múltiples modelos SVM, regresión lineal y red neuronal artificial (ANN). El modelo de regresión lineal superó a los otros dos modelos combinados y a cualquier modalidad única117. Wang et al. y Zhang et al. exhibieron su trabajo en la fusión de imágenes e información de texto45,46. Ambos usaron LSTM para modelar el lenguaje de una CNN para generar incrustaciones que se unieron en un modelo de atención dual. Esto se logra calculando un vector de contexto con información atendida preservada para cada modalidad que resulta en un aprendizaje conjunto. Rara vez se publicaron artículos usando: Imaging/EHR/Text115, Genomic/Text49, Imaging/Time series127, Imaging/Text/Time series47, Imaging/EHR/Genomic130, Imaging/EHR/Time series124, EHR/Genomic128, EHR/Text/Time serie42.

Un número mucho menor (n = 20) de artículos utilizó fusión tardía. Siete de ellos utilizaron imágenes y tipos de datos EHR138,139,144,150,151,154,164. Tanto Xiong et al. y Yin et al. alimentó los resultados en una CNN para proporcionar una ponderación y una decisión finales150,151. Se publicaron tres artículos utilizando un enfoque trimodal: imágenes, HCE y genómica130,147,148. Xu et al. y Faris et al. artículos publicados utilizando EHR y datos de texto146,155. Faris et al. notas clínicas procesadas utilizando TF-IDF, vectorizador hash e incrustaciones de documentos junto con datos clínicos binarizados155. Se aplicaron regresión logística (LR), bosque aleatorio (RF), clasificador de descenso de gradiente estocástico (clasificador SGD) y un perceptrón multicapa (MLP) a ambos conjuntos de datos de forma independiente y los resultados finales de los dos modelos se combinaron utilizando diferentes esquemas: clasificación , suma y multiplicación. Se publicaron dos artículos utilizando imágenes y series temporales149,152, ambos empleando CNN, uno en información de video de neonatos149 y el otro en radiografías de tórax152. Sin embargo, diferían en el procesamiento de los datos de la serie temporal. Salekin usó una CNN bidireccional y Nishimori usó una CNN unidimensional. Se publicaron muchos menos artículos utilizando Imaging/EHR/Text153, EHR/Genomic/Text145, Imaging/EHR, Time Series/141, Imaging/Genomic156, EHR/Genomic140 e Imaging/Text39.

Dos artículos realizaron múltiples arquitecturas de fusión de datos158,159. Huang et al. creó siete arquitecturas de fusión diferentes. Estos incluyeron fusión temprana, conjunta y tardía. La arquitectura que mejor se desempeñó fue la fusión media elástica tardía para el diagnóstico de embolia pulmonar utilizando datos de tomografía computarizada y EHR159. Su Late Elastic Average Fusion aprovechó una ElasticNet (regresión lineal con anteriores L1 y L2 combinados que actúan como regularizadores) para las variables EHR. El-Sappagh et al. realizó una fusión temprana y tardía para crear un modelo interpretable de detección de progresión y diagnóstico de Alzheimer158. Su modelo de mejor rendimiento fue uno que implementó explicaciones basadas en instancias del clasificador de bosque aleatorio mediante el uso de la atribución de funciones SHpley Additive exPlanations (SHAP). A pesar de utilizar datos clínicos, genómicos y de imágenes, se descubrió que la característica más influyente era el miniexamen del estado mental.

La fusión de datos puede ayudar a abordar la representación sexual y aumentar los problemas de diversidad de la población (incluidas las poblaciones minoritarias) en el modelado de la salud mediante la creación de un conjunto de datos más representativo si un tipo de datos contiene más de un sexo y otro tipo de datos contiene más del otro. Esta capacidad de compensación recíproca de emplear varios conjuntos de datos también sería válida para las diversidades raciales o étnicas.

Menos de la mitad (37,6%) de los artículos se publicaron en una revista destinada a un público clínico. Ninguno de los artículos incluidos en la cohorte final de estudios había creado herramientas para uso clínico que tuvieran la aprobación de la FDA. Con base en el número creciente de artículos en este campo, existe una necesidad e interés crecientes y globales para caracterizar estos hallazgos.

Volviendo a nuestras preguntas de investigación, que esbozamos desde el inicio de este trabajo, llegamos a la Tabla 3.

Se plantearon muchas cuestiones en los documentos incluidos en esta revisión. Las limitaciones informadas más comunes fueron cohortes de un solo sitio, tamaños de muestra pequeños, datos retrospectivos, muestras desequilibradas, manejo de datos faltantes, ingeniería de características, control de factores de confusión e interpretación de los modelos empleados. Las muestras se construyeron con mayor frecuencia a partir de un solo hospital o centro médico académico148. Los tamaños de muestra pequeños a menudo conducen a un ajuste y una generalización deficientes del modelo. La mediana del número de pacientes únicos notificados en los estudios fue de 658 con una desviación estándar de 42 600. Esto sugiere que, si bien algunos estudios pudieron aprovechar cohortes grandes y multicéntricas, muchos no pudieron hacerlo70,82,120,131.

Rara vez se realizaron investigaciones de aprendizaje automático sobre datos prospectivos, un problema endémico en el campo84. A menudo se ignoraban los desequilibrios de las muestras, lo que generaba modelos sesgados y métricas de rendimiento engañosas75,151. Por lo general, los datos que faltaban se ignoraban al descartarlos o imputarlos; si no se tratan adecuadamente, los resultados pueden sesgarse68,106,173. Se necesitan más estudios para analizar las frecuencias y los tipos de datos faltantes174,175,176,177. La comparación de diferentes métodos de imputación sobre los resultados finales debe ser parte del proceso de presentación de informes178. Al realizar análisis estadísticos, los investigadores generalmente ignoraron posibles factores de confusión como la edad o el género. Hacerlo puede tener efectos importantes en el impacto de los resultados153. Dichos posibles efectos de confusión deben ser tomados en consideración por el modelo179,180 o ajustados primero, antes de informar los resultados del modelo. Se deben presentar interpretaciones razonables del modelo y los resultados para que los médicos encuentren los resultados creíbles y luego los utilicen para brindar orientación para los tratamientos. Sin embargo, la mayoría de los autores no se tomaron el tiempo de interpretar los modelos para audiencias clínicas. Además, cómo los resultados pueden funcionar como una herramienta de apoyo a la decisión clínica. Diferentes tipos de modelos justifican diferentes explicaciones129,130. Estas limitaciones se destacan donde ocurren en el procesamiento de datos y la canalización de creación de modelos en la Fig. 5.

Las limitaciones a la implementación de la fusión multimodal se estratifican según su ubicación en el flujo de trabajo. Estos incluyen problemas asociados con los datos subyacentes, el modelado que surge de esos datos y, finalmente, cómo se transfieren de nuevo a los sistemas de salud para brindar apoyo en la toma de decisiones.

Para agilizar y facilitar este campo, hemos esbozado varios vacíos para futuras investigaciones en este campo. Estos se enumeran en la Fig. 5 y se exploran. Los temas de medicamentos/drogas presentan un área subrepresentada, con solo dos artículos publicados en este campo50,66. El conocimiento de los efectos de interacción de los medicamentos es un tema difícil y creciente181,182,183,184, particularmente en geriatría, que dio origen a los criterios de Beer185. La realización de aprendizaje automático multimodal puede ofrecer una detección más temprana de eventos adversos asociados con el uso indebido de medicamentos que es el resultado de un error iatrogénico, el incumplimiento o la adicción. Justificaciones similares a las descritas anteriormente podrían aplicarse a otras áreas vistas como "infrasaturadas", como hematología con un solo artículo49 y nefrología con solo tres41,87,99.

Aumentar la toma de decisiones clínicas con ML para mejorar la investigación clínica y los resultados ofrece impactos positivos que tienen ramificaciones económicas, éticas y morales, ya que puede reducir el sufrimiento y salvar vidas humanas. Múltiples estudios ahora han señalado que si los datos en los que se entrena un modelo ML están sesgados, esto a menudo genera sesgos en las predicciones186,187. Garantizar datos representativos de múltiples sitios limitará los sesgos del modelo. También abogamos por la creación de canalizaciones/bibliotecas de acceso abierto para acelerar la conversión de datos y hacer que la tecnología esté más disponible188,189. Mejorar la precisión a expensas de transformaciones de datos complejas y que consumen mucho tiempo puede significar que el poder predictivo obtenido de un enfoque multimodal se ve compensado por este cuello de botella inicial, lo que significa que las predicciones ya no son temporalmente relevantes o útiles.

Si bien la incorporación de datos dispares se presta a predicciones aparentemente mejores139, a medida que se acumula el conocimiento sobre ciertas enfermedades, la fusión de datos en el cuidado de la salud es un objetivo en evolución que garantiza una adaptación proactiva al panorama dinámico190. No existe un único modelo de ML con aplicabilidad ubicua. Por ejemplo, se ha demostrado en las interacciones proteína-proteína que la utilización del algoritmo de conjunto XGBoost reduce las características ruidosas, mantiene las características sin procesar significativas y evita el sobreajuste122. De manera similar, LightGBM191 tiene las ventajas de una mayor velocidad de entrenamiento, mayor eficiencia, menor uso de memoria, mejor precisión192 y ha superado constantemente a otros modelos193,194. Las redes neuronales gráficas pueden sintetizar nuevas conexiones que conducen al descubrimiento de fármacos/objetivos122.

En la misma línea, siempre se deben considerar modelos que permitan la interpretabilidad. Por ejemplo, el modelo de Perotte et al.99 no se comparó con clasificadores convencionales de aprendizaje automático más simples, y la factorización de matriz colectiva se vuelve inherentemente difícil de interpretar79. Contraste esto con el trabajo de Fraccaro et al. cuyo estudio de degeneración macular observó que su caja blanca funcionaba tan bien como las implementaciones de métodos de caja negra68.

A medida que maduran este campo y los conjuntos de datos asociados, se necesita trabajar para abordar los principios de la gestión de datos: Encontrabilidad, Accesibilidad, Interoperabilidad y Reutilización de conjuntos de datos digitales (FAIR)195. Esto implica tener metadatos que sean únicos/no identificados y que se puedan buscar, con puntos de acceso abiertos o federados (Encontrabilidad/Accesibilidad), datos que se comparten ampliamente (Interoperabilidad) y, finalmente, datos que contienen atributos precisos y relevantes bajo un acuerdo de uso de datos claro. /licencia (Reutilizable). Es imperativo que exista una definición clara de los resultados, la evaluación de los sesgos y la interpretabilidad/transparencia de los resultados, y las limitaciones inherentes a sus predicciones196.

De crucial importancia para la adopción es que las predicciones sean específicas del paciente y procesables a nivel granular197. Por ejemplo, un algoritmo de predicción de readmisión de 30 días106, si se implementa, puede informar la gestión de recursos y generar investigaciones adicionales que pueden disminuir la cantidad de pacientes readmitidos. Linden et al. desarrolló un modelo de riesgo convolucional LOngitudinal personalizado profundo (DeepLORI) capaz de crear predicciones que pueden interpretarse a nivel de pacientes individuales122. Aprovechar tanto la información clínica como la empírica para crear recomendaciones significativas y utilizables136 puede mejorar la comprensión del médico/usuario final al relacionarse con los marcos existentes. Los recursos como CRISP-ML brindan un marco para trasladar los casos de uso a aplicaciones más prácticas198, mientras que los esfuerzos para competir por las aprobaciones de la Administración de Alimentos y Medicamentos (FDA, por sus siglas en inglés) como una herramienta para su uso son alentados a una mayor adopción.

La implementación de modelos con interfaces de usuario que anotan las limitaciones inherentes a esas predicciones196 permitirá a los responsables de la toma de decisiones clínicas interactuar e implementar cambios en consecuencia. El seguimiento de las tareas antes mencionadas impulsará a los campos individuales a crear recomendaciones para implementaciones posteriores en el mundo real que sean relevantes, procesables y trasciendan las diferencias regionales/de subpoblación. Las limitaciones de esta revisión de alcance incluyen que no es una revisión sistemática. Por lo tanto, es posible que se hayan perdido algunos títulos que deberían haberse incluido. Dado que el objetivo principal de este estudio era realizar perfiles de artículos científicos sobre el aprendizaje automático multimodal en la salud, no se realizó una evaluación crítica de la calidad metodológica individual de los estudios incluidos. Sin embargo, se proporciona un comentario sobre las limitaciones metodológicas que podrían haber afectado sus resultados y sus afirmaciones. Esta revisión ofrece metadatos completos y una evaluación en todos los dominios de la salud, independientemente del tipo de aprendizaje automático o los datos utilizados. Este trabajo sirve tanto de resumen como de trampolín para futuras investigaciones en este campo. La fusión de datos en salud es un campo creciente de interés mundial. Las áreas temáticas de la salud que tienen una alta frecuencia en relación con otras fueron la neurología y el cáncer, que sirven para resaltar oportunidades para una mayor exploración en temas poco estudiados (hematología, dermatología). El aprendizaje automático unimodal contrasta inherentemente con la práctica clínica rutinaria actual en la que los datos de imágenes, clínicos o genómicos se interpretan al unísono para informar un diagnóstico preciso y garantiza más trabajo para facilitar su uso e implementación. En general, parece justificado afirmar que la fusión de datos multimodal aumenta el rendimiento predictivo sobre los enfoques unimodales (mejoría media del 6,4 % en el AUC) y se justifica cuando corresponde. El aprendizaje automático multimodal puede ser una herramienta aprovechada en la medicina de precisión para subagrupar aún más a los pacientes y su huella digital de salud única. Además, dado que ningún artículo de nuestra revisión buscó la aprobación de la FDA, abogamos por más esfuerzos en la traducción de modelos y exploramos las necesidades que facilitan ese fin.

Un recurso de tablero publicado junto con este artículo de revisión está disponible en: https://multimodal-ml-health.herokuapp.com/. Este panel se creó como una visualización interactiva basada en una infografía de los principales hallazgos presentados en este documento. Para fomentar el trabajo futuro, se creó un menú desplegable para ayudar a los investigadores a filtrar el archivo de datos subyacente de los títulos en función del tema de salud general específico por selección. Esto facilitará la localización de los documentos pertinentes.

Los requisitos de inclusión fueron: (a) artículo de investigación original; (b) publicado en los últimos 10 años (que abarca los años 2011–2021); (c) publicado en inglés; y (d) sobre el tema de multimodal o multivista utilizando el aprendizaje automático en salud para aplicaciones de diagnóstico o pronóstico. 'Multimodal' o 'multivista' para nuestro contexto significa que las múltiples fuentes de datos no eran del mismo tipo. Por ejemplo, mientras que un documento que usa CT y MRI puede considerarse una imagen multimodal; sin embargo, según nuestro criterio, se consideraría unimodal (es decir, solo incluye imágenes). Las exclusiones para los fines de esta revisión fueron: (a) artículos científicos no publicados en inglés; (b) comentarios o editoriales; o (c) otros artículos de revisión. Los trabajos también se excluyeron si los datos no procedían de seres humanos. También excluimos artículos en los que la fusión ya se produjo en la etapa de generación de datos, como la transcriptómica espacial que produce imágenes integradas de tejidos y datos de transcriptómica199,200,201. Todos los documentos se sometieron a una verificación de 2 personas para su inclusión en el manuscrito.

Las cadenas de búsqueda se establecieron a través de búsquedas bibliográficas y experiencia en el dominio. Se identificaron palabras clave adicionales con base en matrices de co-ocurrencia de palabras clave establecidas a partir de los resúmenes de los artículos incluidos previamente. La Figura 6a muestra las cadenas de búsqueda, donde una cadena individual incluiría una palabra clave de cada columna, esto se realizó para todas las combinaciones de cadenas de búsqueda. En la figura 6b se muestra una descripción general del proceso de inclusión/exclusión, que sigue el estándar establecido por la extensión PRISMA para las revisiones de alcance202.

una palabra clave relacionada con la salud, palabra clave relacionada con multimodal, palabras clave relacionadas con el aprendizaje automático, |: o. Por ejemplo, "salud + datos heterogéneos + aprendizaje automático" sería una de las cadenas de búsqueda. b Resumen del proceso de inclusión del estudio. c Preguntas de investigación planteadas.

La información obtenida de los artículos incluyó el título, el año de publicación, la aprobación de la herramienta por parte de la FDA, si se publicó en una revista clínica, las afiliaciones de los autores, la cantidad de autores, las ubicaciones (continentes) y el resumen. Se extrajeron los temas de salud abordados, así como los temas médicos más amplios que abarcan la enfermedad. Por ejemplo, el cáncer de pulmón sería la enfermedad específica en cuestión. Surge de los temas de Cáncer y Respiratorio según nuestra clasificación. La clasificación de temas de salud fue supervisada y revisada por un médico para garantizar la precisión. Como múltiples temas de salud a menudo abarcaban una sola enfermedad de salud abordada en cada artículo, varios artículos se cuentan dos veces. Esto es cierto cuando se mapea desde el lado derecho del diagrama de Sankey a la enfermedad de salud específica en el medio.

Registramos y extrajimos el número de modalidades diferentes y las divisiones (es decir, texto/imagen frente a EHR/genómica/serie temporal) utilizadas. El objetivo de cada artículo se extrajo en un resumen de 1 o 2 oraciones junto con la palabra clave (si estaba disponible). La caracterización de los pacientes en los estudios se realizó determinando el número de pacientes únicos en la cohorte y el sexo del paciente (es decir, hombres/mujeres/ambos o no mencionados).

La información computacional extraída incluyó: (a) las interfaces de codificación utilizadas en el procesamiento/análisis de datos, (b) tipo de aprendizaje automático, (c) técnica de fusión de datos (temprana, intermedia, tardía) y (d) tipos de aprendizaje automático. algoritmos utilizados. Si se realizó la validación (sí/no), las pruebas estadísticas realizadas, la naturaleza de la validación y las medidas de resultados se registraron para cada artículo. La importancia, el impacto y las limitaciones de cada artículo se extrajeron mediante la revisión de los principales hallazgos y limitaciones, tal como se indica en los artículos.

Más información sobre el diseño de la investigación está disponible en el Resumen de informes de investigación de Nature vinculado a este artículo.

Nils, BH & Sabine, S. La ética del soporte de decisiones clínicas basado en el aprendizaje automático: un análisis a través de la lente de la teoría de la profesionalización. BMC Med. Ética 22, 112 (2021).

Sanchez-Pinto, LN, Luo, Y. & Churpek, MM Big data y ciencia de datos en cuidados críticos. Cofre 154, 1239–1248 (2018).

Artículo PubMed PubMed Central Google Académico

Miotto, R., Wang, F., Wang, S., Jiang, X. y Dudley, JT Aprendizaje profundo para el cuidado de la salud: revisión, oportunidades y desafíos. Breve Bioinforme. 19, 1236–1246 (2017).

Timoteo, JWD et al. El aprendizaje automático del movimiento tridimensional del ventrículo derecho permite la predicción de resultados en la hipertensión pulmonar: un estudio de imágenes de resonancia magnética cardíaca. Radiología 283, 381–390 (2017).

Artículo Google Académico

Gigi, FS, Gregory, RH, Bradley, JN y Jun, D. Predicción del riesgo de cáncer de mama utilizando datos de salud personal y modelos de aprendizaje automático. PLoS One 14, e0226765 (2019).

Michael, F., Justin, BE-T. & Elizabeth, S. Implicaciones clínicas y de salud pública de las pautas de la sociedad endocrina de 2019 para el diagnóstico de diabetes en adultos mayores. Diabetes Care 43, 1456–1461 (2020).

Artículo Google Académico

Gambhir, SS, Ge, TJ, Vermesh, O. y Spitler, R. Hacia el logro de una salud precisa. ciencia Traducir Medicina. 10, eaao3612 (2018).

Artículo PubMed PubMed Central Google Académico

Schüssler-Fiorenza Rose, SM et al. Un enfoque longitudinal de big data para la salud de precisión. Nat. Medicina. 25, 792–804 (2019).

Artículo PubMed Google Académico

Feero, WG Introducción a la "genómica y la salud de precisión". JAMA 317, 1842–1843 (2017).

Artículo PubMed Google Académico

Kellogg, RA, Dunn, J. & Snyder, MP ómicas personales para la salud de precisión. Circulación Res. 122, 1169–1171 (2018).

Artículo CAS PubMed Google Académico

Thapa, C. & Camtepe, S. Datos de salud de precisión: requisitos, desafíos y técnicas existentes para la seguridad y privacidad de los datos. computar Biol. Medicina. 129, 104130 (2021).

Artículo PubMed Google Académico

Pranata, S. et al. Elementos de atención médica de precisión, definiciones y estrategias para pacientes con diabetes: una revisión de la literatura. En t. J. Medio Ambiente. Res. Salud Pública 18, 6535 (2021).

Artículo PubMed PubMed Central Google Académico

Shih Cheng, H., Anuj, P., Saeed, S., Imon, B. y Matthew, PL Fusión de imágenes médicas y registros de salud electrónicos mediante el aprendizaje profundo: una revisión sistemática y pautas de implementación. npj Digital Med. 3, 136 (2020).

Weixian, H., Kaiwen, T., Jinlong, H., Ziye, Z. & Shoubin, D. Una revisión de los métodos de fusión para datos ómicos y de imágenes. En IEEE/ACM Trans Comput Biol Bioinform (IEEE, 2022).

Federico, C. Una revisión de las técnicas de fusión de datos. Scientific World J. 2013, 704504 (2013).

Alan, NS, Christopher, LB y Franklin, EW Revisiones del modelo de fusión de datos JDL. Sens. Fusion.: Arquitecturas, Algoritmos, Appl. III 3719, 430 (1999). editorial = SPIE.

Google Académico

Erik, M.-M.-R., Antonio, AA, Ramón, FB & Enrique, G.-C. Precisión mejorada en la predicción de la mejor arquitectura de fusión de sensores para múltiples dominios. Sensores 21, 7007 (2021).

Ahmad, FS, Luo, Y., Wehbe, RM, Thomas, JD y Shah, SJ Avances en los enfoques de aprendizaje automático para la insuficiencia cardíaca con fracción de eyección conservada. Fallo cardíaco Clin. 18, 287–300 (2022).

Artículo PubMed Google Académico

Erik, B. et al. Aprendizaje automático/inteligencia artificial para la fusión de datos de sensores: oportunidades y desafíos. En IEEE Aerospace and Electronic Systems Magazines vol. 36, 80–93 (IEEE, 2021).

Li, Y., Wu, X., Yang, P., Jiang, G. y Luo, Y. Aplicaciones de aprendizaje automático en el diagnóstico, tratamiento y pronóstico del cáncer de pulmón. Preimpresión en https://arxiv.org/abs/2203.02794 (2022).

Kohane, IS et al. Lo que todo lector debe saber sobre los estudios que utilizan datos de registros de salud electrónicos, pero que puede tener miedo de preguntar. J.Med. Resolución de Internet 23, e22219 (2021).

Artículo PubMed PubMed Central Google Académico

Andrés, C. et al. Modelos de pronóstico de aprendizaje automático del brote de ébola de 2014–16: desafíos de armonización de datos, estrategias de validación y aplicaciones de mHealth. EClinicalMedicine 11, 54–64 (2019).

Artículo Google Académico

Afshin, J., Jean Pierre, P. y Johanne, M.-P. Modelos de predicción específicos del paciente basados ​​en aprendizaje automático para la osteoartritis de rodilla. Nat. Rev. Reumatol. 15, 49–60 (2019).

Artículo Google Académico

Luo, Y., Ahmad, FS & Shah, SJ Factorización de tensor para medicina de precisión en insuficiencia cardíaca con fracción de eyección preservada. J. Cardiovasc. Traducir Res. 10, 305–312 (2017).

Luo, Y., Wang, F. & Szolovits, P. Tensor factorización hacia la medicina de precisión. Sesiones informativas Bioinform. 18, 511–514 (2016).

Rasmussen L. et al. Consideraciones para mejorar la portabilidad de los algoritmos de fenotipo basados ​​en registros de salud electrónicos. En Actas del Simposio Anual AMIA 2019 2019 (2019).

Zhong, Y. et al. Caracterización de patrones de diseño de algoritmos de extracción de fenotipos basados ​​en EHR. En 2018 Conferencia internacional IEEE sobre bioinformática y biomedicina (BIBM) 1143–1146 (IEEE, 2018).

Rasmussen, LV et al. Soluciones para desafíos inesperados encontrados al integrar los resultados de la investigación genómica en el EHR. ACI Abierto 4, e132–e5 (2020).

Artículo Google Académico

Shang, N. et al. Hacer visible el trabajo para la implementación de fenotipos electrónicos: lecciones aprendidas de la red eMERGE. J. Biomédica. información 99, 103293 (2019).

Artículo Google Académico

Dana, L., Tulay, A. & Christian, J. Fusión de datos multimodal: una descripción general de los métodos, desafíos y perspectivas. proc. IEEE 103, 1449–1477 (2015).

Artículo Google Académico

Wei, C., Yungui, H., Brendan, B. & Simon, L. La utilidad de incluir informes de patología para mejorar la identificación computacional de los pacientes. J. Pathol. Informar. 7, 46 (2016).

Yubraj, G., Ramesh Kumar, L. y Goo Rak, K. Predicción y clasificación de la enfermedad de Alzheimer en función de las características combinadas del genotipo de la apolipoproteína E, el líquido cefalorraquídeo, la RM y los biomarcadores de imágenes FDG-PET. Frente. computar Neurosci. 13, 72 (2019).

Xia An, B., Xi, H., Hao, W. y Yang, W. Análisis de datos multimodales de la enfermedad de Alzheimer basado en la agrupación de bosques aleatorios evolutivos. IEEE J. Biomédica. Informe de Salud. 24, 2973–2983 (2020).

Artículo Google Académico

Ariana, A. et al. La factorización de matriz no negativa de MRI multimodal, fMRI y datos fenotípicos revela cambios diferenciales en las subredes de modo predeterminado en el TDAH. Neuroimagen 102, 207–219 (2014).

Artículo Google Académico

Chao, G., Luo, Y. & Ding, W. Avances recientes en la reducción de dimensión supervisada: una encuesta. Mach. Aprender. Saber Extracción 1, 341–358 (2019).

Artículo Google Académico

Pillai, PSLTY Fusión de datos heterogéneos para la clasificación de la enfermedad de Alzheimer. Semental. Tecnología de la salud. información 216, 731–735 (2015).

Google Académico

Tao, Z., Kim Han, T., Xiaofeng, Z. y Dinggang, S. Aprendizaje efectivo de características y fusión de datos multimodales utilizando redes neuronales profundas por etapas para el diagnóstico de demencia. Tararear. Mapa cerebral. 40, 1001–1016 (2019).

Artículo Google Académico

Robi, P. Sistemas basados ​​en conjuntos en la toma de decisiones. Sistema de circuitos IEEE. revista 6, 21–44 (2006).

Artículo Google Académico

Francesco, C. & Marwa, M. Aprendizaje automático temporal multimodal para el reconocimiento del trastorno bipolar y la depresión. Aplicación de análisis de patrones. 25, 493–504 (2021).

Durrant-Whyte, modelos de sensores HF e integración multisensor. En t. J.Robot. Res. 7, 97–113 (1988).

Artículo Google Académico

Xu, Z. et al. Identificación de subfenotipos predictivos de daño renal agudo utilizando datos de historia clínica electrónica estructurados y no estructurados con redes de memoria. J. Biomédica. Informar. 102, 103361 (2019).

Artículo Google Académico

Dongdong, Z., Changchang, Y., Jucheng, Z., Xiaohui, Y. y Ping, Z. Combinación de datos estructurados y no estructurados para modelos predictivos: un enfoque de aprendizaje profundo. BMC Med. Informar. Decir Mak. 20, 280 (2020).

Shaker, E.-S., Tamer, A., Islam, SMR y Kyung Sup, K. Modelo de aprendizaje profundo multimodal y multitarea para la detección de la progresión de la enfermedad de Alzheimer basado en datos de series temporales. Neurocomputación 412, 197–215 (2020).

Artículo Google Académico

Haiyang, Y., Li, K. & Feng Qiang, X. Red multimodal de notas clínicas temporales para la predicción de la mortalidad. J. Biomédica. Semántica 12, 3 (2021).

Zizhao, Z., Pingjun, C., Manish, S. y Lin, Y. TandemNet: destilación de conocimientos a partir de imágenes médicas utilizando informes de diagnóstico como referencias semánticas opcionales. Conferencia internacional sobre computación de imágenes médicas e intervención asistida por computadora, 10435, 320–328 (Springer, Cham, 2017).

Xiaosong, W., Yifan, P., Le, L., Zhiyong, L. y Ronald, MS TieNet: red de incrustación de texto e imagen para la clasificación y notificación de enfermedades comunes del tórax en radiografías de tórax. En Actas de la Conferencia de la IEEE Computer Society sobre visión artificial y reconocimiento de patrones 9049–9058 (IEEE Computer Society, 2018).

Syed Arbaaz, Q., Sriparna, S., Mohammed, H., Gael, D. y Erik, C. Aprendizaje de representación multitarea para la estimación multimodal del nivel de depresión. Inteligencia IEEE. sist. 34, 45–52 (2019).

Artículo Google Académico

Jordan, Y., William, Y. & Philipp, T. Clasificación multimodal de lesiones cutáneas mediante aprendizaje profundo. Exp. Dermatol. 27, 1261–1267 (2018).

Artículo Google Académico

Kai, Z et al. MLMDA: un enfoque de aprendizaje automático para predecir y validar asociaciones de microARN y enfermedades mediante la integración de fuentes de información heterogéneas. J. traducción Medicina. 17, 260 (2019).

Sivan, K. et al. Predicción del riesgo de trastorno por consumo de alcohol utilizando datos longitudinales con biomarcadores multimodales y antecedentes familiares: un estudio de aprendizaje automático. mol. Psiquiatría 26, 1133–1141 (2021).

Artículo Google Académico

Mara Ten, K et al. Predictores de resonancia magnética de la patología amiloide: resultados del estudio EMIF-AD Multimodal Biomarker Discovery. Res. de alzhéimer. El r. 10, 100 (2018).

Isamu, H. et al. La radiogenómica predice la expresión de microARN-1246 en el suero de pacientes con cáncer de esófago. ciencia Rep. 10, 2532 (2020).

Jesus, JC, Jianhua, Y. & Daniel, JM Mejora de las herramientas de análisis de imágenes mediante la fusión de valores fisiológicos cuantitativos con características de imagen. J. Digit Imaging 25, 550–557 (2012).

Artículo Google Académico

Kevin Bretonnel, C. et al. Aspectos metodológicos en la predicción de candidatos para cirugía de epilepsia pediátrica a través del procesamiento del lenguaje natural y el aprendizaje automático. biomedicina Informar. Perspectivas 8, BII.S38308 (2016).

Artículo Google Académico

Weiming, L. et al. Predecir la conversión de la enfermedad de Alzheimer de un deterioro cognitivo leve utilizando un método de calificación basado en máquinas de aprendizaje extremo con datos multimodales. Frente. Envejecimiento Neurosci. 12, 77 (2020).

Miqueas, C. et al. Predicción de la rehospitalización dentro de los 2 años posteriores a la admisión inicial del paciente por un episodio depresivo mayor: un enfoque de aprendizaje automático multimodal. Traducir Psiquiatría 9, 285 (2019).

Jongin, K. & Boreom, L. Identificación de la enfermedad de Alzheimer y el deterioro cognitivo leve utilizando una máquina de aprendizaje extremo jerárquico escaso multimodal. Tararear. Mapa cerebral. 39, 3728–3741 (2018).

Artículo Google Académico

Hélène De, C. et al. El monitoreo portátil y el aprendizaje automático interpretable pueden rastrear objetivamente la progresión en pacientes durante la rehabilitación cardíaca. Sensors (Suiza) 20, 1–15 (2020).

Google Académico

Tamer, A., Shaker, E.-S. & Jose, MA Modelos robustos híbridos de aprendizaje profundo para la detección de la progresión de la enfermedad de Alzheimer. Sistema basado en el conocimiento. 213, 106688 (2021).

Jeungchan, L. et al. Predicción del dolor clínico basada en el aprendizaje automático utilizando neuroimagen multimodal y métricas autonómicas. Dolor 160, 550–560 (2019).

Artículo Google Académico

Uttam, K., Goo Rak, K. y Horacio, R.-G. Una combinación eficiente entre sMRI, CSF, puntaje cognitivo y biomarcadores APOE ϵ 4 para la clasificación de AD y MCI utilizando una máquina de aprendizaje extremo. computar Intel. Neurosci. 2020, 8015156 (2020).

Bo, C., Mingxia, L., Heung, IS, Dinggang, S. y Daoqiang, Z. Aprendizaje de transferencia regularizado múltiple multimodal para la predicción de conversión de MCI. Comportamiento de imágenes cerebrales. 9, 913–926 (2015).

Artículo Google Académico

Kevin, H., Ulrike, L., Markus, M. y Katja, BB. Separación del trastorno de ansiedad generalizada de la depresión mayor mediante datos de MRI clínicos, hormonales y estructurales: un estudio de aprendizaje automático multimodal. Comportamiento cerebral 7, e00633 (2017).

Fayao, L., Luping, Z., Chunhua, S. y Jianping, Y. Aprendizaje de múltiples núcleos en la clasificación primaria para la enfermedad de alzheimer multimodal. IEEE J. Biomédica. Informe de Salud. 18, 984–990 (2014).

Artículo Google Académico

Diego, C.-B. et al. Metodología robusta de clasificación de conjuntos para imágenes SPECT con I123-ioflupano y múltiples biomarcadores heterogéneos en el diagnóstico de la enfermedad de Parkinson. Frente. Neuroinformar. 12, 53 (2018).

Yi, Z. et al. Predicción de reacciones adversas a medicamentos de medicamentos combinados a partir de bases de datos farmacológicas heterogéneas. BMC Bioinforme. 19, 517 (2018).

Chin Po, C., Susan Shur Fen, G. & Chi Chun, L. Hacia el diagnóstico diferencial del trastorno del espectro autista utilizando descriptores de comportamiento multimodal y funciones ejecutivas. computar Idioma del habla 56, 17–35 (2019).

Artículo Google Académico

Paolo, F. et al. Combinación de los signos clínicos de la mácula y las características del paciente para el diagnóstico de la degeneración macular relacionada con la edad: un enfoque de aprendizaje automático Retina. BMC Oftalmol. 15, 10 (2015).

Benjamín, DW et al. Identificación temprana de candidatos a cirugía de epilepsia: un estudio multicéntrico de aprendizaje automático. Acta Neurol. Escanear. 144, 41–50 (2021).

Artículo Google Académico

Xia An, B., Wenyan, Z., Lou, L. & Zhaoxu, X. Detección de genes de riesgo y regiones patógenas del cerebro en EMCI mediante un nuevo algoritmo GERF basado en imágenes cerebrales y datos genéticos. IEEE J. Biomédica. Informe de Salud. 25, 3019–3028 (2021).

Artículo Google Académico

Prashanth, R., Sumantra Dutta, R., Pravat, KM & Shantanu, G. Detección de alta precisión de la enfermedad de Parkinson temprana a través de características multimodales y aprendizaje automático. En t. J.Med. información 90, 13–21 (2016).

Artículo CAS Google Académico

Ali, A.-M. et al. Aprendizaje automático para localizar la zona epileptógena en el lóbulo temporal: cuantificación del valor de la semiología clínica multimodal y la concordancia de imágenes. Frente. Salud Digital 3, 559103 (2021).

Baiying, L. et al. Evaluación de la fibrosis hepática en la hepatitis B crónica a través de datos multimodales. Neurocomputación 253, 169–176 (2017).

Artículo Google Académico

Larry, H. et al. Método multimodal basado en tensores para la monitorización integrativa y continua del paciente durante la atención cardiaca posoperatoria. Artefacto Intel. Medicina. 113, 102032 (2021).

Ivo, DD et al. Análisis predictivo de big data: un estudio de la enfermedad de Parkinson utilizando observaciones grandes, complejas, heterogéneas, incongruentes, de múltiples fuentes e incompletas. PLoS One 11, e0157077 (2016).

Eleftherios, T., Ioannis, S., Apostolos, HK y Kostas, M. Radiotranscriptómica profunda del carcinoma de pulmón de células no pequeñas para evaluar subtipos moleculares e histológicos con un análisis basado en datos. Diagnóstico 11, 2383 (2021).

Hua, W. et al. Identificación de biomarcadores sensibles a enfermedades y cuantitativos de rasgos relevantes a partir de datos genéticos de imágenes heterogéneas multidimensionales a través de un aprendizaje multitarea multimodal escaso. Bioinformática 28, i127–36 (2012).

Xia, B., Xi, H., Yiming, X. & Hao, W. Un enfoque novedoso de CERNNE para predecir genes y regiones cerebrales asociados a la enfermedad de Parkinson en base a datos genéticos de imágenes multimodales. Medicina. Anal de imagen. 67, 101830 (2021).

Vijay, H. et al. Predicción de complicaciones en cuidados intensivos utilizando datos clínicos heterogéneos. Acceso IEEE 4, 7988–8001 (2016).

Artículo Google Académico

Wang, H., Li, Y., Khan, SA y Luo, Y. Predicción de la recurrencia a distancia del cáncer de mama mediante el procesamiento del lenguaje natural y la red neuronal convolucional guiada por el conocimiento. Artefacto Intel. Medicina. 110, 101977 (2020).

Artículo PubMed PubMed Central Google Académico

Zeng, Z. et al. Identificación de recurrencias distantes de cáncer de mama a partir de registros de salud electrónicos mediante aprendizaje automático. J. Informe de atención médica. Res. 3, 283–299 (2019).

Kautzky, A. et al. Clasificación de aprendizaje automático de TDAH y HC por datos serotoninérgicos multimodales. Traducir Psiquiatría 10, 104 (2020).

Nhat Trung, D. et al. Distintos patrones morfológicos cerebrales multivariados y su valor predictivo agregado con puntajes de riesgo cognitivo y poligénico en trastornos mentales. NeuroImagen: Clin. 15, 719–731 (2017).

Artículo Google Académico

Niha, B. et al. El análisis radiogenómico de la vía de la hipoxia predice la supervivencia global en el glioblastoma. ciencia Rep. 8, 7 (2018).

Jan, CP et al. La combinación de imágenes multimodales y características de tratamiento mejora la evaluación pronóstica basada en el aprendizaje automático en pacientes con glioblastoma multiforme. Cáncer Med. 8, 128–136 (2019).

Artículo Google Académico

Hao, Z. et al. El aprendizaje automático revela patrones de resonancia magnética multimodal que predicen el estado de isocitrato deshidrogenasa y 1p/19q en gliomas difusos de bajo y alto grado. J. Neurooncol 142, 299–307 (2019).

Artículo Google Académico

Namyong, P. et al. Predicción de la lesión renal aguda en pacientes con cáncer utilizando datos heterogéneos e irregulares. PLoS One 13, e0199839 (2018).

Wei Liang, T., Chee Kong, C., Sim Heng, O. y Alvin Choong Meng, N. Análisis de regresión basado en conjuntos de datos médicos multimodales para el diagnóstico de osteopenia. Sistema experto aplicación 40, 811–819 (2013).

Artículo Google Académico

Sébastien, T., Yasser, I.-M., José María, M.-P., Alan, CE & Louis De, B. Definición de una firma multimodal de conmociones cerebrales deportivas remotas. EUR. J. Neurosci. 46, 1956-1967 (2017).

Artículo Google Académico

Gianluca, B. et al. Modelado predictivo multimodal del resultado del tratamiento endovascular para el accidente cerebrovascular isquémico agudo mediante el aprendizaje automático. Carrera 51, 3541–3551 (2020).

Yiming, X. et al. Autocodificador variacional multimodal dinámico explicable para la predicción de pacientes con sospecha de pubertad precoz central. IEEE J. Biomédica. Informe de Salud. 26, 1362–1373 (2021).

Alan, DK et al. Marco de modelo mixto para el pronóstico de lesiones cerebrales traumáticas utilizando datos clínicos y de resultados heterogéneos. IEEE J. Biomédica. Informe de Salud. 26, 1285–1296 (2021).

Casper, R. et al. Estratificación de riesgo preoperatorio en cáncer de endometrio (ENDORISK) mediante un modelo de red bayesiano: un estudio de desarrollo y validación. PLoS Med. 17, e1003111 (2020)

Tommaso, G. et al. Red de comorbilidad SARS-COV-2 y resultado en pacientes hospitalizados en Crema, Italia. PLoS One 16, e0248498 (2021).

Huan, Q. et al. Radiómica de aprendizaje automático para predecir la recurrencia temprana en el colangiocarcinoma perihiliar después de la resección curativa. Hígado Int. 41, 837–850 (2021).

Artículo Google Académico

Ramón, C. et al. Evaluación del riesgo de la enfermedad de Alzheimer utilizando métodos de aprendizaje automático a gran escala. PLoS One 8, e77949 (2013).

Aleksei, T. et al. Predicción de la progresión de la artrosis de rodilla basada en el aprendizaje automático multimodal a partir de radiografías simples y datos clínicos. ciencia Rep. 9, 20038 (2019).

Michael, JD et al. Desarrollo y validación de un nuevo grado de Gleason automatizado y perfil molecular que definen una prueba basada en algoritmos de progresión del cáncer de próstata altamente predictiva. Cáncer de próstata Enfermedad prostática. 21, 594–603 (2018).

Artículo Google Académico

Perotte, A., Ranganath, R., Hirsch, JS, Blei, D. & Elhadad, N. Predicción de riesgo para la progresión de la enfermedad renal crónica utilizando datos heterogéneos de registros de salud electrónicos y análisis de series temporales. Mermelada. Medicina. información Asoc. 22, 872–880 (2015).

Artículo Google Académico

Lei, Y., Yalin, W., Paul, MT, Vaibhav, AN y Jieping, Y. Aprendizaje de características de múltiples fuentes para el análisis conjunto de datos de neuroimagen heterogéneos múltiples incompletos. Neuroimagen 61, 622–632 (2012).

Artículo Google Académico

Yanbo, X., Siddharth, B., Shriprasad, RD, Kevin, OM y Jimeng, S. RAIM: Modelo atento e intensivo recurrente de datos de monitoreo multimodal de pacientes. En Actas de la Conferencia Internacional ACM SIGKDD sobre Descubrimiento de Conocimiento y Minería de Datos 2565–2573 (Association for Computing Machinery, 2018).

Yixue, H., Mohd, U., Jun, Y., Hossain, MS y Ahmed, G. Predicción de riesgo de enfermedad multimodal basada en redes neuronales convolucionales recurrentes. futuro genero. Sistema informático 92, 76–83 (2019).

Artículo Google Académico

Shinichi, G., et al. Detección totalmente automatizada de amiloidosis cardíaca habilitada por inteligencia artificial mediante electrocardiogramas y ecocardiogramas. Nat. común 12, 2726 (2021).

Rui, Y. et al. Red de fusión más rica para la clasificación del cáncer de mama basada en datos multimodales. BMC Med. Informar. Decir Mak. 21, 134 (2021).

Li, Y., Wang, H. y Luo, Y. Una comparación de modelos de visión y lenguaje preentrenados para el aprendizaje de representaciones multimodales en imágenes e informes médicos. 2020 IEEE Internacional. Conf. Bioinformar. Biomedicina (BIBM) 2020 1999–2004 (2020).

Sara Bersche, G. et al. Un modelo de aprendizaje automático para predecir el riesgo de reingresos a los 30 días en pacientes con insuficiencia cardíaca: un análisis retrospectivo de datos de registros médicos electrónicos. BMC Med. Informar. Decir Mak. 18, 44 (2018).

Chowdhury, S., Zhang, C., Yu, PS y Luo, Y. Codificador automático de atención de vista múltiple de agrupación mixta para el aprendizaje de representación en el cuidado de la salud. Preimpresión en https://arxiv.org/abs/1910.06456 (2019).

Ilán, S. et al. Un enfoque de aprendizaje no supervisado para identificar firmas novedosas de salud y enfermedad a partir de datos multimodales. Genoma Med. 12, 7 (2020).

Chowdhury, S., Zhang, C., Yu, PS & Luo, Y. Med2Meta: Representaciones de aprendizaje de conceptos médicos con metaincrustaciones. HEALTHINF 2020, 369–376 (2020).

Google Académico

Subramanian V, Do MN, Syeda-Mahmood T. Fusión multimodal de imágenes y genómica para la predicción de recurrencia del cáncer de pulmón, IEEE 17th International Symposium on Biomedical Imaging (ISBI), 804–808, (2020).

Michele, D. et al. Combinando fuentes de datos heterogéneas para el diagnóstico basado en neuroimagen: Re-ponderando y seleccionando lo que es importante. Neuroimagen 195, 215–231 (2019).

Artículo Google Académico

Yiwen, M., William, S., Michael, KO y Corey, WA Aprendizaje de representación bidireccional de transformadores que utilizan datos de registros de salud electrónicos multimodales para predecir la depresión. IEEE J. Biomédica. Informe de Salud. 25, 3121–3129 (2021).

Artículo Google Académico

Xing, T. et al. Elaboración de una firma radiómica basada en resonancia magnética multimodal para la predicción preoperatoria del subtipo histológico en pacientes con cáncer de pulmón de células no pequeñas. BioMed. Ingeniería en línea 19, 5 (2020).

Kathleen, CF, Kristina Lundholm, F., Marie, E., Fredrik, Ö y Dimitrios, K. Predecir el estado del DCL a partir de datos de lenguaje multimodal mediante clasificadores en cascada. Frente. Envejecimiento Neurosci. 11, 205 (2019).

Amir Hossein, Y. et al. Análisis multimodal de la salud mental en las redes sociales. PLoS One 15, e0226248 (2020).

Ye, J., Yao, L., Shen, J., Janarthanam, R. & Luo, Y. Predicción de la mortalidad en pacientes con diabetes en estado crítico mediante aprendizaje automático y notas clínicas. Información médica de BMC. Decir Mak. 20, 1–7 (2020).

CAS Google Académico

Navodini, W., Mobarakol, I. y Hongliang, R. Modelo radiogenómico para la predicción de la supervivencia general del glioblastoma. Med Biol. Ing. Computar 58, 1767–1777 (2020).

Artículo Google Académico

Solale, T. et al. Un enfoque multimodal multitarea distribuido para la predicción de la enfermedad de Alzheimer en un estudio longitudinal. Neuroimagen 206, 116317 (2020).

Luo, Y. et al. Integración de fenotipo y genotipo de hipertensión con factorización de matriz híbrida no negativa. Bioinformática 35, 1395–403 (2019).

Artículo CAS PubMed Google Académico

Jae Hyun, Y., Johanna Inhyang, K., Bung Nyun, K. & Bumseok, J. Exploración de los rasgos característicos del trastorno por déficit de atención/hiperactividad: Hallazgos de MRI multimodal y datos genéticos candidatos. Comportamiento de imágenes cerebrales. 14, 2132–2147 (2020).

Artículo Google Académico

Chao, T., Baoyu, L., Jun, L. y Zhigao, Z. Un modelo de evaluación de la edad ósea esquelético automatizado profundo con aprendizaje de características heterogéneas. J.Med. sist. 42, 249 (2018).

Cheng, C. et al. Mejora de la precisión de la predicción de las interacciones proteína-proteína mediante la selección de características XGBoost y el clasificador de conjuntos apilados. computar Biol. Medicina. 123 (2020).

Xueyi, Z. et al. La radiómica de aprendizaje profundo puede predecir el estado de los ganglios linfáticos axilares en el cáncer de mama en etapa temprana. Nat. común 11, 1236 (2020).

Juan Camilo, V.-C. et al. Evaluación multimodal de la enfermedad de Parkinson: un enfoque de aprendizaje profundo. IEEE J. Biomédica. Informe de Salud. 23, 1618-1630 (2019).

Artículo Google Académico

Ping, Z. et al. Radiómica de aprendizaje profundo para la conversión de discriminación de la enfermedad de Alzheimer en pacientes con deterioro cognitivo leve: un estudio basado en imágenes PET con 18F-FDG. Frente. Envejecimiento Neurosci. 13, (2021).

Shin, J., Li, Y. & Luo, Y. Predicción temprana de mortalidad en entornos de cuidados intensivos en pacientes con sepsis utilizando características estructuradas y notas clínicas no estructuradas. En 2021 Conferencia internacional IEEE sobre bioinformática y biomedicina (BIBM) 2885–2890 (IEEE, 2021).

Jayachitra, VP, Nivetha, S., Nivetha, R. & Harini, R. Un marco cognitivo basado en IoT para el diagnóstico efectivo de COVID-19 utilizando datos multimodales. biomedicina Control de procesamiento de señales 70, 102960 (2021).

Thomas, L. et al. Una arquitectura de red neuronal multimodal explicable para predecir las comorbilidades de la epilepsia en función de los datos de reclamaciones administrativas. Frente. Inteligencia Artificial 4, 610197 (2021).

Alan Baronio, M., Carla Diniz Lopes, B. & Silvio Cesar, C. Diagnóstico asistido por computadora de carcinoma hepatocelular fusionando imágenes y datos de salud estructurados. Informe de Salud. ciencia sist. 9, 20 (2021)

Janani, V., Li, T., Hamid Reza, H. & May, DW Modelos multimodales de aprendizaje profundo para la detección temprana de la etapa de la enfermedad de Alzheimer. ciencia Rep. 11, 3254 (2021).

Cam Hao, H. et al. Aprendizaje bimodal a través de la trilogía de redes profundas de conexión salteada para la identificación de la progresión del riesgo de retinopatía diabética. En t. J.Med. Informar. 132, 103926 (2019).

Yucheng, T. et al. Predicción de aparición de diabetes tipo II con tomografía computarizada y registros médicos electrónicos. lect. Cómputo de notas. ciencia 12445, 13–23 (2020).

Artículo Google Académico

Rui, Y. et al. Integración de datos multimodales para la clasificación del cáncer de mama utilizando un método híbrido de aprendizaje profundo. lect. Notas Informática Sci. 11643, 460–469 (2019).

Artículo Google Académico

Batuhan, B. & Mehmet, T. Mejora de las predicciones de resultados clínicos mediante convolución sobre entidades médicas con aprendizaje multimodal. Artefacto Intel. Medicina. 117, 102112 (2021).

Esra, Z. et al. Estrategias de fusión multimodal para la predicción de resultados en Stroke. En HEALTHINF 2020 - 13th International Conference on Health Informatics, Actas; Parte de la 13.ª Conferencia conjunta internacional sobre tecnologías y sistemas de ingeniería biomédica, BIOSTEC 2020 421–428 (2020).

Rimma, P. et al. Aprendizaje de fenotipos probabilísticos a partir de datos EHR heterogéneos. J. Biomédica. Informar. 58, 156–165 (2015).

Artículo Google Académico

León, MA et al. Modelado de biomarcadores de imágenes longitudinales con aprendizaje multitarea bayesiano paramétrico. Tararear. Mapa cerebral. 40, 3982–4000 (2019).

Artículo Google Académico

París Alexandros, L. et al. Heterogeneidad y clasificación de la psicosis y la depresión de inicio reciente: un enfoque de aprendizaje automático multimodal. Esquizofr. Toro. 47, 1130–1140 (2021).

Artículo Google Académico

Nikolaos, K. et al. Modelos de predicción de resultados funcionales para individuos en estado clínico de alto riesgo de psicosis o con depresión de inicio reciente: un análisis de aprendizaje automático multimodal y multisitio. Psiquiatría JAMA 75, 1156–1172 (2018).

Artículo Google Académico

Dongdong, S., Minghui, W. & Ao, L. Una red neuronal profunda multimodal para la predicción del pronóstico del cáncer de mama humano mediante la integración de datos multidimensionales. Trans. IEEE/ACM. Computación Biol. Bioinformar. 16, 841–850 (2019).

Artículo Google Académico

Karen, SA et al. Un marco de aprendizaje automático para la predicción robusta y confiable de la respuesta al tratamiento a corto y largo plazo en pacientes con esquizofrenia que inicialmente no habían recibido antipsicóticos, basado en datos neuropsiquiátricos multimodales. Psiquiatría traslacional 10, 276 (2020).

Sol, M. et al. Predicción temprana de lesión renal aguda en entornos de cuidados intensivos utilizando notas clínicas y mediciones fisiológicas multivariadas estructuradas. Semental. Tecnología de la salud. información 264, 368–372 (2019).

Google Académico

Dennis, SR, Simuni, T. & Luo, Y. Un modelo predictivo para la enfermedad de Parkinson revela conjuntos de genes candidatos para el subtipo de progresión. 2020 IEEE Internacional. Conf. Bioinforma. Biomedicina (BIBM) 2020, 417–420 (2020).

Ming, X. et al. Diferenciar con precisión COVID-19, otras infecciones virales e individuos sanos utilizando características multimodales a través del aprendizaje de fusión tardía. J.Med. Resolución de Internet 23 (2021).

Min, C., Yixue, H., Kai, H., Lin, W. & Lu, W. Predicción de enfermedades mediante aprendizaje automático sobre big data de comunidades de atención médica. Acceso IEEE 5, 8869–8879 (2017).

Artículo Google Académico

Keyang, X. et al. Aprendizaje automático multimodal para la codificación automatizada de ICD. proc. Mach. Aprender. Res. 106, 1–17 (2019).

Google Académico

Liuqing, Y. et al. Modelado de progresión multimodal basado en aprendizaje profundo para la enfermedad de Alzheimer. Estadística Biofarmacia. Res. 13, 337–343 (2021).

Artículo Google Académico

Peng, L. et al. Una firma radiogenómica para predecir el resultado clínico del carcinoma urotelial de vejiga. EUR. Radio. 30, 547–557 (2020).

Artículo Google Académico

MD Sirajus, S. et al. Enfoque de aprendizaje profundo espacio-temporal multimodal para la evaluación del dolor postoperatorio neonatal. computar Biol. Medicina. 129, 104150 (2021).

Jian, X. et al. Aprendizaje automático multimodal utilizando campos visuales y exploraciones OCT circulares peripapilares en la detección de neuropatía óptica glaucomatosa. Oftalmología 129, 171–180 (2021).

Google Académico

Dai, Y., Yiqi, Z., Yang, W., Wenpu, Z. y Xiaoming, H. Diagnóstico auxiliar de datos heterogéneos de la enfermedad de Parkinson basado en una red neuronal de convolución mejorada. multimed. Aplicación de herramientas 79, 24199–24224 (2020).

Artículo Google Académico

Makoto, N. et al. Análisis de vías accesorias utilizando un modelo de aprendizaje profundo multimodal. ciencia Rep. 11, 8045 (2021).

Wenhuan, Z., Anupam, G. y Daniel, HH Sobre la aplicación de métodos avanzados de aprendizaje automático para analizar datos multimodales mejorados de personas infectadas con covid-19. Cálculo 9, 1–15 (2021).

Google Académico

Jeremy, AT, Kit, ML & Marta, IG Predicciones multidimensionales de síntomas psicóticos a través del aprendizaje automático. Tararear. Mapa cerebral. 41, 5151–5163 (2020).

Artículo Google Académico

Hossam, F., Maria, H., Mohammad, F., Haya, E. & Alaa, A. Un sistema inteligente de diagnóstico médico multimodal basado en las preguntas médicas de los pacientes y los síntomas estructurados para la telemedicina. Informar. Medicina. Desbloqueado 23, 100513 (2021).

Md Ashad, A. et al. Un método de máquina kernel para detectar interacciones de orden superior en conjuntos de datos multimodales: aplicación a la esquizofrenia. J. Neurosci. Métodos 309, 161–174 (2018).

Artículo Google Académico

Luo, Y. et al. Un enfoque de medicina de precisión multidimensional identifica un subtipo de autismo caracterizado por dislipidemia. Nat. Medicina. 26, 1375–1379 (2020).

Artículo CAS PubMed Google Académico

Shaker, E.-S., Jose, MA, Islam, SMR, Ahmad, MS, Kyung Sup, K. Un modelo de predicción y detección multimodal multicapa basado en inteligencia artificial explicable para la enfermedad de Alzheimer. ciencia Rep. 11, 2660 (2021).

Shih Cheng, H., Anuj, P., Roham, Z., Imon, B. y Matthew, PL Fusión multimodal con redes neuronales profundas para aprovechar las imágenes de TC y el registro de salud electrónico: un estudio de caso en la detección de embolia pulmonar. ciencia Rep. 10, 22147 (2020).

Yao, L., Mao, C. & Luo, Y. Clasificación de texto clínico con características basadas en reglas y redes neuronales convolucionales guiadas por el conocimiento. BMC Med. información Decir Mak. 19, 71 (2019).

Artículo CAS Google Académico

Velupillai, S. et al. Uso del procesamiento clínico del lenguaje natural para la investigación de resultados de salud: descripción general y sugerencias prácticas para futuros avances. J. Biomédica. información 88, 11–19 (2018).

Artículo Google Académico

Luo, Y., Uzuner, O. & Szolovits, P. Uniendo la semántica y la sintaxis con algoritmos gráficos: lo último en extracción de relaciones biomédicas. Breve. Bioinformar. 18, 160–178 (2016).

Artículo PubMed PubMed Central Google Académico

Zeng, Z., Deng, Y., Li, X., Naumann, T. & Luo, Y. Procesamiento del lenguaje natural para el fenotipado computacional basado en EHR. Trans. IEEE/ACM. Computación Biol. Bioinformar. 16, 139–153 (2018).

Artículo PubMed PubMed Central Google Académico

Nikolaos, K. et al. Flujos de trabajo de aprendizaje automático multimodal para la predicción de psicosis en pacientes con síndromes clínicos de alto riesgo y depresión de inicio reciente. Psiquiatría JAMA 78, 195–209 (2021).

Artículo Google Académico

Petersen, RC et al. Iniciativa de neuroimagen de la enfermedad de Alzheimer (ADNI): Caracterización clínica. Neurología 74, 201–209 (2010).

Artículo PubMed PubMed Central Google Académico

Weinstein, JN et al. Proyecto de análisis pan-cáncer del atlas del genoma del cáncer. Nat. Gineta. 45, 1113 (2013).

Artículo PubMed PubMed Central Google Académico

Christopher, JK, Alan, K., Mustafa, S., Greg, C. y Dominic, K. Desafíos clave para generar impacto clínico con inteligencia artificial. BMC Med. 17, 195 (2019).

Michael, AM et al. Resultados del 2016 International Skin Imaging Collaboration International Simposium on Biomedical Imaging Challenge: Comparación de la precisión de los algoritmos informáticos con los dermatólogos para el diagnóstico de melanoma a partir de imágenes dermatoscópicas. Mermelada. Academia Dermatol. 78, 270–7.e1 (2018).

Artículo Google Académico

Jannin, PGC & Gibaud, B. Aplicaciones médicas de NDT Data Fusion (Springer, 2001).

Guang, Y., Qinghao, Y. & Jun, X. Descubra la caja negra para la IA médica explicable a través de la fusión de datos multimodal y multicéntrica: una mini revisión, dos exhibiciones y más. información Fusión 77, 29–52 (2022).

Artículo Google Académico

Zhang, Z. y Sejdić, E., Imágenes radiológicas y aprendizaje automático: tendencias, perspectivas y perspectivas. computar Biol. Medicina. 108, 354–370 (2019).

David, L., Enrico, C., Jessica, C., Parina, S. y Farah, M. Cómo se integra el aprendizaje automático para respaldar la toma de decisiones del médico: un análisis de dispositivos médicos aprobados por la FDA. Informe de atención médica de BMJ. 28, e100301 (2021).

Luo, Y., Szolovits, P., Dighe, AS & Baron, JM Uso del aprendizaje automático para predecir resultados de pruebas de laboratorio. Soy. J. Clin. Patol. 145, 778–788 (2016).

Artículo PubMed Google Académico

Thakur, S., Choudhary, J. & Singh, DP Systems 435–443 (Springer, 2021).

Luo, Y., Szolovits, P., Dighe, AS & Baron, JM 3D-MICE: Integración de la imputación transversal y longitudinal para datos clínicos longitudinales de múltiples analitos. Mermelada. Medicina. Informar. Asoc. (JAMIA) 25, 645–653 (2017).

Artículo Google Académico

Xue, Y., Klabjan, D. & Luo, Y. Modelo de imputación múltiple basado en mezclas para datos clínicos con una dimensión temporal. Conferencia internacional IEEE de 2019 sobre Big Data (Big Data) 2019 245–252 (IEEE, 2019).

Cao, W. et al. Brits: Representación recurrente bidireccional para series temporales. NeurIPS, 31 (2018).

Luo, Y. Evaluación del estado del arte en la imputación de datos faltantes para datos clínicos. Breve. Bioinformar. 23, bbab489 (2022).

Artículo PubMed Google Académico

Zhao, Q., Adeli, E. & Pohl, KM Capacitación de modelos de aprendizaje profundo sin factores de confusión para aplicaciones médicas. Nat. común 11, 1–9 (2020).

Artículo Google Académico

Luo, Y. & Mao, C. ScanMap: factorización de matriz no negativa consciente de la confusión supervisada para el modelado de riesgo poligénico. En Machine Learning for Healthcare Conference; 2020: PMLR 27–45 (2020).

Kalavathy, R. & Suresh, RM Farmacovigilancia a partir de registros médicos electrónicos para informar eventos adversos. J. Chem. Farmacia ciencia 2015, 188–191 (2015).

Google Académico

Luo, Y. et al. Procesamiento de lenguaje natural para farmacovigilancia basada en EHR: una revisión estructurada. Seguro de drogas https://doi.org/10.1007/s40264-017-0558-6 (2017).

Segura Bedmar, I., Martínez, P. & Herrero Zazo, M. Semeval-2013 tarea 9: Extracción de interacciones fármaco-fármaco de textos biomédicos (ddiextraction 2013). 2013: Asociación de Lingüística Computacional (2013).

Hammann, F. & Drewe, J. Extracción de datos para posibles interacciones farmacológicas adversas. Opinión de experto. Metab de drogas Toxicol. 10, 665–671 (2014).

Artículo CAS PubMed Google Académico

Donna, MF et al. La sociedad estadounidense de geriatría 2019 actualizó los criterios de cervezas AGS para el uso de medicamentos potencialmente inapropiados en adultos mayores. Mermelada. Geriatría Soc. 67, 674–694 (2019).

Google Académico

Obermeyer, Z., Powers, B., Vogeli, C. y Mullainathan, S. Disección del sesgo racial en un algoritmo utilizado para gestionar la salud de las poblaciones. Ciencia 366, 447–53. (2019).

Artículo CAS PubMed Google Académico

Wang, H. et al. Uso del aprendizaje automático para integrar factores socioconductuales en la predicción del riesgo de mortalidad relacionado con enfermedades cardiovasculares. Semental. Tecnología de la salud. información 264, 433–437 (2019).

Google Académico

Christof, E. Software de código abierto en la industria. Software IEEE. 25, 52–53 (2008).

Artículo Google Académico

Robert, MS ¿Por qué desarrollar software de código abierto? El papel de los beneficios no pecuniarios, las recompensas monetarias y el tipo de licencia de código abierto. buey Rev. Política económica 23, 605–619 (2007).

Artículo Google Académico

Luo, Y., Wunderink, RG y Lloyd-Jones, D. Aprendizaje automático proactivo frente a reactivo en el cuidado de la salud: lecciones de la pandemia de COVID-19. JAMA 327, 623–624 (2022).

Artículo CAS PubMed Google Académico

Ke, G. et al. LightGBM: un árbol de decisión de aumento de gradiente altamente eficiente. Adv. Información neuronal Sistema de proceso 30 (2017).

Derara Duba, R., Taye Girma, D., Achim, I. y Worku Gachena, N. Diagnóstico de diabetes mellitus mediante la máquina de aumento de gradiente (Lightgbm). Diagnóstico 11, 1714 (2021).

Xiaolei, S., Mingxi, L. y Zeqian, S. Un nuevo modelo de pronóstico de tendencias de precios de criptomonedas basado en LightGBM. Finanzas Res. Letón. 32, 101084 (2020).

Artículo Google Académico

Dongzi, J., Yiqin, L., Jiancheng, Q., Zhe, C. & Zhongshu, M. SwiftIDS: Sistema de detección de intrusiones en tiempo real basado en LightGBM y mecanismo de detección de intrusiones en paralelo. computar Seguro 97, 101984 (2020).

Artículo Google Académico

Wilkinson, MD y col. Los principios rectores FAIR para la gestión y administración de datos científicos. Naturaleza 3, 160018 (2016).

Google Académico

Weissler, EH, et al. El papel del aprendizaje automático en la investigación clínica: Transformando el futuro de la generación de evidencia. Ensayos 22, 537 (2021).

Pratik, S. et al. Inteligencia artificial y aprendizaje automático en el desarrollo clínico: una perspectiva traslacional. npj Digital Med. 2, 69 (2019).

Inna, K. & Simeon, S. Interpretabilidad de las soluciones de aprendizaje automático en la atención médica pública: el enfoque CRISP-ML. Frente. Grandes datos 4, 660206 (2021).

Marx, V. Método del año: transcriptómica resuelta espacialmente. Nat. Métodos 18, 9–14 (2021).

Artículo CAS PubMed Google Académico

Zeng, Z., Li, Y., Li, Y. & Luo, Y. Métodos estadísticos y de aprendizaje automático para el análisis de datos transcriptómicos resueltos espacialmente. Genoma Biol. 23, 1–23. (2022).

Artículo Google Académico

Longo, SK, Guo, MG, Ji, AL & Khavari, PA Integración de la transcriptómica unicelular y espacial para dilucidar la dinámica del tejido intercelular. Nat. Rev. Genet. 22, 627–644 (2021).

Artículo CAS PubMed Google Académico

Extensión PRISMA para revisiones de alcance (PRISMA-ScR): lista de verificación y explicación. Ana. Interno. Medicina. 169 467–473 (2018).

Descargar referencias

El estudio cuenta con el apoyo parcial de NIH Grants U01TR003528 y R01LM013337 a YL, y AG073323 a FC

Departamento de Medicina Preventiva, Universidad Northwestern, Chicago, 60201, IL, EE. UU.

Adrienne Kline, Hanyin Wang, Yikuan Li, Saya Dennis, Meghan Hutch y Yuan Luo

Departamento de Ciencias de la Salud de la Población, Universidad de Cornell, Nueva York, 10065, NY, EE. UU.

Zhenxing Xu y Fei Wang

Cleveland Clinic Lerner Facultad de Medicina, Universidad Case Western Reserve, Cleveland, 44195, OH, EE. UU.

Feixion Cheng

También puede buscar este autor en PubMed Google Scholar

También puede buscar este autor en PubMed Google Scholar

También puede buscar este autor en PubMed Google Scholar

También puede buscar este autor en PubMed Google Scholar

También puede buscar este autor en PubMed Google Scholar

También puede buscar este autor en PubMed Google Scholar

También puede buscar este autor en PubMed Google Scholar

También puede buscar este autor en PubMed Google Scholar

También puede buscar este autor en PubMed Google Scholar

AK dirigió el proceso de revisión, realizó la extracción de datos, realizó el análisis de cómputo, la generación de figuras, la redacción y la creación del tablero. HW, YL, SD y MH realizaron la extracción de datos. ZX sintetizó las limitaciones de los estudios. FW y FC realizaron la corrección de pruebas y la curación de contenidos. YL concibió la revisión, supervisó el proceso de revisión y proporcionó los comentarios, la corrección de pruebas y la curación de contenido necesarios.

Correspondencia a Yuan Luo.

Los autores declaran no tener conflictos de intereses.

Nota del editor Springer Nature se mantiene neutral con respecto a los reclamos jurisdiccionales en mapas publicados y afiliaciones institucionales.

Acceso abierto Este artículo tiene una licencia internacional Creative Commons Attribution 4.0, que permite el uso, el intercambio, la adaptación, la distribución y la reproducción en cualquier medio o formato, siempre que se otorgue el crédito correspondiente al autor o autores originales y a la fuente. proporcionar un enlace a la licencia Creative Commons e indicar si se realizaron cambios. Las imágenes u otro material de terceros en este artículo están incluidos en la licencia Creative Commons del artículo, a menos que se indique lo contrario en una línea de crédito al material. Si el material no está incluido en la licencia Creative Commons del artículo y su uso previsto no está permitido por la regulación legal o excede el uso permitido, deberá obtener el permiso directamente del titular de los derechos de autor. Para ver una copia de esta licencia, visite http://creativecommons.org/licenses/by/4.0/.

Reimpresiones y permisos

Kline, A., Wang, H., Li, Y. et al. Aprendizaje automático multimodal en salud de precisión: una revisión de alcance. npj Dígito. Medicina. 5, 171 (2022). https://doi.org/10.1038/s41746-022-00712-8

Descargar cita

Recibido: 20 junio 2022

Aceptado: 14 de octubre de 2022

Publicado: 07 noviembre 2022

DOI: https://doi.org/10.1038/s41746-022-00712-8

Cualquier persona con la que compartas el siguiente enlace podrá leer este contenido:

Lo sentimos, un enlace para compartir no está disponible actualmente para este artículo.

Proporcionado por la iniciativa de intercambio de contenido Springer Nature SharedIt

npj Medicina digital (2023)