Blog

Mar 10, 2023

Modelos básicos para la inteligencia artificial médica generalista

Naturaleza volumen 616, páginas

Nature, volumen 616, páginas 259–265 (2023)Citar este artículo

92k Accesos

5 citas

638 Altmetric

Detalles de métricas

Es probable que el desarrollo excepcionalmente rápido de modelos de inteligencia artificial (IA) altamente flexibles y reutilizables marque el comienzo de nuevas capacidades en medicina. Proponemos un nuevo paradigma para la IA médica, a la que nos referimos como IA médica generalista (GMAI). Los modelos GMAI serán capaces de llevar a cabo un conjunto diverso de tareas utilizando muy pocos o ningún dato etiquetado específico de la tarea. Construido a través de la autosupervisión en conjuntos de datos grandes y diversos, GMAI interpretará de manera flexible diferentes combinaciones de modalidades médicas, incluidos datos de imágenes, registros de salud electrónicos, resultados de laboratorio, genómica, gráficos o texto médico. Los modelos, a su vez, producirán resultados expresivos, como explicaciones de texto libre, recomendaciones habladas o anotaciones de imágenes que demuestren habilidades avanzadas de razonamiento médico. Aquí identificamos un conjunto de aplicaciones potenciales de alto impacto para GMAI y presentamos capacidades técnicas específicas y conjuntos de datos de capacitación necesarios para habilitarlas. Esperamos que las aplicaciones habilitadas para GMAI desafíen las estrategias actuales para regular y validar los dispositivos de IA para la medicina y cambien las prácticas asociadas con la recopilación de grandes conjuntos de datos médicos.

Los modelos básicos, la última generación de modelos de IA, se entrenan en conjuntos de datos masivos y diversos y se pueden aplicar a numerosas tareas posteriores1. Los modelos individuales ahora pueden lograr un rendimiento de vanguardia en una amplia variedad de problemas, que van desde responder preguntas sobre textos hasta describir imágenes y jugar videojuegos2,3,4. Esta versatilidad representa un cambio radical con respecto a la generación anterior de modelos de IA, que fueron diseñados para resolver tareas específicas, una a la vez.

Impulsados ​​por conjuntos de datos en crecimiento, aumentos en el tamaño del modelo y avances en las arquitecturas de modelos, los modelos básicos ofrecen capacidades nunca antes vistas. Por ejemplo, en 2020, el modelo de lenguaje GPT-3 desbloqueó una nueva capacidad: el aprendizaje en contexto, a través del cual el modelo llevó a cabo tareas completamente nuevas para las que nunca había sido entrenado explícitamente, simplemente aprendiendo de explicaciones de texto (o 'indicaciones'). ) que contiene algunos ejemplos5. Además, muchos modelos básicos recientes pueden recibir y generar combinaciones de diferentes modalidades de datos4,6. Por ejemplo, el modelo reciente de Gato puede chatear, subtitular imágenes, jugar videojuegos y controlar un brazo robótico, por lo que ha sido descrito como un agente generalista2. Dado que ciertas capacidades emergen solo en los modelos más grandes, sigue siendo un desafío predecir qué podrán lograr incluso los modelos más grandes7.

Aunque ha habido esfuerzos iniciales para desarrollar modelos básicos médicos8,9,10,11, este cambio aún no ha permeado ampliamente la IA médica, debido a la dificultad de acceder a conjuntos de datos médicos grandes y diversos, la complejidad del dominio médico y la actualidad de este desarrollo. En cambio, los modelos médicos de IA todavía se desarrollan en gran medida con un enfoque específico de la tarea para el desarrollo del modelo. Por ejemplo, un modelo de interpretación de rayos X de tórax puede entrenarse en un conjunto de datos en el que cada imagen se ha etiquetado explícitamente como positiva o negativa para neumonía, lo que probablemente requiera un esfuerzo de anotación considerable. Este modelo solo detectaría neumonía y no sería capaz de realizar el ejercicio de diagnóstico completo de redactar un informe radiológico completo. Este enfoque estrecho y específico de la tarea produce modelos inflexibles, limitados a realizar tareas predefinidas por el conjunto de datos de entrenamiento y sus etiquetas. En la práctica actual, estos modelos normalmente no pueden adaptarse a otras tareas (o incluso a diferentes distribuciones de datos para la misma tarea) sin volver a entrenarse en otro conjunto de datos. De los más de 500 modelos de IA para medicina clínica que han recibido la aprobación de la Administración de Alimentos y Medicamentos, la mayoría han sido aprobados solo para 1 o 2 tareas limitadas12.

Aquí describimos cómo los avances recientes en la investigación del modelo de base pueden alterar este paradigma específico de tareas. Estos incluyen el surgimiento de arquitecturas multimodales13 y técnicas de aprendizaje autosupervisadas14 que prescinden de etiquetas explícitas (por ejemplo, modelado de lenguaje15 y aprendizaje contrastivo16), así como el advenimiento de capacidades de aprendizaje en contexto5.

En cambio, estos avances permitirán el desarrollo de GMAI, una clase de modelos básicos médicos avanzados. 'Generalista' implica que se usarán ampliamente en aplicaciones médicas, reemplazando en gran medida los modelos específicos de tareas.

Inspirándonos directamente en los modelos básicos fuera de la medicina, identificamos tres capacidades clave que distinguen los modelos GMAI de los modelos médicos convencionales de IA (Fig. 1). Primero, adaptar un modelo GMAI a una nueva tarea será tan fácil como describir la tarea en inglés simple (u otro idioma). Los modelos podrán resolver problemas nunca antes vistos simplemente al explicarles nuevas tareas (especificación dinámica de tareas), sin necesidad de volver a capacitarse3,5. En segundo lugar, los modelos GMAI pueden aceptar entradas y producir salidas utilizando diversas combinaciones de modalidades de datos (por ejemplo, pueden recibir imágenes, texto, resultados de laboratorio o cualquier combinación de los mismos). Esta interactividad flexible contrasta con las limitaciones de los modelos multimodales más rígidos, que siempre utilizan conjuntos predefinidos de modalidades como entrada y salida (por ejemplo, siempre deben tomar imágenes, texto y resultados de laboratorio juntos). En tercer lugar, los modelos GMAI representarán formalmente el conocimiento médico, lo que les permitirá razonar a través de tareas nunca antes vistas y usar un lenguaje médicamente preciso para explicar sus resultados.

Enumeramos estrategias concretas para lograr este cambio de paradigma en la IA médica. Además, describimos un conjunto de aplicaciones potencialmente de alto impacto que permitirá esta nueva generación de modelos. Finalmente, señalamos los desafíos principales que deben superarse para que GMAI brinde el valor clínico que promete.

Los modelos GMAI prometen resolver tareas más diversas y desafiantes que los modelos médicos de IA actuales, incluso cuando requieren pocas o ninguna etiqueta para tareas específicas. De las tres capacidades definitorias de GMAI, dos permiten interacciones flexibles entre el modelo GMAI y el usuario: primero, la capacidad de realizar tareas que se especifican dinámicamente; y segundo, la capacidad de admitir combinaciones flexibles de modalidades de datos. La tercera capacidad requiere que los modelos GMAI representen formalmente el conocimiento del dominio médico y lo aprovechen para llevar a cabo un razonamiento médico avanzado. Los modelos básicos recientes ya exhiben aspectos individuales de GMAI, al combinar de manera flexible varias modalidades2 o hacer posible especificar dinámicamente una nueva tarea en el momento de la prueba5, pero aún se requieren avances sustanciales para construir un modelo GMAI con las tres capacidades. Por ejemplo, los modelos existentes que muestran habilidades de razonamiento médico (como GPT-3 o PaLM) no son multimodales y aún no generan declaraciones fácticas confiables.

GMAI ofrece a los usuarios la capacidad de interactuar con modelos a través de consultas personalizadas, lo que facilita la comprensión de los conocimientos de IA para diferentes audiencias y ofrece una flexibilidad sin precedentes en todas las tareas y configuraciones. En la práctica actual, los modelos de IA generalmente manejan un conjunto limitado de tareas y producen un conjunto rígido y predeterminado de resultados. Por ejemplo, un modelo actual podría detectar una enfermedad específica, tomando un tipo de imagen y siempre mostrando la probabilidad de esa enfermedad. Por el contrario, una consulta personalizada permite a los usuarios formular preguntas sobre la marcha: "Explique la masa que aparece en esta resonancia magnética de la cabeza. ¿Es más probable que sea un tumor o un absceso?". Además, las consultas pueden permitir a los usuarios personalizar el formato de sus resultados: "Esta es una resonancia magnética de seguimiento de un paciente con glioblastoma. Delinee cualquier tumor en rojo".

Las consultas personalizadas habilitarán dos capacidades clave: especificación dinámica de tareas y entradas y salidas multimodales, de la siguiente manera.

Las consultas personalizadas pueden enseñar a los modelos de IA a resolver nuevos problemas sobre la marcha, especificando dinámicamente nuevas tareas sin necesidad de volver a entrenar los modelos. Por ejemplo, GMAI puede responder preguntas muy específicas nunca antes vistas: "Dado este ultrasonido, ¿cuál es el grosor de la pared de la vesícula biliar en milímetros?". Como era de esperar, un modelo GMAI puede tener dificultades para completar nuevas tareas que involucran conceptos o patologías desconocidas. Luego, el aprendizaje en contexto permite a los usuarios enseñar al GMAI sobre un nuevo concepto con algunos ejemplos: "Aquí están las historias clínicas de diez pacientes anteriores con una enfermedad emergente, una infección con el henipavirus de Langya. ¿Qué probabilidad hay de que nuestro paciente actual sea también infectado con el henipavirus de Langya?"17.

Las consultas personalizadas pueden permitir a los usuarios incluir información médica compleja en sus preguntas, mezclando modalidades libremente. Por ejemplo, un médico puede incluir múltiples imágenes y resultados de laboratorio en su consulta cuando solicita un diagnóstico. Los modelos GMAI también pueden incorporar de manera flexible diferentes modalidades en las respuestas, como cuando un usuario solicita una respuesta de texto y una visualización adjunta. Siguiendo modelos anteriores como Gato, los modelos GMAI pueden combinar modalidades convirtiendo los datos de cada modalidad en "tokens", cada uno de los cuales representa una pequeña unidad (por ejemplo, una palabra en una oración o un parche en una imagen) que se puede combinar entre modalidades. Este flujo combinado de tokens se puede alimentar a una arquitectura de transformador18, lo que permite que los modelos GMAI integren el historial completo de un paciente determinado, incluidos informes, señales de forma de onda, resultados de laboratorio, perfiles genómicos y estudios de imágenes.

En marcado contraste con un médico, los modelos médicos convencionales de IA generalmente carecen de conocimiento previo del dominio médico antes de que sean capacitados para sus tareas particulares. En su lugar, deben confiar únicamente en asociaciones estadísticas entre las características de los datos de entrada y el objetivo de predicción, sin tener información contextual (por ejemplo, sobre procesos fisiopatológicos). Esta falta de antecedentes dificulta el entrenamiento de modelos para tareas médicas específicas, particularmente cuando los datos para las tareas son escasos.

Los modelos GMAI pueden abordar estas deficiencias al representar formalmente el conocimiento médico. Por ejemplo, estructuras como los gráficos de conocimiento pueden permitir que los modelos razonen sobre conceptos médicos y las relaciones entre ellos. Además, basándose en enfoques recientes basados ​​en recuperación, GMAI puede recuperar contexto relevante de bases de datos existentes, en forma de artículos, imágenes o casos anteriores completos19,20.

Los modelos resultantes pueden generar advertencias que se explican por sí mismas: "Es probable que este paciente desarrolle síndrome de dificultad respiratoria aguda, porque el paciente ingresó recientemente con un trauma torácico severo y porque la presión parcial de oxígeno del paciente en la sangre arterial ha disminuido constantemente, a pesar de una fracción inspirada aumentada de oxígeno".

Dado que incluso se le puede pedir a un modelo GMAI que proporcione recomendaciones de tratamiento, a pesar de estar entrenado principalmente en datos de observación, la capacidad del modelo para inferir y aprovechar las relaciones causales entre los conceptos médicos y los hallazgos clínicos desempeñará un papel clave para la aplicabilidad clínica21.

Finalmente, al acceder a un rico conocimiento molecular y clínico, un modelo GMAI puede resolver tareas con datos limitados aprovechando el conocimiento de problemas relacionados, como lo ejemplifican los trabajos iniciales sobre la reutilización de fármacos basada en IA22.

Presentamos seis posibles casos de uso para GMAI que se dirigen a diferentes bases de usuarios y disciplinas, aunque nuestra lista no es exhaustiva. Aunque ya ha habido esfuerzos de IA en estas áreas, esperamos que GMAI permita soluciones integrales para cada problema.

GMAI permite una nueva generación de asistentes de radiología digital versátiles, apoyando a los radiólogos en todo su flujo de trabajo y reduciendo notablemente las cargas de trabajo. Los modelos GMAI pueden redactar automáticamente informes de radiología que describen tanto anomalías como hallazgos normales relevantes, al tiempo que tienen en cuenta el historial del paciente. Estos modelos pueden brindar más ayuda a los médicos al combinar informes de texto con visualizaciones interactivas, como al resaltar la región descrita por cada frase. Los radiólogos también pueden mejorar su comprensión de los casos conversando con los modelos GMAI: "¿Puede resaltar alguna lesión nueva de esclerosis múltiple que no estuviera presente en la imagen anterior?".

Una solución necesita interpretar con precisión varias modalidades de radiología, detectando incluso anomalías sutiles. Además, debe integrar información del historial de un paciente, incluidas fuentes como indicaciones, resultados de laboratorio e imágenes anteriores, al describir una imagen. También necesita comunicarse con los médicos utilizando múltiples modalidades, brindando respuestas de texto e imágenes con anotaciones dinámicas. Para hacerlo, debe ser capaz de establecer una base visual, señalando con precisión exactamente qué parte de una imagen respalda cualquier declaración. Aunque esto se puede lograr a través del aprendizaje supervisado en imágenes etiquetadas por expertos, los métodos de explicabilidad como Grad-CAM podrían permitir enfoques autosupervisados, que no requieren datos etiquetados23.

Anticipamos un modelo quirúrgico GMAI que puede ayudar a los equipos quirúrgicos con los procedimientos: "No podemos encontrar la ruptura intestinal. Compruebe si nos perdimos una vista de alguna sección intestinal en la transmisión visual de los últimos 15 minutos". Los modelos GMAI pueden realizar tareas de visualización, potencialmente anotando secuencias de video de un procedimiento en tiempo real. También pueden proporcionar información en forma hablada, por ejemplo, emitiendo alertas cuando se omiten pasos de un procedimiento o leyendo literatura relevante cuando los cirujanos encuentran fenómenos anatómicos raros.

a, Un modelo GMAI se entrena en múltiples modalidades de datos médicos, a través de técnicas como el aprendizaje autosupervisado. Para permitir interacciones flexibles, las modalidades de datos, como imágenes o datos de EHR, se pueden combinar con el idioma, ya sea en forma de datos de texto o de voz. Luego, el modelo GMAI necesita acceder a varias fuentes de conocimiento médico para llevar a cabo tareas de razonamiento médico, desbloqueando una gran cantidad de capacidades que se pueden usar en aplicaciones posteriores. El modelo GMAI resultante lleva a cabo tareas que el usuario puede especificar en tiempo real. Para esto, el modelo GMAI puede recuperar información contextual de fuentes como gráficos de conocimiento o bases de datos, aprovechando el conocimiento médico formal para razonar sobre tareas nunca antes vistas. b, El modelo GMAI sienta las bases para numerosas aplicaciones en disciplinas clínicas, cada una de las cuales requiere una cuidadosa validación y evaluación reglamentaria.

Este modelo también puede ayudar con los procedimientos fuera del quirófano, como los procedimientos endoscópicos. Un modelo que captura el contexto topográfico y las razones con el conocimiento anatómico puede sacar conclusiones sobre fenómenos nunca antes vistos. Por ejemplo, podría deducir que una gran estructura vascular que aparece en una duodenoscopia puede indicar una fístula aortoduodenal (es decir, una conexión anormal entre la aorta y el intestino delgado), a pesar de que nunca antes se había encontrado con una (fig. 2, panel derecho). GMAI puede resolver esta tarea detectando primero el vaso, luego identificando la ubicación anatómica y finalmente considerando las estructuras vecinas.

a, GMAI podría permitir un soporte de decisiones de cabecera versátil y autoexplicativo. b, Los informes de radiología a tierra están equipados con enlaces en los que se puede hacer clic para visualizar cada hallazgo. c, GMAI tiene el potencial de clasificar fenómenos que nunca antes se habían encontrado durante el desarrollo del modelo. En los procedimientos aumentados, un hallazgo atípico poco frecuente se explica con un razonamiento paso a paso aprovechando el conocimiento del dominio médico y el contexto topográfico. El ejemplo presentado está inspirado en un reporte de caso58. Imagen de la fístula en el panel c adaptada de la ref. 58, CC POR 3.0.

Una solución debe integrar las modalidades de visión, lenguaje y audio, utilizando un modelo de visión-audio-lenguaje para aceptar consultas habladas y realizar tareas utilizando la transmisión visual. Los modelos de visión-lenguaje ya han cobrado fuerza, y el desarrollo de modelos que incorporen otras modalidades es simplemente una cuestión de tiempo24. Los enfoques pueden basarse en trabajos previos que combinan modelos de lenguaje y gráficos de conocimiento25,26 para razonar paso a paso sobre las tareas quirúrgicas. Además, la GMAI implementada en entornos quirúrgicos probablemente enfrentará fenómenos clínicos inusuales que no pueden incluirse durante el desarrollo del modelo debido a su rareza, un desafío conocido como la larga cola de las condiciones invisibles27. Las habilidades de razonamiento médico serán cruciales tanto para detectar valores atípicos nunca antes vistos como para explicarlos, como se ejemplifica en la figura 2.

GMAI permite una nueva clase de herramientas de apoyo a la toma de decisiones clínicas junto a la cama que amplían los sistemas de alerta temprana basados ​​en IA existentes y brindan explicaciones más detalladas y recomendaciones para la atención futura. Por ejemplo, los modelos GMAI para el apoyo a la toma de decisiones al lado de la cama pueden aprovechar el conocimiento clínico y proporcionar explicaciones de texto libre y resúmenes de datos: "Advertencia: esta paciente está a punto de sufrir un shock. Su circulación se ha desestabilizado en los últimos 15 minutos . Próximos pasos recomendados: ".

Una solución debe analizar las fuentes de registros de salud electrónicos (EHR, por sus siglas en inglés) (por ejemplo, parámetros vitales y de laboratorio, y notas clínicas) que involucran múltiples modalidades, incluidos datos de series de tiempo numéricos y de texto. Debe poder resumir el estado actual de un paciente a partir de datos sin procesar, proyectar posibles estados futuros del paciente y recomendar decisiones de tratamiento. Una solución puede proyectar cómo cambiará la condición de un paciente con el tiempo, mediante el uso de técnicas de modelado de lenguaje para predecir sus futuros registros textuales y numéricos a partir de sus datos anteriores. Los conjuntos de datos de capacitación pueden emparejar específicamente los datos de series temporales de EHR con los resultados finales de los pacientes, que se pueden recopilar de los informes de alta y los códigos ICD (Clasificación Internacional de Enfermedades). Además, el modelo debe ser capaz de comparar tratamientos potenciales y estimar sus efectos, todo mientras se adhiere a las pautas terapéuticas y otras políticas relevantes. El modelo puede adquirir el conocimiento necesario a través de gráficos de conocimiento clínico y fuentes de texto como publicaciones académicas, libros de texto educativos, guías internacionales y políticas locales. Los enfoques pueden estar inspirados en REALM, un modelo de lenguaje que responde consultas recuperando primero un único documento relevante y luego extrayendo la respuesta de él, lo que permite a los usuarios identificar la fuente exacta de cada respuesta20.

La documentación representa una parte integral pero laboriosa de los flujos de trabajo clínicos. Al monitorear la información electrónica del paciente, así como las conversaciones médico-paciente, los modelos GMAI redactarán de manera preventiva documentos como notas electrónicas e informes de alta para que los médicos simplemente los revisen, editen y aprueben. Por lo tanto, GMAI puede reducir sustancialmente los gastos generales administrativos, lo que permite a los médicos pasar más tiempo con los pacientes.

Una solución GMAI puede aprovechar los avances recientes en modelos de voz a texto28, técnicas especializadas para aplicaciones médicas. Debe interpretar con precisión las señales del habla, entendiendo la jerga médica y las abreviaturas. Además, debe contextualizar los datos del habla con información de los EHR (por ejemplo, lista de diagnóstico, parámetros vitales e informes de alta anteriores) y luego generar notas o informes de texto libre. Será fundamental obtener el consentimiento antes de registrar cualquier interacción con un paciente. Incluso antes de que dichas grabaciones se recopilen en grandes cantidades, es posible que ya se hayan desarrollado modelos tempranos de toma de notas aprovechando los datos de interacción médico-paciente recopilados de las aplicaciones de chat.

GMAI tiene el potencial de impulsar nuevas aplicaciones para el apoyo al paciente, brindando atención de alta calidad incluso fuera de los entornos clínicos. Por ejemplo, GMAI puede crear una visión holística de la condición de un paciente utilizando múltiples modalidades, que van desde descripciones no estructuradas de síntomas hasta lecturas continuas del monitor de glucosa y registros de medicamentos proporcionados por el paciente. Después de interpretar estos tipos heterogéneos de datos, los modelos GMAI pueden interactuar con el paciente, brindando consejos y explicaciones detalladas. Es importante destacar que GMAI permite una comunicación accesible, proporcionando información clara, legible o audible sobre el horario del paciente. Mientras que aplicaciones similares dependen de los médicos para ofrecer apoyo personalizado en la actualidad29, GMAI promete reducir o incluso eliminar la necesidad de la intervención de expertos humanos, haciendo que las aplicaciones estén disponibles a mayor escala. Al igual que con las aplicaciones de chat en vivo existentes, los usuarios aún pueden interactuar con un consejero humano a pedido.

La creación de chatbots para pacientes con GMAI plantea dos desafíos especiales. Primero, los modelos orientados al paciente deben poder comunicarse claramente con audiencias no técnicas, utilizando un lenguaje simple y claro sin sacrificar la precisión del contenido. La inclusión de textos médicos centrados en el paciente en conjuntos de datos de capacitación puede habilitar esta capacidad. En segundo lugar, estos modelos deben funcionar con diversos datos recopilados por los pacientes. Los datos proporcionados por el paciente pueden representar modalidades inusuales; por ejemplo, los pacientes con requisitos dietéticos estrictos pueden enviar fotos de antes y después de sus comidas para que los modelos GMAI puedan monitorear automáticamente su consumo de alimentos. También es probable que los datos recopilados por los pacientes sean más ruidosos en comparación con los datos de un entorno clínico, ya que los pacientes pueden ser más propensos a cometer errores o utilizar dispositivos menos confiables al recopilar datos. Nuevamente, la incorporación de datos relevantes en la capacitación puede ayudar a superar este desafío. Sin embargo, los modelos GMAI también necesitan monitorear su propia incertidumbre y tomar las medidas apropiadas cuando no tienen suficientes datos confiables.

GMAI podría generar secuencias de aminoácidos de proteínas y sus estructuras tridimensionales a partir de indicaciones textuales. Inspirado en modelos generativos existentes de secuencias de proteínas30, dicho modelo podría condicionar su generación a las propiedades funcionales deseadas. Por el contrario, un modelo GMAI con conocimiento biomédico promete interfaces de diseño de proteínas que son tan flexibles y fáciles de usar como los modelos generativos de texto a imagen simultáneos como Stable Diffusion o DALL-E31,32. Además, al desbloquear las capacidades de aprendizaje en contexto, se puede generar un modelo de texto a proteína basado en GMAI con un puñado de instrucciones de ejemplo combinadas con secuencias para definir dinámicamente una tarea de nueva generación, como la generación de una proteína que se une con alta afinidad con un objetivo específico mientras se cumplen restricciones adicionales.

Ya ha habido esfuerzos iniciales para desarrollar modelos básicos para secuencias biológicas33,34, incluida la difusión de RF, que genera proteínas sobre la base de especificaciones simples (por ejemplo, un objetivo de unión)35. Sobre la base de este trabajo, la solución basada en GMAI puede incorporar datos de secuencias de proteínas y lenguaje durante el entrenamiento para ofrecer una interfaz de texto versátil. Una solución también podría aprovechar los avances recientes en IA multimodal como CLIP, en el que los modelos se entrenan conjuntamente en datos emparejados de diferentes modalidades16. Al crear un conjunto de datos de entrenamiento de este tipo, las secuencias de proteínas individuales deben combinarse con pasajes de texto relevantes (por ejemplo, del cuerpo de la literatura biológica) que describen las propiedades de las proteínas. Las iniciativas a gran escala, como UniProt, que mapean las funciones de las proteínas para millones de proteínas, serán indispensables para este esfuerzo36.

GMAI tiene el potencial de afectar la práctica médica al mejorar la atención y reducir el agotamiento de los médicos. Aquí detallamos las ventajas generales de los modelos GMAI. También describimos desafíos críticos que deben abordarse para garantizar una implementación segura, ya que los modelos GMAI operarán en entornos de alto riesgo en particular, en comparación con los modelos básicos en otros campos.

GMAI permite a los usuarios controlar con precisión el formato de sus resultados, lo que facilita el acceso y la comprensión de la información médica compleja. Por ejemplo, habrá modelos GMAI que pueden reformular respuestas en lenguaje natural a pedido. De manera similar, las visualizaciones proporcionadas por GMAI pueden personalizarse cuidadosamente, por ejemplo, cambiando el punto de vista o etiquetando características importantes con texto. Los modelos también pueden ajustar potencialmente el nivel de detalle específico del dominio en sus resultados o traducirlos a varios idiomas, comunicándose de manera efectiva con diversos usuarios. Finalmente, la flexibilidad de GMAI le permite adaptarse a regiones u hospitales particulares, siguiendo las costumbres y políticas locales. Los usuarios pueden necesitar instrucciones formales sobre cómo consultar un modelo GMAI y utilizar sus resultados de la manera más efectiva.

Los modelos de IA médica existentes luchan con los cambios de distribución, en los que las distribuciones de datos cambian debido a cambios en tecnologías, procedimientos, entornos o poblaciones37,38. Sin embargo, GMAI puede seguir el ritmo de los cambios a través del aprendizaje en contexto. Por ejemplo, un hospital puede enseñarle a un modelo GMAI a interpretar rayos X de un escáner nuevo simplemente proporcionando indicaciones que muestren un pequeño conjunto de ejemplos. Por lo tanto, GMAI puede adaptarse a nuevas distribuciones de datos sobre la marcha, mientras que los modelos médicos convencionales de IA tendrían que volver a entrenarse en un conjunto de datos completamente nuevo. En la actualidad, el aprendizaje en contexto se observa predominantemente en grandes modelos lingüísticos39. Para garantizar que GMAI pueda adaptarse a los cambios en el contexto, la columna vertebral del modelo GMAI debe capacitarse en datos extremadamente diversos de múltiples fuentes y modalidades complementarias. Por ejemplo, para adaptarse a las variantes emergentes de la enfermedad por coronavirus 2019, un modelo exitoso puede recuperar características de variantes anteriores y actualizarlas cuando se enfrenta a un nuevo contexto en una consulta. Por ejemplo, un médico podría decir: "Revise estas radiografías de tórax para detectar neumonía Omicron. En comparación con la variante Delta, considere los infiltrados que rodean los bronquios y los vasos sanguíneos como signos indicativos"40.

Aunque los usuarios pueden ajustar manualmente el comportamiento del modelo a través de indicaciones, también puede haber un papel para las nuevas técnicas para incorporar automáticamente la retroalimentación humana. Por ejemplo, los usuarios pueden calificar o comentar cada resultado de un modelo de GMAI, al igual que los usuarios califican los resultados de ChatGPT (lanzado por OpenAI en 2022), una interfaz de chat impulsada por IA. Dichos comentarios se pueden usar para mejorar el comportamiento del modelo, siguiendo el ejemplo de InstructGPT, un modelo creado mediante el uso de comentarios humanos para refinar GPT-3 a través del aprendizaje por refuerzo41.

Los modelos de IA a gran escala ya sirven como base para numerosas aplicaciones posteriores. Por ejemplo, meses después de su lanzamiento, GPT-3 impulsó más de 300 aplicaciones en varias industrias42. Como ejemplo temprano prometedor de un modelo básico médico, CheXzero se puede aplicar para detectar docenas de enfermedades en radiografías de tórax sin ser entrenado en etiquetas explícitas para estas enfermedades9. Del mismo modo, el cambio hacia GMAI impulsará el desarrollo y lanzamiento de modelos médicos de IA a gran escala con amplias capacidades, que formarán la base para varias aplicaciones clínicas posteriores. Muchas aplicaciones interactuarán con el propio modelo GMAI, utilizando directamente sus resultados finales. Otros pueden usar representaciones numéricas intermedias, que los modelos GMAI generan de forma natural en el proceso de producción de resultados, como entradas para pequeños modelos especializados que pueden construirse económicamente para tareas específicas. Sin embargo, esta aplicabilidad flexible puede actuar como una espada de doble filo, ya que cualquier modo de falla que exista en el modelo base se propagará ampliamente a través de las aplicaciones posteriores.

Los modelos GMAI serán excepcionalmente difíciles de validar debido a su versatilidad sin precedentes. En la actualidad, los modelos de IA están diseñados para tareas específicas, por lo que deben validarse solo para aquellos casos de uso predefinidos (por ejemplo, diagnosticar un tipo particular de cáncer a partir de una resonancia magnética cerebral). Sin embargo, los modelos GMAI pueden llevar a cabo tareas nunca antes vistas establecidas por un usuario final por primera vez (por ejemplo, diagnosticar cualquier enfermedad en una resonancia magnética cerebral), por lo que es categóricamente más desafiante anticipar todos sus modos de falla. Los desarrolladores y reguladores serán responsables de explicar cómo se han probado los modelos GMAI y para qué casos de uso se han aprobado. Las propias interfaces de GMAI deben estar diseñadas para generar advertencias de 'uso fuera de etiqueta' al ingresar a territorios desconocidos, en lugar de fabricar información inexacta con confianza. En términos más generales, las capacidades excepcionalmente amplias de GMAI requieren previsión regulatoria, exigiendo que las políticas institucionales y gubernamentales se adapten al nuevo paradigma, y ​​también remodelarán los acuerdos de seguros y la asignación de responsabilidades.

En comparación con los modelos de IA convencionales, los modelos GMAI pueden manejar entradas y salidas inusualmente complejas, lo que dificulta que los médicos determinen su corrección. Por ejemplo, los modelos convencionales pueden considerar solo un estudio de imágenes o una imagen de diapositiva completa al clasificar el cáncer de un paciente. En cada caso, un único radiólogo o patólogo podría verificar si los resultados del modelo son correctos. Sin embargo, un modelo GMAI puede considerar ambos tipos de entradas y generar una clasificación inicial, una recomendación de tratamiento y una justificación multimodal que involucre visualizaciones, análisis estadísticos y referencias a la literatura. En este caso, puede ser necesario un panel multidisciplinario (integrado por radiólogos, patólogos, oncólogos y especialistas adicionales) para juzgar el resultado de la GMAI. Por lo tanto, la verificación de los resultados de GMAI representa un serio desafío, tanto durante la validación como después de que se implementen los modelos.

Los creadores pueden facilitar la verificación de los resultados de GMAI incorporando técnicas de explicabilidad. Por ejemplo, los resultados de un GMAI pueden incluir enlaces en los que se puede hacer clic a pasajes de apoyo en la literatura, lo que permite a los médicos verificar de manera más eficiente las predicciones de GMAI. Recientemente se han propuesto otras estrategias para verificar los resultados de un modelo sin experiencia humana43. Finalmente, es de vital importancia que los modelos GMAI expresen con precisión la incertidumbre, evitando así declaraciones demasiado confiadas en primer lugar.

El trabajo anterior ya ha demostrado que los modelos médicos de IA pueden perpetuar los sesgos y causar daño a las poblaciones marginadas. Pueden adquirir sesgos durante el entrenamiento, cuando los conjuntos de datos subrepresentan a ciertos grupos de pacientes o contienen correlaciones dañinas44,45. Estos riesgos probablemente serán aún más pronunciados al desarrollar GMAI. La escala y complejidad sin precedentes de los conjuntos de datos de entrenamiento necesarios dificultará garantizar que estén libres de sesgos no deseados. Si bien los sesgos ya representan un desafío para la IA convencional en la salud, son de particular relevancia para GMAI, ya que una evaluación reciente a gran escala mostró que el sesgo social puede aumentar con la escala del modelo46.

Los modelos GMAI deben validarse exhaustivamente para garantizar que no tengan un rendimiento inferior en poblaciones particulares, como los grupos minoritarios. Además, los modelos deberán someterse a auditorías y regulaciones continuas incluso después de la implementación, ya que surgirán nuevos problemas a medida que los modelos encuentren nuevas tareas y entornos. Los concursos dotados de premios podrían incentivar a la comunidad de IA a examinar más a fondo los modelos GMAI. Por ejemplo, los participantes pueden ser recompensados ​​por encontrar avisos que produzcan contenido dañino o expongan otros modos de falla. Identificar y corregir rápidamente los sesgos debe ser una prioridad máxima para los desarrolladores, proveedores y reguladores.

El desarrollo y uso de modelos GMAI plantea serios riesgos para la privacidad del paciente. Los modelos GMAI pueden tener acceso a un amplio conjunto de características de los pacientes, incluidas medidas y señales clínicas, firmas moleculares e información demográfica, así como datos de seguimiento sensorial y conductual. Además, los modelos GMAI probablemente usarán arquitecturas grandes, pero los modelos más grandes son más propensos a memorizar datos de entrenamiento y repetirlos directamente a los usuarios47. Como resultado, existe un riesgo grave de que los modelos GMAI expongan datos confidenciales de pacientes en conjuntos de datos de entrenamiento. Mediante la desidentificación y la limitación de la cantidad de información recopilada para pacientes individuales, se puede reducir el daño causado por los datos expuestos.

Sin embargo, las preocupaciones sobre la privacidad no se limitan a los datos de entrenamiento, ya que los modelos GMAI implementados también pueden exponer datos de pacientes actuales. Los ataques rápidos pueden engañar a modelos como GPT-3 para que ignoren las instrucciones anteriores48. Como ejemplo, imagine que se le ha indicado a un modelo de GMAI que nunca revele información del paciente a usuarios sin credenciales. Un usuario malintencionado podría obligar al modelo a ignorar esa instrucción para extraer datos confidenciales.

Los modelos básicos recientes han aumentado notablemente de tamaño, aumentando los costos asociados con la recopilación de datos y el entrenamiento del modelo. Los modelos de esta escala requieren conjuntos de datos de entrenamiento masivos que, en el caso de GPT-3, contienen cientos de miles de millones de tokens y son costosos de recopilar. Además, PaLM, un modelo de 540 mil millones de parámetros desarrollado por Google, requirió un valor estimado de 8,4 millones de horas de chips v4 de la unidad de procesamiento de tensor para el entrenamiento, utilizando aproximadamente de 3000 a 6000 chips a la vez, lo que representa millones de dólares en costos computacionales49 . Además, el desarrollo de modelos tan grandes conlleva un costo ambiental sustancial, ya que se ha estimado que el entrenamiento de cada modelo genera hasta cientos de toneladas de CO2 equivalente50.

Estos costos plantean la cuestión de cuán grandes deben ser los conjuntos de datos y los modelos. Un estudio reciente estableció un vínculo entre el tamaño del conjunto de datos y el tamaño del modelo, recomendando 20 veces más tokens que parámetros para un rendimiento óptimo; sin embargo, los modelos básicos existentes se entrenaron con éxito con una proporción más baja de token a parámetro51. Por lo tanto, sigue siendo difícil estimar cuán grandes deben ser los modelos y conjuntos de datos al desarrollar modelos GMAI, especialmente porque la escala necesaria depende en gran medida del caso de uso médico particular.

La recopilación de datos supondrá un desafío particular para el desarrollo de GMAI, debido a la necesidad de cantidades sin precedentes de datos médicos. Los modelos de base existentes generalmente se entrenan con datos heterogéneos obtenidos al rastrear la web, y dichas fuentes de datos de propósito general pueden usarse potencialmente para entrenar previamente los modelos GMAI (es decir, llevar a cabo una ronda preparatoria inicial de entrenamiento). Aunque estos conjuntos de datos no se centran en la medicina, dicha capacitación previa puede equipar a los modelos GMAI con capacidades útiles. Por ejemplo, al basarse en textos médicos presentes en sus conjuntos de datos de capacitación, los modelos de propósito general como Flan-PaLM o ChatGPT pueden responder preguntas médicas con precisión y lograr puntajes de aprobación en el Examen de Licencias Médicas de los Estados Unidos10,52,53. Sin embargo, el desarrollo del modelo GMAI probablemente también requerirá conjuntos de datos masivos que se centren específicamente en el dominio médico y sus modalidades. Estos conjuntos de datos deben ser diversos, anónimos y organizados en formatos compatibles, y los procedimientos para recopilar y compartir datos deberán cumplir con políticas heterogéneas entre instituciones y regiones. Si bien la recopilación de conjuntos de datos tan grandes supondrá un desafío sustancial, estos datos generalmente no requerirán etiquetas costosas de expertos, dado el éxito de la autosupervisión9,54. Además, las técnicas de autosupervisión multimodal se pueden usar para entrenar modelos en múltiples conjuntos de datos que contienen mediciones de algunas modalidades cada uno, lo que reduce la necesidad de conjuntos de datos grandes y costosos que contienen mediciones de muchas modalidades por paciente. En otras palabras, se puede entrenar un modelo en un conjunto de datos con datos de EHR y MRI y un segundo con datos de EHR y genómicos, sin requerir un gran conjunto de datos que contenga EHR, MRI y datos genómicos, conjuntamente. Los esfuerzos de intercambio de datos a gran escala, como la base de datos MIMIC (Medical Information Mart for Intensive Care)55 o el Biobanco del Reino Unido56, desempeñarán un papel fundamental en GMAI, y deben extenderse a países subrepresentados para crear más grandes, más ricos y más inclusivos. conjuntos de datos de entrenamiento.

El tamaño de los modelos GMAI también generará desafíos técnicos. Además de ser costosos de capacitar, los modelos GMAI pueden ser difíciles de implementar, ya que requieren hardware especializado de alta gama al que puede ser difícil acceder para los hospitales. Para ciertos casos de uso (por ejemplo, chatbots), los modelos GMAI se pueden almacenar en clústeres informáticos centrales mantenidos por organizaciones con una gran experiencia técnica, como lo son DALL-E o GPT-3. Sin embargo, es posible que sea necesario implementar otros modelos GMAI localmente en hospitales u otros entornos médicos, eliminando la necesidad de una conexión de red estable y manteniendo los datos confidenciales del paciente en el sitio. En estos casos, es posible que sea necesario reducir el tamaño del modelo mediante técnicas como la destilación del conocimiento, en la que los modelos a gran escala enseñan modelos más pequeños que se pueden implementar más fácilmente bajo restricciones prácticas57.

Los modelos básicos tienen el potencial de transformar la asistencia sanitaria. La clase de modelos básicos avanzados que hemos descrito, GMAI, analizará indistintamente múltiples modalidades de datos, aprenderá nuevas tareas sobre la marcha y aprovechará el conocimiento del dominio, ofreciendo oportunidades en una gama casi ilimitada de tareas médicas. La flexibilidad de GMAI permite que los modelos sigan siendo relevantes en nuevos entornos y sigan el ritmo de las enfermedades y tecnologías emergentes sin necesidad de volver a capacitarse constantemente desde cero. Las aplicaciones basadas en GMAI se implementarán tanto en entornos clínicos tradicionales como en dispositivos remotos, como teléfonos inteligentes, y prevemos que serán útiles para diversas audiencias, permitiendo aplicaciones tanto para el médico como para el paciente.

A pesar de su promesa, los modelos GMAI presentan desafíos únicos. Su extrema versatilidad los hace difíciles de validar de manera integral, y su tamaño puede generar mayores costos computacionales. Habrá dificultades particulares asociadas con la recopilación y el acceso de datos, ya que los conjuntos de datos de capacitación de GMAI deben ser no solo grandes sino también diversos, con protecciones de privacidad adecuadas. Imploramos a la comunidad de IA y a las partes interesadas clínicas que consideren cuidadosamente estos desafíos desde el principio, para garantizar que GMAI brinde valor clínico de manera constante. En última instancia, GMAI promete posibilidades sin precedentes para la atención médica, apoyando a los médicos en una variedad de tareas esenciales, superando las barreras de comunicación, haciendo que la atención de alta calidad sea más accesible y reduciendo la carga administrativa de los médicos para permitirles pasar más tiempo con los pacientes.

Bommasani, R. et al. Sobre las oportunidades y riesgos de los modelos de fundación. Preimpresión en https://arxiv.org/abs/2108.07258 (2022).

Reed, S. et al. Un agente generalista. En Transactions on Machine Learning Research (2022). Este estudio presentó Gato, un modelo generalista que puede realizar una variedad de tareas a través de modalidades como chatear, subtitular imágenes, jugar videojuegos y controlar un brazo robótico.

Alayrac, J.-B. et al. Flamingo: un modelo de lenguaje visual para el aprendizaje de pocas tomas. En Advances in Neural Information Processing Systems (eds Oh, AH et al.) 35, 23716–23736 (2022).

Lu, J., Clark, C., Zellers, R., Mottaghi, R. & Kembhavi, A. Unified-IO: un modelo unificado para la visión, el lenguaje y las tareas multimodales. Preimpresión en https://arxiv.org/abs/2206.08916 (2022).

Marrón, T. et al. Los modelos de lenguaje son aprendices de pocas oportunidades. En Advances in Neural Information Processing Systems (eds Larochelle, H. et al.) 33, 1877–1901 (2020). Este estudio presentó el modelo de lenguaje GPT-3 y descubrió que los modelos de lenguaje grandes pueden llevar a cabo el aprendizaje en contexto.

Aghajanyan, A. et al. CM3: un modelo multimodal causal enmascarado de Internet. Preimpresión en https://arxiv.org/abs/2201.07520 (2022).

Wei, J. et al. Habilidades emergentes de grandes modelos de lenguaje. En Transactions on Machine Learning Research (2022).

Steinberg, E. et al. Los modelos de lenguaje son una técnica de aprendizaje de representación efectiva para datos de registros de salud electrónicos. J. Biomédica. Informar. 113, 103637 (2021).

Artículo PubMed Google Académico

Tiu, E. et al. Detección de patologías a nivel experto a partir de imágenes de rayos X de tórax sin anotaciones a través del aprendizaje autosupervisado. Nat. biomedicina Ing. 6, 1399–1406 (2022). Este estudio demostró que CheXzero, un ejemplo temprano de un modelo básico en IA médica, puede detectar enfermedades en radiografías de tórax sin anotaciones explícitas aprendiendo de las descripciones en lenguaje natural contenidas en los informes clínicos adjuntos.

Singhal, K. et al. Los grandes modelos de lenguaje codifican el conocimiento clínico. Preimpresión en https://arxiv.org/abs/2212.13138 (2022). Este estudio demostró que el modelo de lenguaje Flan-PaLM logra una puntuación de aprobación (67,6 %) en un conjunto de datos de preguntas del Examen de Licencias Médicas de EE. UU. y propuso Med-PaLM, una variante médica de Flan-PaLM con razonamiento clínico y comprensión mejorados.

Yang, X. et al. Un gran modelo de lenguaje para registros de salud electrónicos. npj Dígito. Medicina. 5, 194 (2022).

Artículo PubMed PubMed Central Google Académico

Administración de Alimentos y Medicamentos. Dispositivos médicos habilitados para inteligencia artificial y aprendizaje automático (AI/ML). FDA https://www.fda.gov/medical-devices/software-medical-device-samd/artificial-intelligence-and-machine-learning-aiml-enabled-medical-devices (2022).

Acosta, JN, Falcone, GJ, Rajpurkar, P. & Topol, EJ IA biomédica multimodal. Nat. Medicina. 28, 1773–1784 (2022).

Artículo CAS PubMed Google Académico

Krishnan, R., Rajpurkar, P. & Topol, EJ Aprendizaje autosupervisado en medicina y atención médica. Nat. biomedicina Ing. 6, 1346–1352 (2022).

Artículo PubMed Google Académico

Devlin, J., Chang, M.-W., Lee, K. & Toutanova, K. BERT: entrenamiento previo de transformadores bidireccionales profundos para la comprensión del lenguaje. En Proc. Conferencia de 2019 del capítulo norteamericano de la Asociación de lingüística computacional: tecnologías del lenguaje humano (eds Burstein, J., Doran, C. & Solorio, T.) 1, 4171–4186 (2019). Este documento introdujo el modelado de lenguaje enmascarado, una técnica ampliamente utilizada para entrenar modelos de lenguaje donde partes de una secuencia de texto están ocultas (enmascaradas) para que el modelo llene los espacios en blanco. Esta estrategia se puede extender más allá del texto a otros tipos de datos.

Radford, A. et al. Aprendizaje de modelos visuales transferibles a partir de la supervisión del lenguaje natural. En Proc. 38 Int. Conferencia sobre aprendizaje automático (eds. Meila, M. & Zhang, T.) 139, 8748–8763 (2021). Este documento introdujo el preentrenamiento de imágenes de lenguaje contrastivo (CLIP), un enfoque multimodal que permitió que un modelo aprendiera de imágenes emparejadas con texto sin procesar.

Zhang, X.-A. et al. Un henipavirus zoonótico en pacientes febriles en China. N. ingl. J.Med. 387, 470–472 (2022).

Artículo PubMed Google Académico

Vaswani, A. et al. La atención es todo lo que necesitas. En Advances in Neural Information Processing Systems (eds Guyon, I. et al.) 30, 5998–6008 (2017). Este documento presentó la arquitectura del transformador, un avance clave que finalmente condujo al desarrollo de modelos de base a gran escala.

Borgeaud, S. et al. Mejora de los modelos de lenguaje mediante la recuperación de billones de tokens. En Proc. 39 Int. Conferencia sobre aprendizaje automático (eds Chaudhuri, K. et al.) 162, 2206–2240 (2022).

Guu, K., Lee, K., Tung, Z., Pasupat, P. y Chang, M.-W. REALM: preentrenamiento del modelo de lenguaje de recuperación aumentada. En Proc. 37 Int. Conferencia sobre aprendizaje automático (eds Daumé, H. & Singh, A.) 119, 3929–3938 (2020).

Igelström, E. et al. Inferencia causal y estimación de efectos utilizando datos observacionales. J. Epidemiol. Salud comunitaria 76, 960–966 (2022).

Artículo Google Académico

Wang, Q., Huang, K., Chandak, P., Zitnik, M. y Gehlenborg, N. Ampliación del modelo anidado para XAI centrado en el usuario: un estudio de diseño sobre la reutilización de fármacos basada en GNN. Trans. IEEE. Vis. computar Grafico. 29, 1266–1276 (2023).

Artículo PubMed Google Académico

Li, J. et al. Alinear antes de fusionar: aprendizaje de representación de visión y lenguaje con destilación de impulso. En Advances in Neural Information Processing Systems (eds Ranzato, M. et al.) 34, 9694–9705 (2021).

Google Académico

Wang, Z. et al. SimVLM: preentrenamiento del modelo de lenguaje visual simple con supervisión débil. En Int. Conferencia sobre representaciones de aprendizaje (eds Hofmann, K. & Rush, A.) (2022).

Yasunaga, M. et al. Profundo preentrenamiento gráfico bidireccional de conocimiento del lenguaje. En Advances in Neural Information Processing Systems (eds Oh, AH et al.) 35 (2022).

Yasunaga, M., Ren, H., Bosselut, A., Liang, P. & Leskovec, J. QA-GNN: razonamiento con modelos de lenguaje y gráficos de conocimiento para responder preguntas. En Proc. Conferencia de 2021 del capítulo norteamericano de la Asociación de Lingüística Computacional: Tecnologías del lenguaje humano (eds Toutanova, K. et al.) 535–546 (2021).

Guha Roy, A. et al. ¿Tu clasificador de dermatología sabe lo que no sabe? Detectar la cola larga de condiciones invisibles. Medicina. Anal de imagen. 75, 102274 (2022).

Artículo PubMed Google Académico

Radford, A. et al. Robusto reconocimiento de voz a través de una supervisión débil a gran escala. Preimpresión en https://arxiv.org/abs/2212.04356 (2022).

Dixon, RF y col. Una clínica virtual de diabetes tipo 2 que utiliza monitoreo continuo de glucosa y visitas de endocrinología. J. Diabetes Sci. Tecnología 14, 908–911 (2020).

Artículo PubMed Google Académico

Kucera, T., Togninalli, M. & Meng-Papaxanthos, L. Modelado generativo condicional para el diseño de proteínas de novo con funciones jerárquicas. Bioinformática 38, 3454–3461 (2022).

Artículo CAS PubMed PubMed Central Google Scholar

Rombach, R., Blattmann, A., Lorenz, D., Esser, P. y Ommer, B. Síntesis de imágenes de alta resolución con modelos de difusión latente. En Proc. Conferencia IEEE/CVF sobre visión artificial y reconocimiento de patrones (eds Chellappa, R. et al.) 10684–10695 (2022).

Ramesh, A. et al. Generación de texto a imagen sin disparo. En Proc. 38 Int. Conferencia sobre aprendizaje automático (eds. Meila, M. & Zhang, T.) 139, 8821–8831 (2021).

Jumper, J. et al. Predicción de estructura de proteínas de alta precisión con AlphaFold. Naturaleza 596, 583–589 (2021).

Artículo ADS CAS PubMed PubMed Central Google Scholar

Zvyagin, M. et al. GenSLM: los modelos de lenguaje a escala del genoma revelan la dinámica evolutiva del SARS-CoV-2. Preimpresión en bioRxiv https://doi.org/10.1101/2022.10.10.511571 (2022).

Watson, JL et al. Diseño de proteínas preciso y ampliamente aplicable mediante la integración de redes de predicción de estructuras y modelos generativos de difusión. Preimpresión en bioRxiv https://doi.org/10.1101/2022.12.09.519842 (2022).

El Consorcio UniProt. UniProt: la base de conocimiento universal de proteínas. Ácidos Nucleicos Res. 45, D158–D169 (2017).

Artículo Google Académico

Guo, LL et al. Revisión sistemática de enfoques para preservar el rendimiento del aprendizaje automático en presencia de cambios temporales en el conjunto de datos en medicina clínica. aplicación clin. Informar. 12, 808–815 (2021).

Artículo PubMed PubMed Central Google Académico

Finlayson, SG et al. El clínico y el cambio de conjunto de datos en inteligencia artificial. N. ingl. J.Med. 385, 283–286 (2021).

Artículo PubMed PubMed Central Google Académico

Lampinen, AK et al. ¿Pueden los modelos de lenguaje aprender de las explicaciones en contexto? En Hallazgos de la Asociación de Lingüística Computacional: EMNLP 2022 (eds Goldberg, Y., Kozareva, Z. & Zhang, Y.) 537–563 (2022).

Yoon, SH, Lee, JH y Kim, B.-N. Hallazgos de TC de tórax en pacientes hospitalizados con SARS-CoV-2: variantes Delta versus Omicron. Radiología 306, 252–260 (2023).

Artículo PubMed Google Académico

Ouyang, L. et al. Entrenando modelos de lenguaje para seguir instrucciones con retroalimentación humana. En Advances in Neural Information Processing Systems (eds Oh, AH et al.) 35, 27730–27744 (2022).

Pilipiszyn, A. GPT-3 impulsa la próxima generación de aplicaciones. OpenAI https://openai.com/blog/gpt-3-apps/ (2021).

Burns, C., Ye, H., Klein, D. & Steinhardt, J. Descubriendo el conocimiento latente en modelos de lenguaje sin supervisión. Preimpresión en https://arxiv.org/abs/2212.03827 (2022).

Obermeyer, Z., Powers, B., Vogeli, C. y Mullainathan, S. Disección del sesgo racial en un algoritmo utilizado para gestionar la salud de las poblaciones. Ciencia 366, 447–453 (2019).

Artículo ADS CAS PubMed Google Scholar

Sesgo de sexo y género en tecnología e inteligencia artificial: aplicaciones de biomedicina y atención médica (académico, 2022).

Srivastava, A. et al. Más allá del juego de la imitación: cuantificación y extrapolación de las capacidades de los modelos lingüísticos. Preimpresión en https://arxiv.org/abs/2206.04615 (2022).

Carlini, N. et al. Extracción de datos de entrenamiento de grandes modelos de lenguaje. En Proc. 30.º Simposio de seguridad de USENIX (eds Bailey, M. & Greenstadt, R.) 6, 2633–2650 (2021).

Rama, HJ et al. Evaluación de la susceptibilidad de modelos de lenguaje pre-entrenados a través de ejemplos adversarios hechos a mano. Preimpresión en https://arxiv.org/abs/2209.02128 (2022).

Chowdhery, A. et al. PaLM: modelado de lenguaje escalable con vías. Preimpresión en https://arxiv.org/abs/2204.02311 (2022).

Zhang, S. et al. OPT: modelos de lenguaje de transformadores preentrenados abiertos. Preimpresión en https://arxiv.org/abs/2205.01068 (2022).

Hoffmann, J. et al. Un análisis empírico del entrenamiento de un modelo de lenguaje grande óptimo para computación. En Advances in Neural Information Processing Systems (eds Oh, AH et al.) 35, 30016–30030 (2022).

Chung, HW et al. Modelos de lenguaje ajustados a la instrucción de escala. Preimpresión en https://arxiv.org/abs/2210.11416 (2022).

Kung, TH et al. Rendimiento de ChatGPT en USMLE: potencial para la educación médica asistida por IA utilizando modelos de lenguaje grandes. PLoS Dig. Salud 2, 2 (2023).

Huang, S.-C., Shen, L., Lungren, MP y Yeung, S. GLoRIA: un marco de aprendizaje de representación global-local multimodal para el reconocimiento de imágenes médicas con etiquetas eficientes. En Proc. Int. IEEE/CVF Conferencia sobre visión por computadora (eds Brown, MS et al.) 3942–3951 (2021).

Johnson, AEW et al. MIMIC-IV, un conjunto de datos de registros de salud electrónicos de libre acceso. ciencia Datos 10, 1 (2023).

Artículo PubMed PubMed Central Google Académico

Sudlow, C. et al. UK Biobank: un recurso de acceso abierto para identificar las causas de una amplia gama de enfermedades complejas de la mediana edad y la vejez. PLoS Med. 12, e1001779 (2015).

Artículo PubMed PubMed Central Google Académico

Gou, J., Yu, B., Maybank, SJ y Tao, D. Destilación del conocimiento: una encuesta. En t. J. Cómputo. Vis. 129, 1789–1819 (2021).

Artículo Google Académico

Vegunta, R., Vegunta, R. & Kutti Sridharan, G. Fístula aortoduodenal secundaria que se presenta como hemorragia gastrointestinal y fungemia. Cureus 11, e5575 (2019).

PubMed PubMed Central Google Académico

Descargar referencias

Agradecemos a I. Kohane por brindar comentarios perspicaces que mejoraron el manuscrito. EJT cuenta con el apoyo de la subvención UL1TR001114 del Centro Nacional para el Avance de las Ciencias Traslacionales de los Institutos Nacionales de Salud (NIH). MM cuenta con el apoyo de la Agencia de Proyectos de Investigación Avanzada de Defensa (DARPA) N660011924033 (MCS), el Instituto Nacional NIH de Trastornos Neurológicos y Accidentes Cerebrovasculares R61 NS11865, GSK y el Instituto de Neurociencias Wu Tsai. JL recibió el apoyo de DARPA con los números HR00112190039 (TAMI) y N660011924033 (MCS), la Oficina de Investigación del Ejército con los números W911NF-16-1-0342 (MURI) y W911NF-16-1-0171 (DURIP), National Science Foundation bajo los números OAC-1835598 (CINES), OAC-1934578 (HDR) y CCF-1918940 (Expediciones), el NIH bajo el núm. 3U54HG010426-04S1 (HuBMAP), Iniciativa de ciencia de datos de Stanford, Instituto de neurociencias Wu Tsai, Amazon, Docomo, GSK, Hitachi, Intel, JPMorgan Chase, Juniper Networks, KDDI, NEC y Toshiba.

Estos autores contribuyeron igualmente: Michael Moor, Oishi Banerjee

Estos autores supervisaron conjuntamente este trabajo: Eric J. Topol, Pranav Rajpurkar

Departamento de Ciencias de la Computación, Universidad de Stanford, Stanford, CA, EE. UU.

Michael Moor y Jure Leskovec

Departamento de Informática Biomédica, Universidad de Harvard, Cambridge, MA, EE. UU.

Oishi Banerjee y Pranav Rajpurkar

Instituto de Política, Gestión y Evaluación de la Salud, Escuela de Salud Pública Dalla Lana, Universidad de Toronto, Toronto, Ontario, Canadá

Zahra Shakeri Hossein Abad

Facultad de Medicina de la Universidad de Yale, Centro de Investigación y Evaluación de Resultados, Hospital Yale New Haven, New Haven, CT, EE. UU.

Harlan M. Krumholz

Scripps Research Translational Institute, La Jolla, CA, EE. UU.

Eric J. Topol

También puede buscar este autor en PubMed Google Scholar

También puede buscar este autor en PubMed Google Scholar

También puede buscar este autor en PubMed Google Scholar

También puede buscar este autor en PubMed Google Scholar

También puede buscar este autor en PubMed Google Scholar

También puede buscar este autor en PubMed Google Scholar

También puede buscar este autor en PubMed Google Scholar

PR concibió el estudio. MM, OB, EJT y PR diseñaron el artículo de revisión. MM y OB hicieron contribuciones sustanciales a la síntesis y redacción del artículo. ZSHA y MM diseñaron e implementaron las ilustraciones. Todos los autores proporcionaron comentarios críticos y contribuyeron sustancialmente a la revisión del manuscrito.

Correspondencia a Eric J. Topol o Pranav Rajpurkar.

En los últimos tres años, HMK recibió gastos y/o honorarios personales de UnitedHealth, Element Science, Eyedentifeye y F-Prime; es cofundador de Refactor Health y HugoHealth; y está asociado con contratos, a través del Hospital Yale New Haven, de los Centros de Servicios de Medicare y Medicaid ya través de la Universidad de Yale de la Administración de Alimentos y Medicamentos, Johnson & Johnson, Google y Pfizer. Los demás autores declaran no tener intereses contrapuestos.

Nature agradece a Arman Cohan, Joseph Ledsam y Jenna Wiens por su contribución a la revisión por pares de este trabajo.

Nota del editor Springer Nature se mantiene neutral con respecto a los reclamos jurisdiccionales en mapas publicados y afiliaciones institucionales.

Springer Nature o su licenciante (p. ej., una sociedad u otro socio) posee los derechos exclusivos de este artículo en virtud de un acuerdo de publicación con los autores u otros titulares de derechos; el autoarchivo del autor de la versión manuscrita aceptada de este artículo se rige únicamente por los términos de dicho acuerdo de publicación y la ley aplicable.

Reimpresiones y permisos

Moor, M., Banerjee, O., Abad, ZSH et al. Modelos básicos para la inteligencia artificial médica generalista. Naturaleza 616, 259–265 (2023). https://doi.org/10.1038/s41586-023-05881-4

Descargar cita

Recibido: 03 noviembre 2022

Aceptado: 22 de febrero de 2023

Publicado: 12 abril 2023

Fecha de emisión: 13 de abril de 2023

DOI: https://doi.org/10.1038/s41586-023-05881-4

Cualquier persona con la que compartas el siguiente enlace podrá leer este contenido:

Lo sentimos, un enlace para compartir no está disponible actualmente para este artículo.

Proporcionado por la iniciativa de intercambio de contenido Springer Nature SharedIt

Ojo (2023)

Oncología de precisión npj (2023)

Al enviar un comentario, acepta cumplir con nuestros Términos y Pautas de la comunidad. Si encuentra algo abusivo o que no cumple con nuestros términos o pautas, márquelo como inapropiado.