Qué ChatGBT ni panoplas, lo que se describe y publica en este fantástico trabajo es fascinante y aterrorizante a la vez. Se puede “leer” las memorias y eventos en el cerebro de una persona y representarlos!!!! Esto tiene implicaciones enormes para la ciencia, sociología, psiquiatría y si, para las agencias especiales de espionaje y manipulación gubernamentales. Disfruten este trabajo y mediten en sus implicaciones y usos.
Ronald Palacios Castrillo
Shen,et.al.,PLOS Computational Biology. . https://doi.org/10.1371/journal.pcbi.1006633
Se cree que los contenidos mentales de la percepción y las imágenes están codificados en representaciones jerárquicas en el cerebro, pero los intentos anteriores de visualizar los contenidos perceptivos no lograron capitalizar los múltiples niveles de la jerarquía, lo que dificulta la reconstrucción de las imágenes internas.
=> Recibir por Whatsapp las noticias destacadas
Un trabajo reciente mostró que la actividad cortical visual medida por imágenes de resonancia magnética funcional (fMRI) se puede decodificar (traducir) en las características jerárquicas de una red neuronal profunda (DNN) preentrenada para la misma imagen de entrada, proporcionando una forma de hacer uso de la información de características visuales jerárquicas.
Aquí, presentamos un nuevo método de reconstrucción de imágenes, en el que los valores de píxel de una imagen se optimizan para hacer que sus características DNN sean similares a las decodificadas a partir de la actividad del cerebro humano en múltiples capas.
Descubrimos que nuestro método podía producir de manera confiable reconstrucciones que se parecían a las imágenes naturales vistas.
Una imagen natural previamente introducida por una red neuronal de generador profundo representó efectivamente detalles semánticamente significativos para las reconstrucciones. El juicio humano de las reconstrucciones apoyó la eficacia de combinar varias capas de DNN para mejorar la calidad visual de las imágenes generadas.
Si bien nuestro modelo se entrenó únicamente con imágenes naturales, se generalizó con éxito a formas artificiales, lo que indica que nuestro modelo no estaba simplemente emparejado con ejemplares. El mismo análisis aplicado a la imaginería mental demostró reconstrucciones rudimentarias del contenido subjetivo.
Nuestros resultados sugieren que nuestro método puede combinar efectivamente representaciones neuronales jerárquicas para reconstruir imágenes perceptivas y subjetivas, proporcionando una nueva ventana a los contenidos internos del cerebro.
El análisis basado en el aprendizaje automático de los patrones de resonancia magnética funcional humana (fMRI) ha permitido la visualización del contenido perceptivo.
Sin embargo, el trabajo previo que visualiza contenidos perceptuales de la actividad cerebral no ha logrado combinar información visual de múltiples niveles jerárquicos. Aquí, presentamos un método para la reconstrucción de imágenes visuales del cerebro que puede revelar contenidos vistos e imaginados al capitalizar múltiples niveles de representaciones corticales visuales.
Descodificamos la actividad cerebral en características visuales jerárquicas de una red neuronal profunda (DNN) y optimizamos una imagen para hacer que sus características DNN sean similares a las características decodificadas. Nuestro método produjo con éxito imágenes perceptualmente similares a las imágenes naturales e imágenes artificiales vistas (formas y letras de colores), mientras que el decodificador se entrenó solo en un conjunto independiente de imágenes naturales.
También se generalizó a la reconstrucción de imaginería mental de imágenes recordadas. Nuestro enfoque permite estudiar contenidos subjetivos representados en representaciones neuronales jerárquicas al objetivarlos en imágenes.
Si bien la externalización de los estados de la mente es un tema de larga data en la ciencia ficción, solo recientemente el advenimiento del análisis basado en el aprendizaje automático de los datos de imágenes de resonancia magnética funcional (fMRI) ha expandido su potencial en el mundo real.
Aunque se han desarrollado modelos sofisticados de decodificación y codificación para convertir la actividad del cerebro humano en imágenes o películas, los métodos se limitan esencialmente a la reconstrucción de imágenes con bases de imágenes de bajo nivel , o a la comparación con imágenes o películas ejemplares , al no poder combinar las características visuales de múltiples niveles jerárquicos.
Si bien varios enfoques recientes han introducido redes neuronales profundas (DNN) para la tarea de reconstrucción de imágenes, no han logrado utilizar completamente la información jerárquica para reconstruir imágenes visuales [5, 6].
Además, mientras que se ha demostrado la decodificación categórica de contenidos de imágenes , la reconstrucción de imágenes generadas internamente ha sido un desafío.
El éxito reciente de las DNN proporciona innovaciones técnicas para estudiar el procesamiento visual jerárquico en la neurociencia computacional.
Nuestro estudio reciente usó características visuales de DNN como un representante de las representaciones neuronales jerárquicas del sistema visual humano y descubrió que un patrón de actividad cerebral medido por fMRI podría decodificarse (traducirse) en patrones de respuesta de unidades DNN en múltiples capas que representan el visual jerárquico. características dada la misma entrada.
Este hallazgo reveló una homología entre las representaciones jerárquicas del cerebro y la DNN, lo que brinda una nueva oportunidad para utilizar la información de las características visuales jerárquicas.
Aquí, presentamos un enfoque novedoso, llamado reconstrucción profunda de imágenes, para visualizar el contenido perceptivo de la actividad del cerebro humano.
Esta técnica combina la decodificación de características DNN a partir de señales fMRI con métodos desarrollados recientemente para la generación de imágenes desde el campo del aprendizaje automático (Fig. 1).
El algoritmo de reconstrucción comienza con una imagen inicial determinada y optimiza iterativamente los valores de imagen actual se vuelvan similares a las decodificadas a partir de la actividad cerebral en múltiples capas de DNN.
La imagen optimizada resultante se considera una reconstrucción de la actividad cerebral. Opcionalmente, introdujimos una red generadora profunda (DGN) [12] para restringir las imágenes reconstruidas para que se vean similares a las imágenes naturales mediante la optimización en el espacio de entrada de la DGN.
Discusión
Hemos presentado un enfoque novedoso para reconstruir el contenido perceptivo y mental de la actividad del cerebro humano combinando características visuales de las múltiples capas de una DNN.
Reconstruimos con éxito las imágenes naturales vistas, especialmente cuando se combinan con un DGN. Los resultados del extenso análisis de cada tema se replicaron en diferentes temas.
La reconstrucción de formas artificiales también tuvo éxito, aunque los modelos de reconstrucción utilizados se entrenaron solo con imágenes naturales.
El mismo método también se aplicó a las imágenes mentales y reveló reconstrucciones rudimentarias del contenido mental.
Nuestro método es capaz de reconstruir varios tipos de imágenes, incluidas imágenes naturales, formas artificiales coloreadas y letras alfabéticas, aunque cada componente de nuestro modelo de reconstrucción, los modelos DNN y los decodificadores de funciones DNN, se entrenaron únicamente con imágenes naturales.
Los resultados demostraron contundentemente que nuestro método fue ciertamente capaz de ‘reconstruir’ o ‘generar’ imágenes a partir de la actividad cerebral, lo que diferencia nuestro método de los intentos anteriores de visualizar contenidos perceptuales utilizando el enfoque de coincidencia ejemplar, que adolece de restricciones derivadas de la imagen preseleccionada. /escenarios de películas.
Introdujimos la restricción basada en GAN utilizando DGN para reconstrucciones de imágenes naturales para mejorar la naturalidad de las imágenes reconstruidas, brindando detalles semánticamente significativos a las reconstrucciones. Una variante del enfoque basado en GAN también ha demostrado su utilidad en un estudio previo de reconstrucción de imágenes faciales.
El espacio de características derivado de GAN parece proporcionar restricciones eficientes en las imágenes resultantes para mejorar la semejanza perceptual con el conjunto de imágenes en el que se entrena una GAN.
Si bien una de las fortalezas del presente método es su capacidad de generalización entre tipos de imágenes, aún queda espacio para mejoras sustanciales en el rendimiento de la reconstrucción.
Debido a que utilizamos los modelos (DNN y decodificadores) entrenados con imágenes de «objetos» naturales de la base de datos de ImageNet , cuyas imágenes contienen objetos alrededor del centro, no sería óptimo para la reconstrucción de otro tipo de imágenes.
Además, debido a que usamos el modelo DNN entrenado para clasificar imágenes en 1000 categorías de objetos, las representaciones adquiridas en el DNN se adaptarían específicamente a los objetos particulares.
Se podrían entrenar los modelos con diversos tipos de imágenes, como escenas, texturas y formas artificiales, así como imágenes de objetos, para mejorar el rendimiento general de la reconstrucción. Si el tipo de imagen de destino se conoce con anterioridad, se puede usar un conjunto específico de imágenes y una tarea de entrenamiento del modelo DNN que coincida con él.
También podrían usarse otros modelos DNN con diferentes arquitecturas para mejorar el rendimiento general de la reconstrucción.
Como la calidad de la reconstrucción se correlaciona positivamente con la precisión de decodificación de características, es probable que las DNN con unidades altamente decodificables mejoren las reconstrucciones. Estudios recientes evaluaron diferentes tipos de DNN en términos de precisión de predicción de la actividad cerebral dados sus valores característicos (o la precisión de codificación).
Aunque queda por ver qué tan estrechamente están vinculadas las precisiones de codificación y decodificación, se espera que más modelos DNN «similares al cerebro» produzcan reconstrucciones de alta calidad.
Nuestro enfoque proporciona una ventana única a nuestro mundo interno al traducir la actividad cerebral en imágenes a través de características visuales jerárquicas.
Nuestro método también se puede ampliar para decodificar contenidos mentales distintos de la percepción visual y las imágenes. Al elegir una arquitectura de DNN adecuada con una homología sustancial con las representaciones neuronales, las características de DNN decodificadas por el cerebro podrían convertirse en películas, sonidos, texto u otras formas de representaciones sensoriales/mentales.
La externalización de contenidos mentales mediante este enfoque podría resultar útil para comunicar nuestro mundo interno a través de interfaces cerebro-máquina/computadora.