Al incorporar capacidades humanas en sistemas como ChatGPT, asumimos diversos riesgos. Comprender el funcionamiento de estas tecnologías es fundamental para su uso responsable.
Fuente: Globo G1
Los recientes avances en Inteligencia Artificial (IA) han creado una ilusión convincente. Sistemas como ChatGPT, Copilot o Gemini nos seducen con su aparente capacidad de pensar. Responden preguntas complejas, producen textos articulados e incluso parecen reflexionar sobre sus propias decisiones. Pero no nos engañemos: estas máquinas carecen de razonamiento lógico, comprensión de conceptos y conciencia.
En la práctica, trabajamos con sistemas que reconocen patrones en nuestro lenguaje, sin comprender realmente lo que dicen. Esto tiene importantes implicaciones para cómo usamos, evaluamos y regulamos estas tecnologías.
Cómo funciona la predicción de palabras
=> Recibir por Whatsapp las noticias destacadas
Los Grandes Modelos Lingüísticos (o LLM) funcionan según un principio simple: predecir cuál será la siguiente palabra en una secuencia. Para ello, se entrenan con grandes volúmenes de texto y aprenden los patrones que rigen la combinación de palabras en diferentes contextos de nuestro idioma.
Lo que llamamos “respuesta” es, en la práctica, una cadena de predicciones: cada palabra se elige en función de las probabilidades de aparecer después de las anteriores en ese contexto particular.
A pesar de su sofisticación, los lingüistas Emily Bender y Alexander Koller señalan que estos modelos solo captan la forma del lenguaje, sin acceder a su significado. Lo que parece comprensión es en realidad un reflejo de patrones estadísticos extraídos del uso del lenguaje por parte de los humanos.
No creas en la cadena de pensamiento
Los investigadores han desarrollado mecanismos que permiten a los LLM explicar su cadena de procesamiento paso a paso, una técnica conocida como «cadena de pensamiento». De hecho, los mensajes generados en estos casos pueden parecer una línea estructurada de razonamiento lógico, lo cual resulta bastante sorprendente.
Sin embargo, varios estudios han demostrado que estas explicaciones son falaces. Cuando los modelos afirman estar «pensando» en un problema, lo que hacen es generar más texto probabilísticamente basándose en valores de procesamiento intermedios, sin necesariamente informar de los procesos computacionales utilizados para llegar a la respuesta.
Detrás de cada respuesta se esconde una compleja maraña de cálculos multicapa, un proceso tan oscuro que se le ha denominado la «caja negra de la IA». Así, cuando se les pide que expliquen su razonamiento, los modelos construyen una narrativa plausible y a menudo sugieren que siguieron una lógica estructurada cuando, en realidad, simplemente realizaban cálculos textuales probabilísticos.
Otro estudio ha demostrado que incluso las operaciones matemáticas se resuelven principalmente con base en patrones estadísticos en secuencias de texto, en lugar de reglas lógicas formales. De hecho, un estudio reciente descubrió que incluso cuando la respuesta final es correcta, la explicación dada puede ser incorrecta o ilógica. De hecho, Apple acaba de publicar un artículo que identifica las limitaciones de los modelos de IA que afirman ser capaces de razonar, especialmente para problemas lógicos que requieren cálculos matemáticos precisos.
La ilusión antropomórfica
La tendencia a atribuir el pensamiento humano a estos sistemas tiene profundas raíces en la psicología. El fenómeno de la pareidolia cognitiva —nuestra propensión a encontrar patrones familiares donde no los hay— nos lleva a proyectar intención y comprensión en sistemas que carecen de estas características.
Emily Bender señala que la interfaz textual de los LLM explota esta vulnerabilidad cognitiva humana. Cuando un sistema responde en primera persona, usando pronombres como «yo» y declarando que está «pensando», nuestros cerebros —programados evolutivamente para las interacciones sociales— atribuyen automáticamente agencia y consciencia a la máquina. Los informáticos han estado insistiendo precisamente en este punto: estas herramientas están diseñadas para sonar convincentes, no para pensar como humanos.
Un artículo reciente en The Atlantic destaca los peligros de atribuir falsamente conciencia a las IA, como la “psicosis inducida por ChatGPT”, donde los usuarios desarrollan creencias delirantes de que están interactuando con entidades conscientes o divinas.
Este malentendido fundamental —confundir la capacidad estadística de predecir textos con el pensamiento genuino— ha permitido la comercialización de sustitutos artificiales de relaciones humanas esenciales, como terapeutas, amigos e incluso parejas, explotando nuestra propensión natural a asociar el lenguaje con la consciencia. Los usuarios terminan creando vínculos emocionales con máquinas incapaces de una reciprocidad auténtica, sacrificando interacciones personales genuinas en favor de simulaciones personalizadas que carecen de las características fundamentales de las relaciones humanas.
Implicaciones prácticas y éticas
Esta comprensión de que los modelos no piensan tiene consecuencias en cómo usamos y regulamos estas tecnologías. Atribuir erróneamente las capacidades cognitivas humanas a los LLM podría llevarnos a:
Como advierte la científica informática Melanie Mitchell en su libro «Inteligencia Artificial: Una Guía para Pensar en Humanos», esta antropomorfización genera expectativas desalineadas y evaluaciones inexactas. Las investigaciones demuestran que estos modelos fracasan sistemáticamente en tareas que requieren razonamiento causal o comprensión basada en el sentido común, precisamente porque carecen de las estructuras cognitivas que sustentan el razonamiento humano.
A pesar de sus impresionantes capacidades, los LLM presentan limitaciones significativas. A menudo producen información falsa con aparente seguridad (las llamadas «alucinaciones de IA»), reproducen sesgos en los datos de entrenamiento, no acceden a información en tiempo real y no verifican los hechos de forma independiente.
Además, tienen dificultades con el razonamiento lógico-matemático, las abstracciones, la retención del contexto en interacciones largas y el uso eficaz de la memoria. Pero, sobre todo, carecen de cualquier forma de conciencia o experiencia del mundo físico, lo que les impide emitir juicios genuinos sobre situaciones que implican empatía, dilemas éticos o experiencias humanas.
Conclusión: una visión más precisa
Reconocer los LLM por lo que realmente son —sofisticados mecanismos de asociación lingüística, no entidades pensantes— no disminuye su utilidad. Al contrario, nos permite utilizarlos con expectativas más realistas y criterios de control más adecuados.
Estos sistemas son excelentes para diversas tareas que involucran lenguaje natural, como resumir textos, traducir, organizar datos y generar explicaciones educativas. En programación, ayudan a escribir y revisar código. También son útiles para automatizar tareas repetitivas, como formatear documentos, convertir archivos o responder correos electrónicos.
A medida que las tecnologías se integran cada vez más en nuestra vida cotidiana, comprender cómo funcionan realmente se vuelve esencial. Son herramientas poderosas, pero solo cuando se utilizan con claridad sobre sus capacidades y límites. Proyectar cualidades humanas, como el razonamiento, el sentido común o la conciencia moral, en ellas es un error que puede tener graves consecuencias. Los modelos lingüísticos no están aquí para reemplazar a los humanos, sino para apoyarnos. Si se utilizan correctamente, pueden ampliar nuestra capacidad de procesamiento y comunicación, ayudándonos a tomar decisiones cada vez más acertadas, en beneficio de la sociedad en su conjunto.
Paulo Ivson Netto Santos no consulta, trabaja, posee acciones o recibe financiación de ninguna empresa u organización que pueda beneficiarse de la publicación de este artículo y no ha revelado ninguna afiliación relevante más allá de su posición académica.