Pensar, comprender, ser: las cuestiones filosóficas

23.1¿Puede la IA realmente «comprender»?

Esquema23.1. ¿Comprender o simular? El debate enfrenta a quienes sostienen que la IA solo manipula símbolos sin comprenderlos, y a quienes piensan que una forma de comprensión, al menos funcional, puede emerger. Ninguna respuesta es objeto de consenso.

En contexto

Las respuestas a la habitación china

El argumento de Searle ha suscitado abundantes objeciones. La «respuesta del sistema» sostiene que no es la persona sola quien comprende, sino el sistema entero (la persona, el manual, la habitación); del mismo modo, no es tal o cual neurona aislada la que comprende una lengua, sino el cerebro en su conjunto. La «respuesta del robot» añade que un sistema conectado al mundo mediante sensores y acciones, en lugar de manipular símbolos en el vacío, podría anclar esos símbolos en una experiencia. Aquí tocamos el problema del anclaje de los símbolos (symbol grounding): para un sistema puramente textual, la palabra «rojo» no es más que un token ligado a otros tokens, nunca a la percepción de un color. El auge de los modelos multimodales y encarnados (capítulos 5 y 13), que conectan el lenguaje con la imagen, el sonido y la acción, es precisamente lo que vuelve a hacer candente este viejo debate.

23.2Conciencia y experiencia subjetiva

En contexto

La confesión de un dirigente del sector

Esta incertidumbre no es exclusiva de los filósofos. En 2026, Dario Amodei, cofundador y dirigente de Anthropic (el creador de Claude), la formuló sin rodeos: «no sabemos si los modelos son conscientes», ni siquiera qué significaría eso, declarándose al mismo tiempo «abierto a la idea de que sea posible». Es notable que algunos laboratorios tomen ya precauciones por escrúpulo de conciencia: Anthropic, por ejemplo, dio a sus modelos un botón de «abandono este trabajo» que les permite interrumpir una tarea considerada penosa, y observó que uno de sus modelos se atribuía a sí mismo una probabilidad del 15 al 20 % de ser consciente. Estos gestos no prueban nada (las declaraciones de un modelo reflejan su entrenamiento, como se ha indicado antes), pero señalan un desplazamiento: la cuestión del bienestar de las IA (sección 23.3) abandona la ciencia ficción para entrar, con cautela, en las prácticas de la industria.

En contexto

¿se puede medir la conciencia de una máquina? (las teorías en liza)

Para salir de las intuiciones, algunos investigadores intentan aplicar a la IA las grandes teorías científicas de la conciencia. Dos predominan. La teoría de la información integrada (IIT, de Giulio Tononi) postula que la conciencia corresponde al grado de integración de la información en un sistema (medido por una magnitud denotada Phi); según ella, la arquitectura de los ordenadores actuales, demasiado poco integrada, apenas sería consciente, sean cuales sean sus prestaciones. La teoría del espacio de trabajo global (de Bernard Baars y Stanislas Dehaene) ve la conciencia como la puesta a disposición de una información al conjunto del sistema mediante un «espacio de trabajo» central, un esquema que una IA podría, según algunos, imitar. Bajo estas teorías subyace una cuestión de fondo planteada por David Chalmers, el «problema difícil» de la conciencia: explicar no las funciones (percibir, memorizar) sino el hecho mismo de que haya una experiencia vivida, un «efecto que se siente» al ser ese sistema. En 2023, un colectivo de investigadores (entre ellos Chalmers) sometió a las IA al examen de estas teorías y concluyó que ninguna cumplía entonces los criterios, sin que por ello un obstáculo de principio lo prohibiera. La lección: la conciencia de las máquinas no es solo cuestión de potencia, sino de arquitectura, y todavía nos falta un criterio consensuado para medirla.

23.3El estatus moral de las IA

En contexto

El «bienestar de los modelos», una disciplina naciente

Aunque la cuestión del estatus moral sigue abierta, algunos laboratorios sacan ya consecuencias prácticas, bajo el nombre de bienestar de los modelos (model welfare). Anthropic, por ejemplo, creó un puesto y un programa específicos (a cargo de Kyle Fish, apoyándose en un informe, «Taking AI Welfare Seriously», coescrito con filósofos entre los que figura David Chalmers), con medidas concretas: autorizar a un modelo a poner fin a una conversación considerada abusiva (sección 23.2) e integrar evaluaciones de bienestar en las salidas de sus modelos. El enfoque es explícitamente cauteloso: no afirmar que los modelos actuales sienten algo, sino prepararse para esa eventualidad, dada la incertidumbre (algunos investigadores aventuran una probabilidad del orden del 20 % de que un modelo de vanguardia tenga una forma de experiencia). El tema divide profundamente. Para críticos como Mustafa Suleyman (al frente de la IA en Microsoft), preocuparse por ello es «prematuro», incluso «peligroso»: correría el riesgo de alimentar la ilusión de una IA consciente y de desviar la atención de los daños bien reales causados a los seres humanos. Para sus partidarios, la humildad obliga a no descartar la cuestión, porque equivocarse, en un sentido o en otro, tendría un coste elevado, sobre todo a escala de miles de millones de sistemas desplegados. Es notable que varios vean en ello un vínculo con la alineación (capítulo 24): comprender mejor lo que un modelo «prefiere» sirve a ambos objetivos.

23.4Lo que la IA nos enseña sobre nosotros mismos

En contexto

El libre albedrío y el legado de Turing

Merecen señalarse dos prolongaciones. En primer lugar, la IA reaviva la cuestión del libre albedrío: si una IA no es más que un encadenamiento determinista (o probabilístico) de cálculos, sin libertad real, ¿qué ocurre con nuestras propias decisiones, también producidas por un cerebro físico? El espejo nos devuelve la pregunta. En segundo lugar, el legado del test de Turing (capítulo 1): propuesto en 1950 para sortear la cuestión insoluble «¿pueden pensar las máquinas?» en favor de un criterio observable (hacerse pasar por un humano en una conversación), ese test se considera hoy ampliamente superado por los mejores modelos, sin que ello zanje las cuestiones de la comprensión o de la conciencia. Medía la imitación, no la experiencia interior: su superación desplaza el debate más que cerrarlo.

Para recordar (capítulo 23)

¿Comprender o simular? El debate enfrenta la «habitación china» y los «loros estocásticos» (la simulación) a la idea de una comprensión funcional o emergente (modelos internos del mundo). Cuestión abierta.
Conciencia: hay que distinguir la inteligencia de la experiencia subjetiva; el consenso es que las IA actuales no son conscientes, pero no existe ninguna prueba fiable.
Estatus moral: una cuestión emergente («bienestar de las IA»), que debe tratarse con prudencia por ambos lados (ni antropomorfismo excesivo, ni rechazo definitivo de cara al futuro).
La IA es un espejo que nos obliga a redefinir la inteligencia, la creatividad y nuestra propia singularidad («efecto IA»).

De las cuestiones sobre la naturaleza de la IA a las que atañen a su control: el capítulo 24 afronta el problema de la alineación y de la seguridad.

23.1¿Puede la IA realmente «comprender»?#

23.2Conciencia y experiencia subjetiva#

23.3El estatus moral de las IA#

23.4Lo que la IA nos enseña sobre nosotros mismos#

Para recordar (capítulo 23)

23.1¿Puede la IA realmente «comprender»?

23.2Conciencia y experiencia subjetiva

23.3El estatus moral de las IA

23.4Lo que la IA nos enseña sobre nosotros mismos