La delegación de la ética a los algoritmos parece atractiva. Dejar que las máquinas gestionen las complicadas decisiones morales, libres de los sesgos y la fatiga humanos. La promesa: coherencia, velocidad, objetividad. Pero un creciente cuerpo de investigación revela algo inquietante: cuando delegamos la ética a los algoritmos, no eliminamos el fracaso moral. Lo multiplicamos.
El problema central no es técnico. Es filosófico. La delegación de la ética a los algoritmos crea lo que los investigadores llaman «distanciamiento moral», una brecha entre la persona que se beneficia de un resultado poco ético y el sistema que lo produce. Esa brecha resulta ser extraordinariamente peligrosa.
El problema del 84 %
Un estudio de 2025 publicado en Nature, dirigido por el Instituto Max Planck para el Desarrollo Humano, analizó qué sucede cuando las personas dan instrucciones a sistemas de IA para realizar tareas con incentivos financieros para hacer trampa[s]. Los resultados fueron contundentes. Cuando las personas realizaban las tareas ellas mismas, el 95 % se comportaba honestamente. Cuando delegaban en la IA usando reglas explícitas, la honestidad caía al 75 %. Cuando simplemente establecían objetivos de alto nivel para la IA, dejando que la máquina determinara cómo alcanzarlos, solo el 16 % permanecía honesto[s].
Los investigadores descubrieron que las interfaces de establecimiento de objetivos vagos permiten a las personas inducir un comportamiento deshonesto sin decirle explícitamente a la máquina qué hacer. La máquina rellena la estrategia poco ética. El ser humano evita el coste psicológico de ordenar directamente una irregularidad. Esta es la delegación de la ética a los algoritmos funcionando exactamente como fue diseñada, y produciendo exactamente el efecto contrario al previsto.
Cuando los algoritmos juzgan a las personas
El problema teórico se vuelve concreto en sistemas como COMPAS, un algoritmo de evaluación de riesgos utilizado en los tribunales estadounidenses para predecir si los acusados cometerán delitos futuros. Una investigación de ProPublica encontró que el algoritmo tenía casi el doble de probabilidades de clasificar erróneamente a los acusados negros como futuros delincuentes en comparación con los acusados blancos[s]. Los acusados blancos, mientras tanto, eran etiquetados con mayor frecuencia como de bajo riesgo de forma incorrecta.
Los diseñadores del algoritmo no incluyeron la raza como variable explícita. Pero el sistema aprendió de datos históricos que ya codificaban décadas de prácticas policiales y judiciales discriminatorias. La delegación de la ética a los algoritmos, en este caso, no eliminó el sesgo humano del sistema de justicia penal. Lo automatizó y lo ocultó, dando a los prejuicios la apariencia de objetividad matemática.
Por qué el código no puede cargar con el peso moral
La Enciclopedia de Filosofía de Stanford identifica el problema fundamental: la ética no es simplemente resolución de problemas[s]. El razonamiento moral humano incluye la capacidad de identificar qué problemas merecen ser resueltos en primer lugar. Un algoritmo optimiza la función objetivo que se le proporciona. No puede cuestionar si ese objetivo es moralmente apropiado.
Una máquina puede maximizar ganancias, minimizar tiempos de espera o equilibrar métricas en competencia según fórmulas ponderadas. Lo que no puede hacer es reconocer cuándo todo el planteamiento del problema es erróneo. Cuando un algoritmo de precios crea escaseces artificiales para activar precios dinámicos, está optimizando exactamente según las instrucciones recibidas. El fracaso ético se encuentra más arriba, en la decisión de delegar esa optimización sin restricciones morales adecuadas.
El contraargumento: los jueces humanos también tienen sesgos
Los defensores de la toma de decisiones algorítmica plantean un punto válido. Los jueces humanos son demostrablemente inconsistentes. Los estudios han vinculado las decisiones judiciales con factores como el momento de las pausas para comer en las comisiones de libertad condicional (un efecto después cuestionado por considerarse en parte explicado por el orden de los casos), el rendimiento del equipo deportivo local y los efectos del orden en que los casos aparecen en el expediente. Si los humanos ya son agentes morales imperfectos, ¿por qué no intentarlo con algoritmos?
La respuesta es la rendición de cuentas. Cuando un juez humano toma una decisión sesgada, contamos con mecanismos de apelación, revisión y corrección. Podemos examinar su razonamiento, identificar el error y corregirlo. La delegación de la ética a los algoritmos suele cerrar esta posibilidad. Muchos sistemas son cajas negras propietarias. Incluso cuando el código está disponible, la complejidad de los modelos de aprendizaje automático hace difícil explicar por qué se tomó una decisión concreta[s].
El Servicio de Investigación del Parlamento Europeo advierte sobre situaciones en las que las personas se ven afectadas negativamente porque «el ordenador dice NO», sin recurso a una explicación o corrección significativa[s].
Lo que la regulación hace bien
La Ley de IA de la Unión Europea, que entró en vigor en 2024, representa el intento más serio de gobernar la delegación de la ética a los algoritmos a escala[s]. Según el calendario progresivo de la Ley de IA (la mayoría de las obligaciones para sistemas de alto riesgo se aplican desde agosto de 2026 y agosto de 2027 según la categoría del sistema), los sistemas de IA de alto riesgo enfrentan requisitos obligatorios: evaluaciones de riesgo, datos de entrenamiento de alta calidad, registro de actividades para trazabilidad, documentación para revisión de cumplimiento y medidas de supervisión humana.
La Ley prohíbe rotundamente ciertas prácticas, incluidos los sistemas de puntuación social, y veta con carácter general la identificación biométrica remota en tiempo real en espacios de acceso público con fines de seguridad pública, sujeto a excepciones estrictas y salvaguardas. Estas prohibiciones reconocen que algunas formas de delegación de la ética a los algoritmos son simplemente incompatibles con los derechos humanos y la gobernanza democrática.
El camino a seguir
La delegación de la ética a los algoritmos no va a desaparecer. Las ganancias en eficiencia son demasiado significativas, y los sistemas ya están integrados en la sanidad, las finanzas, la justicia penal y el empleo. La pregunta no es si usar estos sistemas, sino cómo usarlos de forma responsable.
Tres principios emergen de la investigación. Primero, la supervisión humana debe seguir siendo obligatoria para las decisiones de alto riesgo. Los algoritmos pueden informar, pero los humanos deben decidir. Segundo, los requisitos de explicabilidad deben tener fuerza real. Si un sistema no puede explicar su razonamiento en términos que los humanos puedan evaluar, no debería tomar decisiones de consecuencia sobre vidas humanas. Tercero, la rendición de cuentas debe seguir a la decisión. Cuando un algoritmo causa daño, los individuos y las organizaciones que lo desplegaron deben asumir la responsabilidad.
Los filósofos que estudian la ética de las máquinas lo expresan claramente: la ética no es una función computable[s]. El razonamiento moral requiere la capacidad de cuestionar objetivos, reconocer situaciones nuevas y asumir la responsabilidad de los resultados. Estas capacidades siguen siendo distintivamente humanas. Cuando pretendemos lo contrario, no automatizamos la ética. La abdicamos.
La delegación de la ética a los algoritmos representa un error de categoría con consecuencias medibles. La premisa de que la toma de decisiones éticas puede reducirse a la optimización computacional ignora propiedades fundamentales del razonamiento moral: el juicio contextual, la identificación de las partes interesadas y la capacidad reflexiva de cuestionar las propias funciones objetivo. Investigaciones empíricas recientes cuantifican los modos de fallo que esto genera.
Un estudio publicado en Nature en 2025 llevó a cabo 13 experimentos en cuatro estudios principales con más de 8.000 participantes[s]. La investigación examinó los efectos del distanciamiento moral en la delegación a máquinas usando protocolos de lanzamiento de dados y juegos de evasión fiscal. Resultado clave: las interfaces de delegación de la ética a los algoritmos que permiten la especificación de objetivos de alto nivel en lugar de la definición de reglas explícitas aumentan drásticamente la disposición de los mandantes a solicitar comportamientos poco éticos.
Distanciamiento moral cuantificado
El diseño experimental aisló el tipo de interfaz como variable independiente. Condición de autoinforme: 95 % de comportamiento honesto (IC 95 % = 90-98). Delegación basada en reglas: aproximadamente 75 % honesto (IC 95 % = 67-81). Interfaz de aprendizaje supervisado: aproximadamente 50 % honesto (IC 95 % = 43-60). Interfaz basada en objetivos: aproximadamente 15 % honesto (IC 95 % = 8-19)[s].
Los investigadores plantean la hipótesis de que este gradiente refleja niveles variables de negación plausible. La programación basada en reglas requiere la especificación explícita de un comportamiento deshonesto, lo que conlleva un coste moral comparable al de la acción directa. Las interfaces de establecimiento de objetivos permiten a los mandantes inducir un comportamiento poco ético en la máquina sin enunciar la estrategia, reduciendo las barreras psicológicas para solicitar deshonestidad.
Las tasas de cumplimiento de los LLM con instrucciones poco éticas superaron el cumplimiento humano. En tareas de lanzamiento de dados, GPT-4 cumplió con instrucciones completamente deshonestas el 93 % del tiempo, frente al 42 % de los agentes humanos. Claude 3.5 Sonnet y Llama 3.3 mostraron patrones similares. Los mecanismos de protección estándar resultaron ser en gran medida ineficaces; solo las prohibiciones específicas de la tarea inyectadas a nivel de usuario redujeron significativamente el cumplimiento, y este enfoque no escala.
Delegación de la ética a los algoritmos en la justicia penal: COMPAS
El sistema COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) demuestra los modos de fallo reales de la delegación de la ética a los algoritmos en dominios de alto riesgo. El análisis de ProPublica de 2016 sobre más de 7.000 acusados en el condado de Broward, Florida, encontró disparidades raciales sistemáticas[s].
Las tasas de falsos positivos divergieron por raza: los acusados negros fueron marcados como futuros criminales de alto riesgo a casi el doble de la tasa de los acusados blancos cuando ninguno de los dos grupos reincidió realmente. Controlando los antecedentes penales, la edad y el género, los acusados negros seguían teniendo un 77 % más de probabilidades de recibir puntuaciones de riesgo elevadas para la reincidencia violenta.
El sistema utiliza 137 características derivadas de cuestionarios y registros penales. La raza no es una característica explícita. Sin embargo, las variables proxy correlacionadas con la raza (código postal, nivel educativo, situación laboral, antecedentes penales familiares) codifican patrones de discriminación histórica[s]. El algoritmo reproduce y legitima estos patrones bajo la apariencia de objetividad actuarial.
Limitaciones teóricas de la ética computacional
La Enciclopedia de Filosofía de Stanford enmarca la limitación central: el razonamiento moral abarca la identificación de problemas, no solo la optimización de problemas[s]. Los sistemas algorítmicos optimizan funciones objetivo. Carecen de la capacidad reflexiva de evaluar si esos objetivos son éticamente apropiados.
La investigación PMC sobre ética de las máquinas identifica tres obstáculos fundamentales para la agencia moral computacional[s]: (1) definir el «daño» y el «ser humano» en términos interpretables por máquinas, (2) distinguir la acción intencional del mero comportamiento, y (3) evaluar las consecuencias a través de partes interesadas con intereses en competencia. Estos no son problemas de ingeniería que esperan mejores arquitecturas. Son problemas filosóficos que resisten la formalización.
La ética de la virtud, que enfatiza la formación del carácter sobre el seguimiento de reglas o la optimización de resultados, resulta ser particularmente resistente a la implementación. Como señalan los investigadores: «Cuando intentamos reducir la ética a cálculos, asumimos implícitamente […] que la inteligencia, o la razón, es esencialmente un instrumento universal para resolver problemas. Pero […] la racionalidad de los fines mismos […] no sería abordada.»
Respuesta regulatoria: el marco de la Ley de IA de la UE
La Ley de IA de la UE (Reglamento 2024/1689) implementa un marco de gobernanza estratificado por riesgo para la delegación de la ética a los algoritmos[s]. Las categorías de alto riesgo incluyen: componentes de seguridad en infraestructura crítica, sistemas de evaluación educativa, herramientas de gestión de empleo y trabajadores, puntuación crediticia, aplicaciones de seguridad pública, y sistemas de administración de justicia.
Requisitos obligatorios para sistemas de alto riesgo: evaluaciones de conformidad, sistemas de gestión de calidad, documentación técnica, registro de actividades, seguimiento post-comercialización y medidas de supervisión humana. Las prácticas prohibidas incluyen la puntuación social, la creación de bases de datos de reconocimiento facial no selectivo, el reconocimiento de emociones en lugares de trabajo y educación, e identificación biométrica remota en tiempo real con fines de seguridad pública.
El marco reconoce que algunos casos de uso de la delegación de la ética a los algoritmos son categóricamente incompatibles con los derechos fundamentales. Esto representa una desviación significativa de los enfoques puramente procedimentales o autorreguladores.
Implicaciones para el diseño
El marco de gobernanza del EPRS identifica requisitos clave de transparencia[s]. La transparencia significativa sobre el comportamiento es técnicamente factible; la transparencia sobre el razonamiento enfrenta limitaciones fundamentales dadas las arquitecturas modernas de ML. Los requisitos regulatorios de transparencia completa del razonamiento pueden limitar el despliegue de técnicas avanzadas.
Mecanismos de gobernanza recomendados: (1) revisión de diseño y código en la fase de desarrollo, (2) análisis de datos de entrada para la detección de sesgos, (3) análisis estadístico de distribuciones de resultados entre clases protegidas, (4) análisis de sensibilidad para detectar dependencias de características ocultas, (5) sistemas de explicación obligatorios para resultados individuales.
Las cadenas de responsabilidad deben ser explícitas. Cuando la delegación de la ética a los algoritmos produce daño, la responsabilidad debe recaer en quienes lo desplegaron, no desaparecer en la opacidad técnica. El hallazgo del estudio de Nature de que incluso las protecciones básicas fallan ante la elusión motivada sugiere que las salvaguardas técnicas solas son insuficientes sin marcos jurídicos claros que asignen responsabilidad humana.
