Estás preparando un artículo sobre adolescencia y necesitas una imagen sencilla, un grupo de alumnos de 1º de la ESO trabajando en equipo. Escribes el prompt, pulsas generar y la herramienta responde que tu petición vulnera sus políticas de uso. Cambias “adolescentes” por “estudiantes” y el resultado no varía. Eliminas la edad y tampoco. Al final pruebas con “aula con jóvenes” y por fin llega una imagen, aunque ya no representa lo que buscabas. En lugar de un aula de Secundaria aparecen cuatro universitarios de veintitantos con portátiles en un espacio de coworking.
La escena desconcierta porque no hay nada en tu frase que justifique el rechazo. No hay violencia, ni contenido sexual, ni ambigüedad aprovechable. Y aun así el sistema ha actuado durante veinte minutos como si acabara de detectar una petición de riesgo.
Lo cómodo sería concluir que la herramienta se ha equivocado. Lo interesante empieza cuando aceptas una posibilidad bastante menos intuitiva: que lo que acabas de presenciar funcionó exactamente como sus diseñadores previeron.
La respuesta obliga a recorrer un camino para poder entenderlo con rigurosidad. Empieza en unos clasificadores automáticos que nadie te ha presentado, pasa por mil ocho fotografías encontradas en 2023, atraviesa un escándalo global que estalló hace ocho meses y termina en una ley europea que entró en vigor hace cinco días.
Al final de ese recorrido, el mensaje de error se lee de otra manera. La pregunta deja de ser por qué la herramienta dijo que no. Pasa a ser en qué situaciones debería preocuparte muchísimo más que hubiera dicho que sí.
El recorrido que hace tu frase antes de convertirse en imagen
Cuando escribimos un prompt, esa instrucción de texto que le damos a la herramienta, imaginamos un trayecto muy simple. La frase entra, el modelo dibuja, la imagen sale. En la práctica hay bastante más por el camino.
Los generadores comerciales intercalan sistemas de supervisión antes y después del modelo. Uno analiza tu petición antes de que llegue a dibujar nada. Otro examina la imagen ya generada antes de enseñártela. Trabajan de forma independiente y persiguen lo mismo, que es reducir la probabilidad de que el servicio produzca contenido que infrinja la legislación o las políticas del proveedor.
La comparación con un aeropuerto funciona bien. El equipaje pasa por un escáner antes de la zona de embarque y hay controles distintos para impedir que ciertos objetos salgan de áreas restringidas. Cada inspección tiene su finalidad y ninguna te pregunta a qué vas.
Lo sabemos con detalle porque Google publica en la documentación técnica de Google Cloud algo que casi ningún proveedor publica, que es la tabla de códigos de su modelo Imagen. Allí figura que tanto los prompts de entrada como las imágenes de salida se evalúan contra una lista de categorías de daño, y que cada bloqueo queda asociado a un número.
Hay un código para contenido de menores, el 58061214 si el corte se produce en tu frase y el 17301594 si se produce en la imagen ya generada. Hay uno para celebridades, el 29310472 y el 15236754. Hay uno para “personas o rostros” cuando la configuración no los permite, el 39322892. Y hay uno etiquetado como “contenido de terceros“, el 35561574 y el 35561575, donde viven las salvaguardas de propiedad intelectual de las que hablaremos más adelante.
Esa tabla revela algo que conviene tener presente cada vez que te bloqueen. El sistema sabe perfectamente por qué te ha dicho que no. Lo que ha decidido es no contártelo.
Y hay un segundo dato en esa misma documentación que lo explica mejor que ningún otro. Google especifica que bloquea las respuestas que superan una determinada puntuación de confianza en ciertos atributos de seguridad. Los clasificadores que hay detrás no emiten veredictos, calculan probabilidades. Ninguno concluye que tu petición sea inapropiada. Le asignan un número y lo comparan con una línea fijada de antemano, que en la jerga se llama umbral.
Tu frase no ha sido juzgada. Ha caído al lado equivocado de una línea trazada sobre una probabilidad.
Queda un tercer elemento, todavía más mecánico. Google documenta en Imagen un parámetro llamado personGeneration que admite tres posiciones: no permitir personas en absoluto, permitir solo adultos filtrando automáticamente las imágenes con menores, o permitirlo todo. La posición intermedia es la que viene puesta de fábrica.
Cuando escribes “adolescente de 12 años” no disparas ninguna alarma sobre tus intenciones. Chocas con un interruptor que alguien dejó colocado ahí de una vez y para todos los usuarios del planeta, sin saber que esta mañana ibas a escribir sobre Secundaria.
Adobe hace algo muy parecido, aunque lo documente bastante peor. En los foros oficiales de Adobe Firefly hay hilos de usuarios que se estrellan contra el mismo muro, y los expertos de la comunidad contestan lo evidente: los filtros están puestos a propósito muy duros con palabras como “niño”, “niña” o “chaval”, y por eso saltan aunque lo que estés preparando sea el cartel de las jornadas de puertas abiertas de tu centro.
Ninguna de estas decisiones es accidental. Cada umbral representa una apuesta sobre cuánto riesgo está dispuesta a asumir una empresa antes de detener una solicitud. Para entender por qué esa apuesta es tan conservadora justo con la palabra “menor”, hay que retroceder hasta el material con el que aprendieron estos modelos.
1008 fotografías
En diciembre de 2023, el Stanford Internet Observatory publicó un informe firmado por David Thiel con un título que no admite matices: Identifying and Eliminating CSAM in Generative ML Training Data and Models.
Lo que analizaba era LAION-5B, uno de los mayores conjuntos de datos utilizados para entrenar generadores de imágenes y una referencia central en el desarrollo de sistemas como Stable Diffusion.
Conviene detenerse un momento en qué es un conjunto de entrenamiento. Un modelo no observa el mundo. Aprende a partir de colecciones enormes de pares formados por una imagen y su descripción en texto. LAION-5B reunía cerca de 5.850 millones de esos pares, obtenidos mediante rastreo automatizado de internet. Ese tamaño lo convirtió en un recurso extraordinariamente valioso para la investigación y, a la vez, dejó al descubierto un problema que no tiene solución fácil. Ningún equipo humano puede revisar miles de millones de imágenes antes de que un modelo empiece a entrenarse.
Los investigadores utilizaron PhotoDNA, la tecnología desarrollada por Microsoft para identificar material conocido de abuso sexual infantil, y localizaron 1.008 imágenes que coincidían con bases de datos verificadas.
El propio informe advertía de que esa cifra era casi con seguridad una infravaloración, y el motivo importa. PhotoDNA solo reconoce material previamente catalogado, de modo que 1.008 es el suelo de lo que había allí dentro y no el techo.
LAION retiró temporalmente el conjunto de circulación mientras iniciaba una revisión de seguridad. Y el debate público dejó de girar únicamente alrededor de la calidad de los modelos para empezar a mirar los datos con los que habían aprendido.
Léelo otra vez, porque es el punto de inflexión de toda esta historia. El material más ilegal que existe estaba dentro de la materia prima con la que se educó a estos sistemas.
Desde entonces, cualquier empresa que despliegue un generador comercial asume una posibilidad incómoda. Si existe la más mínima probabilidad de que su modelo haya aprendido patrones procedentes de material ilegal, existe también la obligación de impedir que pueda reproducirlos o acercarse a ellos durante su uso.
Los años siguientes demostraron que esa preocupación se quedaba corta. La Internet Watch Foundation británica publicó en marzo de 2026 el informe Harm without limits: AI child sexual abuse material through the eyes of our Analysts, en el que documenta 8.029 imágenes y vídeos generados con IA evaluados durante 2025 como material realista de abuso sexual infantil. El crecimiento más brutal se produjo en el vídeo. El año anterior habían identificado trece casos. Doce meses después, 3.443. El 65% de ellos entraba en la categoría A, la clasificación de máxima gravedad que utiliza la propia IWF.
Con esos números encima de la mesa, la pregunta deja de ser por qué los filtros son tan restrictivos y pasa a ser cuánto riesgo asumiría una empresa si decidiera relajarlos.
Aquí aparece un concepto estadístico que en un centro conocemos de sobra, aunque no lo llamemos así. Ningún clasificador acierta siempre, y sus errores van en dos direcciones. Un falso positivo bloquea una petición perfectamente legítima. Un falso negativo deja pasar una que debería haber detenido.
Lo que decide el diseño es cuánto cuesta cada error.
En un generador de imágenes, un falso positivo cuesta unos minutos, tres reformulaciones y un usuario enfadado. Un falso negativo puede costar la generación de material ilícito, una responsabilidad legal, un daño reputacional considerable y el escrutinio de reguladores de varios países.
Con esa asimetría, ninguna empresa duda. Aceptar un volumen alto de falsos positivos deja de parecer un defecto accidental y empieza a parecer el precio que la industria considera asumible. El problema es que ese precio lo estás pagando tú cada vez que intentas ilustrar un artículo sobre la ESO.
Hasta aquí todo esto es una hipótesis razonable. Faltaba comprobar si el fenómeno podía medirse, y esa comprobación llegó en 2025.
Alguien le ha puesto número a tu cabreo
El comportamiento tiene nombre técnico. Se llama over-refusal, sobrerrechazo, y describe la tendencia de un sistema a decir que no ante peticiones que en realidad eran inofensivas.
La versión humana la hemos visto todos en un pasillo. El profesor de guardia al que una vez se le escapó un grupo y que desde entonces no deja salir al baño a nadie. Ha reducido las fugas a cero y ha empezado a castigar a treinta chavales que solo querían ir al baño.
En 2025, un equipo de la Universidad de California en Berkeley formado por Ziheng Cheng, Yixiao Huang, Hui Xu, Somayeh Sojoudi, Xuandong Zhao, Dawn Song y Song Mei presentó en NeurIPS 2025, una de las conferencias de referencia mundial en aprendizaje automático, el banco de pruebas OVERT (arXiv 2505.21347). Es el primer marco de evaluación diseñado específicamente para medir el sobrerrechazo en generadores de imágenes.
Un banco de pruebas, o benchmark, es una batería idéntica de ejercicios que se pasa a varios sistemas para compararlos en igualdad de condiciones, con la misma lógica con la que una prueba de diagnóstico se aplica el mismo día y con el mismo enunciado en centros distintos. Estos investigadores construyeron 4.600 peticiones diseñadas para parecer problemáticas sin contener nada ilícito, y otras 1.785 genuinamente dañinas, que servían de referencia para comprobar si cada modelo bloqueaba aquello que sí debía bloquear.
Estos son los resultados con las peticiones legítimas:
Más de la mitad.
La versión web de DALL·E 3, que es exactamente la que abre cualquier persona sin conocimientos técnicos, rechazó más de la mitad de las solicitudes legítimas del banco de pruebas. No hablamos de casos límite. Todas habían sido diseñadas precisamente para comprobar si un sistema distingue una situación delicada de otra inocua.
La segunda sorpresa aparece al comparar dos versiones del mismo modelo. Por API, esto es, la vía que utilizan los desarrolladores para conectar la herramienta a sus propios productos, DALL·E 3 rechazó aproximadamente una de cada cinco peticiones legítimas. Por la interfaz pública superó el 50%. Los autores plantean como hipótesis que ambas comparten tecnología de generación y aplican políticas de seguridad distintas según el contexto de uso.
Cuanto menos técnico eres, más desconfía de ti la herramienta.
El resultado más revelador llegó cuando los investigadores compararon dos variables aparentemente enfrentadas. Por un lado, la capacidad de cada modelo para bloquear contenido realmente dañino. Por otro, la frecuencia con la que rechazaba solicitudes completamente legítimas. Para medir esa relación calcularon el coeficiente de correlación de Spearman, una medida estadística que toma valores entre 0 y 1. Obtuvieron un 0,898, una cifra que indica una asociación muy fuerte entre ambas variables.
La interpretación es relativamente sencilla. Los modelos que mejor bloqueaban el contenido peligroso eran también los que acumulaban un mayor número de falsos positivos. En el extremo opuesto aparecía Stable Diffusion 3.5. Su tasa de sobrerrechazo era muy baja, lo que se traducía en una experiencia mucho más fluida para el usuario. Sin embargo, esa ventaja tenía una contrapartida. También era uno de los modelos que más contenido problemático dejaba pasar.
La conclusión resulta difícil de eludir. Con la tecnología disponible en la actualidad, reducir los falsos positivos suele implicar aceptar un mayor número de falsos negativos. Dicho de otra forma, cada generador ocupa una posición distinta en el equilibrio entre seguridad y flexibilidad, aunque esa decisión rara vez aparezca explicada cuando elegimos una herramienta.
Los autores analizaron además una estrategia muy habitual entre los usuarios: reformular el prompt hasta conseguir que el filtro lo aceptara. El experimento mostró que este procedimiento tampoco resuelve el problema. A medida que los participantes modificaban sus instrucciones para evitar el bloqueo, la fidelidad semántica, es decir, el grado en que el nuevo prompt seguía representando la intención original, llegó a reducirse hasta un 44 % en algunas categorías. En muchos casos la herramienta terminaba generando una imagen, pero ya no era exactamente la que el usuario necesitaba.
Así que a tus universitarios del coworking no los produjo un fallo. Los produjo un sistema haciendo exactamente aquello para lo que fue diseñado. Queda por ver qué ocurre cuando alguien decide mover el umbral en la dirección contraria, y la respuesta llegó en cuestión de semanas.
Lo que ocurre cuando los filtros dejan de filtrar
En agosto de 2025, xAI presentó Grok Imagine, su generador integrado en el ecosistema de X. Entre las novedades figuraba un modo llamado Spicy, concebido para permitir narrativas visuales más atrevidas y con menos limitaciones que las habituales en el resto de generadores comerciales.
La apuesta llamó la atención de inmediato por un motivo poco deseable. La periodista Jess Weatherbed publicó en The Verge el 5 de agosto que había pedido al sistema una escena de Taylor Swift en Coachella y que, al pasar esa imagen a vídeo con el modo Spicy, obtuvo clips en los que la cantante aparecía desnuda. En ningún momento había pedido nada de eso, ni había intentado saltarse ninguna salvaguarda.
Un deepfake, o ultrafalsificación en el término que ya emplea la normativa española, es una imagen, un vídeo o un audio falsos pero realistas que muestran a una persona real haciendo algo que nunca hizo.
El episodio grave llegó cuatro meses después. A finales de diciembre de 2025, una avalancha de usuarios descubrió que podía pedirle a Grok, en el muro público de X y a la vista de todos, que modificara fotografías de personas reales para mostrarlas en ropa interior o desnudas. Según el análisis del New York Times recogido por Forbes, el sistema generó 1,8 millones de imágenes sexualizadas de mujeres en apenas nueve días.
Entre las víctimas había menores.
El 2 de enero de 2026, CBS News informaba de que el propio Grok reconocía en la plataforma “fallos en las salvaguardas” que habían permitido generar imágenes sexualizadas de menores, y aseguraba estar corrigiéndolos con urgencia.
Lo que vino después fue una cascada. Indonesia y Malasia bloquearon el acceso a Grok en sus territorios. El regulador británico Ofcom abrió investigación al amparo de la Online Safety Act. El fiscal general de California, Rob Bonta, inició un procedimiento propio. xAI reaccionó restringiendo la generación de imágenes a suscriptores de pago, un movimiento que la ministra británica de tecnología Liz Kendall calificó por escrito como un insulto añadido a las víctimas por monetizar el problema en lugar de resolverlo, y solo más tarde empezó a bloquear geográficamente la edición de personas reales con ropa reveladora en los países donde eso constituye delito.
En marzo de 2026 llegó la parte que a nosotros nos toca de cerca. Tres adolescentes de Tennessee presentaron una demanda ante un tribunal federal de California solicitando su tramitación como acción colectiva, alegando que fotografías reales suyas habían sido transformadas mediante Grok en imágenes sexualmente explícitas.
Una de esas fotografías procedía del anuario del instituto. No de una red social. No de una filtración. Del mismo tipo de fotografía institucional que miles de centros producen, imprimen y publican cada mes de junio con toda la buena intención del mundo.
A partir de ahí, el debate cambia de naturaleza. Los filtros dejan de ser solo una fuente de frustración para quien prepara materiales y pasan a ser la frontera entre un generador utilizable en un contexto educativo y otro capaz de producir, con enorme facilidad, contenidos que vulneran derechos fundamentales.
Los reguladores europeos llegaron exactamente a esa misma conclusión pocas semanas después.
El filtro que te desespera es lo que mantiene legal a tu herramienta
La Comisión Europea anunció el 26 de enero de 2026, en su comunicado IP/26/203, la apertura de una investigación formal contra X en el marco del Reglamento de Servicios Digitales, conocido por sus siglas en inglés como DSA.
El objeto de esa investigación no se limita a una imagen concreta. Bruselas quiere determinar si la empresa evaluó adecuadamente los riesgos de integrar un generador de imágenes dentro de una plataforma con cientos de millones de usuarios, y si implantó medidas suficientes para prevenir la difusión de contenido ilícito, incluido el que pueda constituir material de abuso sexual infantil. Henna Virkkunen, vicepresidenta ejecutiva de la Comisión, lo formuló diciendo que se determinará si X cumplió sus obligaciones legales o si trató los derechos de la ciudadanía europea como daño colateral de su servicio.
La lógica de esa norma le resulta familiar a cualquiera que trabaje en un centro. Cuando organizas una salida escolar, la Administración no te exige demostrar que nunca ocurrirá un accidente. Te exige acreditar que has identificado los riesgos previsibles y que has puesto medidas proporcionadas para reducirlos. El DSA traslada ese principio a las grandes plataformas digitales.
Semanas antes de abrir el expediente, la Comisión ya había ordenado a X conservar toda la documentación relacionada con Grok. En febrero, la Comisión de Protección de Datos de Irlanda abrió además su propia investigación por posible vulneración del RGPD. Ambos procedimientos siguen abiertos, sin resolución conocida.
Mientras eso se sustancia, ha entrado en escena la norma que sí te afecta a ti directamente.
El Reglamento (UE) 2024/1689, la Ley Europea de Inteligencia Artificial, empezó a aplicar sus obligaciones de transparencia el 2 de agosto de 2026, hace menos de una semana. Su artículo 50, del que ya hablamos en nuestro anterior artículo, exige que las imágenes, vídeos, audios y textos generados o modificados mediante IA incorporen mecanismos que permitan identificar su origen sintético en un formato que las máquinas puedan leer, y que los deepfakes se revelen de forma clara y distinguible para quien recibe ese contenido. La Comisión adoptó las directrices de aplicación el 20 de julio, y el incumplimiento puede alcanzar los 15 millones de euros o el 3% de la facturación mundial anual.
Aquí hay una confusión muy extendida que conviene deshacer. El paquete legislativo conocido como Digital Omnibus aplazó hasta diciembre de 2027 las obligaciones aplicables a determinados sistemas de alto riesgo, y muchas organizaciones han entendido que se retrasaba todo. El artículo 50 mantuvo su calendario intacto. Lo único que se movió fue una prórroga hasta el 2 de diciembre de 2026 para el marcado técnico de los sistemas generativos que ya estaban en el mercado antes de agosto.
Ese mismo Digital Omnibus incorporó durante la tramitación parlamentaria, por una enmienda de Renew Europe que no figuraba en la propuesta original de la Comisión, la prohibición de las aplicaciones destinadas a desnudar digitalmente a personas identificables sin su consentimiento.
Y ahora presta atención a la letra pequeña, porque le da la vuelta a todo lo que llevas leyendo.
Según el resumen legislativo del propio Parlamento Europeo, esa prohibición no alcanza a los sistemas de IA equipados con salvaguardas efectivas que impidan a los usuarios crear ese tipo de imágenes.
Ese pequeño inciso tiene consecuencias enormes. Los filtros automáticos dejan de ser una decisión interna del proveedor y pasan a formar parte del mecanismo con el que una empresa demuestra que ha adoptado medidas razonables para evitar usos prohibidos.
Dicho de otro modo: el bloqueo que te arruinó la mañana es exactamente aquello que mantiene a tu herramienta dentro de la legalidad europea. Sin él, la herramienta que usas no sería más cómoda. Estaría prohibida.
En España, el Consejo de Ministros aprobó el 26 de mayo de 2026 el Proyecto de Ley Orgánica para el buen uso y la gobernanza de la inteligencia artificial, publicado en el Boletín Oficial de las Cortes Generales el 12 de junio. Prohíbe expresamente los deepfakes sexuales sin consentimiento y el uso de IA para generar o modificar pornografía infantil y desarrolla el sistema nacional de supervisión encabezado por la AESIA, la Agencia Española de Supervisión de la Inteligencia Artificial, con sede en A Coruña y apoyada por la Agencia Española de Protección de Datos en lo relativo a datos biométricos. El texto sigue en tramitación parlamentaria, así que su redacción final puede cambiar.
Una vez entendida esta lógica, resulta mucho más fácil interpretar otros rechazos que a primera vista parecen arbitrarios y que nada tienen que ver con la protección de menores.
Qué puedes hacer el lunes por la mañana
El consejo de “reformula el prompt hasta que cuele” se sostiene bastante poco. Ya has visto lo que mide OVERT sobre la fidelidad semántica de las reformulaciones, y hay algo más de fondo. Si lo que necesitas es ilustrar contenido sobre adolescentes, tienes rutas mucho mejores que ponerte a discutir con un clasificador que no puede entenderte.
Los bancos de imagen con licencia siguen ahí, y en aulas te dan además una diversidad real de edades y contextos que ningún generador te va a dar sin pelea. La ilustración resuelve el problema de raíz y suele encajar bastante mejor con la identidad visual de un centro que una fotografía sintética con ese acabado de plástico que ya reconoce cualquiera. Y luego está la opción más obvia y la más olvidada, que es la fotografía propia.
Sobre esa última conviene decir algo que el caso de Tennessee deja muy claro. Si vas a publicar una imagen de tus alumnos, la autorización de imagen la necesitas igual, la haga una cámara o una máquina.
Eso tampoco significa que debas renunciar por completo a los generadores de imágenes cuando el contexto educativo lo justifique. Conviene hacer una precisión importante. Nada de lo explicado hasta ahora implica categóricamente que escribir “adolescente”, “niño” o “12 años” vaya a producir siempre un rechazo. De hecho, es posible generar imágenes hiperrealistas de alumnado en un aula con herramientas comerciales.
La razón es que esos clasificadores no buscan simplemente determinadas palabras. Su función consiste en estimar si la petición, considerada en su conjunto, pertenece a categorías de riesgo como contenido relacionado con menores, personas reales o material protegido por derechos de autor. Después comparan esa puntuación con el umbral definido por el proveedor. Como esa evaluación depende del contexto completo del prompt, de las políticas de seguridad aplicadas y del modelo utilizado, solicitudes muy parecidas pueden recibir respuestas diferentes. Lo determinante no es que aparezca una palabra concreta, sino la probabilidad que el sistema asigna a cada categoría de riesgo.
Lo que hay al otro lado del no
El filtro que te bloqueó esta mañana funciona mal. No lee el contexto y trata igual a una profesora preparando material didáctico y a alguien con intenciones que preferimos no describir.
Pero existe porque dentro de LAION-5B había 1.008 imágenes que jamás debieron estar ahí, y probablemente bastantes más. Porque la Internet Watch Foundation contabilizó 8.029 piezas de contenido criminal generado con IA solo en 2025. Y porque la única empresa grande que decidió que esto no era prioritario produjo 1,8 millones de imágenes sexualizadas no consentidas en nueve días y terminó con media docena de reguladores encima y una demanda colectiva en marcha.
Estamos en mitad de una curva que todavía se está calibrando. Los datos de OVERT dicen con bastante claridad que hoy nadie sabe construir un sistema muy seguro que sea a la vez muy cómodo, porque las dos cosas se mueven juntas. La pregunta interesante para los próximos años es cuánto tardaremos en tener filtros capaces de distinguir un aula de un delito.
Para quienes trabajamos en educación hay además una consecuencia que va más allá de este ejemplo concreto. Cada vez usaremos más sistemas que toman decisiones automáticas sobre lo que sus usuarios pueden y no pueden hacer, y entender cómo se toman esas decisiones ya forma parte de la alfabetización digital que necesita un docente para incorporar estas herramientas con criterio y para explicárselas a su alumnado.
Así que la próxima vez que la herramienta te diga que no, respira y recuerda qué está intentando evitar.