El generador de imágenes AI de Midjourney bloquea la pornografía al prohibir palabras sobre el sistema reproductivo humano

El fundador de Midjourney, David Holtz, dice que está prohibiendo las palabras como una medida provisional para evitar contenido impactante o sangriento mientras la compañía “mejora las cosas en el lado de la IA”. Goltz dice que los moderadores controlan cómo se usan las palabras y qué imágenes se generan y periódicamente ajustan las prohibiciones. La firma tiene un página de reglas de la comunidad que enumera el tipo de contenido que bloquea de esta manera, incluidas imágenes sexuales, sangre e incluso el emoji 🍑, que a menudo se usa como símbolo de las nalgas.

Los modelos de IA como Midjourney, DALL-E 2 y Stable Diffusion se entrenan en miles de millones de imágenes recopiladas de Internet. investigación Un equipo de la Universidad de Washington descubrió que tales modelos internalizan prejuicios que cosifican sexualmente a las mujeres, lo que luego se refleja en las imágenes que crean. El gran tamaño del conjunto de datos hace que sea casi imposible eliminar imágenes no deseadas, como imágenes sexuales o violentas, o aquellas que pueden generar resultados sesgados. Cuanto más a menudo aparece algo en el conjunto de datos, más fuerte es la asociación que crea el modelo de IA, lo que significa que es más probable que aparezca en las imágenes que produce el modelo.

Las prohibiciones de palabras a mitad de camino son un intento parcial de resolver este problema. Algunos términos relacionados con el sistema reproductivo masculino, como “esperma” y “testículos”, también están bloqueados, pero la lista de palabras prohibidas parece distorsionar la mayoría de las palabras femeninas.

La prohibición operativa fue notada por primera vez por Julia Rockwell, analista de datos clínicos en Datafy Clinical, y su amiga Madeline Keenen, bióloga celular de la Universidad de Carolina del Norte en Chapel Hill. Rockwell usó Midjourney para intentar crear una imagen interesante de la placenta para que Keenan la estudiara. Para su sorpresa, Rockwell descubrió que usar “placenta” como pista era ilegal. Luego comenzó a experimentar con otras palabras relacionadas con el sistema reproductivo humano y encontró lo mismo.

Sin embargo, la pareja también mostró cómo se pueden eludir estas prohibiciones para crear imágenes sexuales mediante el uso de diferentes ortografías u otros eufemismos para contenido sexual o sangriento.

En sus hallazgos, que compartieron con MIT Technology Review, encontraron que un “examen ginecológico” de emergencia (usando la ortografía británica) produjo algunas imágenes muy espeluznantes: una que mostraba a dos mujeres desnudas en el consultorio de un médico y otra que mostraba a un calvo de tres años. hombre de piernas cortándose el pelo. propio estomago

JULIA ROCKWELL

La prohibición general de Midjourney de sugerencias relacionadas con la biología reproductiva destaca lo difícil que es moderar el contenido en torno a los sistemas generativos de IA. También demuestra cómo la tendencia de los sistemas de inteligencia artificial a sexualizar a las mujeres se extiende a sus órganos internos, dice Rockwell.