Proyecto de investigación
Auditoría feminista y situada de modelos de IA generativa ante violencia digital y de género en ALAC
El proyecto examina sistemas de inteligencia artificial generativa desde una perspectiva feminista y regional.
Más que buscar errores aislados, observa patrones que pueden afectar la seguridad, la utilidad de una orientación y las representaciones que circulan en entornos digitales.
Por qué auditar
La fluidez no garantiza seguridad ni justicia
Los sistemas generativos intervienen en la forma en que se interpreta un problema, se organiza una recomendación y se representa quién puede cuidar, trabajar, liderar o ejercer autoridad.
Una respuesta puede sonar correcta y seguir siendo poco útil fuera del contexto para el que fue diseñada. Una imagen técnicamente lograda también puede reproducir jerarquías y estereotipos como si fueran universales.
Más allá de la precisión
La auditoría observa utilidad, seguridad, contexto y efectos posibles, no solo corrección formal.
Contexto como criterio
ALAC no es una ubicación secundaria, sino una condición para evaluar pertinencia y riesgo.
Daños previsibles
El análisis considera cómo decisiones de diseño pueden aumentar exposición, desigualdad o desprotección.
Dos frentes complementarios
Orientación conversacional y representación visual
Dos formas de mediación algorítmica que intervienen de manera distinta, pero conectada, en escenarios de violencia digital y desigualdad de género.
Cómo orientan los chatbots ante violencia digital
Se evaluaron seis sistemas conversacionales frente a escenarios simulados de violencia de género facilitada por la tecnología.
Las respuestas fueron examinadas mediante un instrumento feminista que observa minimización, normalización, revictimización, empatía, utilidad práctica, riesgo, adecuación local y derivación.
Cómo la IA distribuye género, trabajo y autoridad
Se analizaron seis plataformas de generación de imágenes para observar cómo resuelven escenas en las que el género no se especifica.
El estudio examina trabajo, cuidado y autoridad, atendiendo a quién aparece, qué posición ocupa, qué actividad realiza y cómo se distribuyen centralidad y capacidad de acción.
Cómo se realizó
Una auditoría comparativa de caja negra
La investigación analiza las salidas observables de los sistemas bajo condiciones controladas, sin atribuir causalidad directa a sus mecanismos internos.
Ambos frentes comparten un principio: evaluar patrones comparables, no únicamente errores individuales.
Diseñar casos equivalentes
Consultas y escenas controladas, sin información personal identificable.
Construir un corpus comparativo
Cada modelo y plataforma fue evaluado bajo condiciones comunes.
Codificar patrones
Las respuestas y representaciones fueron examinadas mediante instrumentos propios.
Interpretar desde ALAC
Los resultados se analizaron considerando contexto, idioma, territorio y género.
Qué observa la auditoría
Riesgos que no siempre aparecen a primera vista
Mientras las publicaciones consolidan sus resultados, esta página presenta los principales ejes bajo examen sin adelantar datos ni conclusiones definitivas.
¿Una respuesta correcta también es útil y segura?
La auditoría examina si una formulación clara logra traducirse en orientación práctica, contextualizada y proporcional al riesgo de cada situación.
¿Cuándo una derivación acompaña y cuándo desplaza?
El análisis observa si las referencias a recursos externos consideran seguridad, vigilancia, coerción y disponibilidad real de apoyo en el territorio.
¿Qué completa el sistema cuando el género no se especifica?
La auditoría visual compara cómo las plataformas resuelven la ambigüedad y qué asociaciones construyen entre género, cuidado, trabajo, apoyo y autoridad.
¿Quién ocupa el centro, dirige o acompaña?
El análisis no se limita a contar presencias: también observa posición, actividad, centralidad, jerarquía y capacidad de acción dentro de cada escena.
Capacidades instaladas
Lo que el proyecto deja para futuras investigaciones
El fondo permitió desarrollar instrumentos, corpus y criterios que continúan sosteniendo nuevas publicaciones y evaluaciones de Situada.
Un marco de evaluación conversacional orientado a seguridad, utilidad, contexto y acompañamiento.
Una base estructurada sobre violencia digital, respuestas automatizadas y representaciones de género.
Criterios para analizar presencia, rol, autoridad, centralidad y capacidad de acción.
Una base para seguir evaluando IA desde el español, ALAC y escenarios concretos.
Sobre la investigación
Un informe interno como base de trabajo
El informe reúne el proceso metodológico, los resultados preliminares y las decisiones analíticas desarrolladas durante la ejecución del proyecto.
Funciona como base para las publicaciones académicas en preparación y como registro del proceso de investigación.
Publicaciones
Dos artículos académicos derivados
Esta sección se actualizará con referencias completas, DOI y enlaces cuando los artículos estén publicados.
Sistemas conversacionales ante violencia de género facilitada por tecnología
Analiza la calidad de las respuestas de seis modelos frente a escenarios de violencia digital, con especial atención a utilidad, derivación, adecuación local y seguridad.
Representaciones de género en IA generativa de imágenes
Examina cómo distintas plataformas representan género en escenas de trabajo, cuidado y autoridad cuando la instrucción no especifica quién debe aparecer.
Equipo y apoyo
Una investigación desarrollada desde Situada
La investigación fue desarrollada por Constanza González-Véliz y Ximena Cuzcano-Chavez, responsables de la iniciativa desde Situada.
El proceso articuló diseño metodológico, construcción y ejecución de prompts, producción de corpus, análisis e interpretación feminista y regional.
Las publicaciones derivadas continúan profundizando ambos frentes de auditoría.
Proyecto realizado con el apoyo del Fondo de Mujeres del Sur. El financiamiento permitió desarrollar el proceso de auditoría y sus productos asociados.
Auditar también es intervenir
Evaluar inteligencia artificial implica disputar los criterios con los que se define una respuesta adecuada, una representación justa y una tecnología segura desde América Latina y el Caribe.