La discriminación detrás del algoritmo
por Ramón Flores
Mientras navegamos entre la tradición de las comunidades gitanas y nuestra relación con la tecnología, observamos un fenómeno perturbador: la discriminación que este pueblo ha enfrentado durante siglos no ha desaparecido en la era digital—simplemente se ha transformado, ocultándose en los algoritmos que gobiernan nuestras vidas.
En el Día Internacional contra el Racismo, el mundo reflexiona sobre las manifestaciones evidentes de discriminación, pero existe una nueva frontera del prejuicio que permanece casi invisible: el racismo integrado en los sistemas de inteligencia artificial que ahora toman decisiones cruciales sobre nuestras vidas, desde la concesión de préstamos hasta la selección de candidatos para empleos.
Cuando buscamos términos como «gitano» o «romaní» en Google, las sugerencias automáticas revelan inmediatamente el problema: estos términos aparecen persistentemente asociados con «robos», «estafas» o «problemas». Esto no es una casualidad tecnológica, sino el resultado directo de sistemas entrenados con datos históricos impregnados de prejuicios.
Ya la investigación de Safiya Noble en Algorithms of Oppression (2018) nos daba una pista sobre lo que se avecinaba. Este estudio documenta lo que experimentan muchas personas diariamente: al buscar términos racializados como «chicas negras», los resultados son predominantemente sexualizados y degradantes, mientras que las búsquedas de «chicas blancas» ofrecen representaciones mucho más dignas y diversas. Este mismo patrón discriminatorio afecta a la comunidad gitana en el ecosistema digital.
La discriminación perpetuada por la inteligencia artificial va mucho más allá de los motores de búsqueda. Los grandes modelos de lenguaje y los sistemas de IA generativa, cada vez más presentes en procesos de selección laboral, concesión de créditos y asignación de recursos públicos, crean barreras invisibles pero infranqueables para la comunidad gitana, reproduciendo sesgos históricos con una nueva capa de aparente objetividad tecnológica.
En las redes sociales, experimentamos lo que llamo «moderación selectiva». Expresiones culturales gitanas son frecuentemente marcadas como «inapropiadas», mientras que el contenido antigitano permanece accesible bajo el amparo de la «libertad de expresión». Incluso las tecnologías de vigilancia presentan tasas de error significativamente más altas cuando analizan rostros de personas gitanas, exponiendo a la comunidad a riesgos adicionales en contextos de seguridad donde ya sufren una vigilancia desproporcionada.
La crueldad de esta discriminación digital reside en su paradoja: mientras la imagen estereotipada es hipervisible en el ecosistema digital, las voces auténticas permanecen sistemáticamente silenciadas.
Los sistemas de IA que controlan qué contenido se vuelve viral y cuál permanece invisible raramente promueven voces gitanas auténticas. Estos modelos de inteligencia artificial, entrenados con corpus de datos que infrarrepresentan nuestras experiencias, sistemáticamente suprimen nuestras narrativas mientras amplifican contenidos estereotipados sobre nuestra comunidad.
Las bases de datos que alimentan los sistemas de IA contienen, predominantemente, imágenes estereotipadas o folclóricas de gitanos, con escasa representación de nuestra diversidad profesional, académica y social actual.
Cuando una niña gitana busca imágenes de «médicos», «científicos» o «empresarios» y no puede verse representada, el mensaje implícito sobre su potencial futuro resulta devastador. Me pregunto cuántos talentos de la comunidad nunca alcanzarán su pleno desarrollo porque un algoritmo les sugirió, sutil pero persistentemente, que ciertos caminos no estaban destinados a ellos.
Sin embargo, existe esperanza. En esta fase temprana, aún estamos a tiempo de desarrollar formas innovadoras de resistencia digital. Desde la creación de conjuntos de datos más representativos hasta auditorías ciudadanas de algoritmos; debe surgir un movimiento para descolonizar el espacio digital y reclamar una narrativa propia. El Consejo de Europa ha comenzado a reconocer la necesidad de evaluaciones de impacto étnico en el desarrollo tecnológico, aunque estas medidas resultan insuficientes sin la participación directa de las comunidades afectadas.
Necesitamos un enfoque integral que incluya auditorías independientes específicas para modelos de IA, con métricas claras sobre su impacto en comunidades marginadas como la gitana, mayor diversidad en los equipos que desarrollan y entrenan estos sistemas de inteligencia artificial, acceso prioritario a educación en IA para nuestras comunidades, y marcos regulatorios que exijan no solo transparencia sino responsabilidad por el daño que estos sistemas pueden causar cuando reproducen sesgos históricos.
La tecnología no es inherentemente discriminatoria, pero tampoco es naturalmente justa. Los modelos de IA amplifican y perpetúan los sesgos presentes en sus datos de entrenamiento, y cuando estos datos reflejan siglos de marginación del pueblo gitano, el resultado es una discriminación automatizada y a escala sin precedentes, ahora legitimada por una falsa aura de objetividad matemática.
El código se ha convertido en el nuevo lenguaje del poder y debe ser sometido al mismo escrutinio crítico que aplicamos a otras estructuras sociales. La justicia social en el siglo XXI debe incluir también la justicia algorítmica. Solo así podremos asegurar que la revolución digital no reproduzca las mismas jerarquías étnicas que han marcado nuestra historia colectiva.
Ya en Cataluña, entidades como Rromane Siklovne están explorando activamente esta problemática, investigando los sesgos algorítmicos que afectan a nuestra comunidad y explorando cómo desarrollar metodologías para documentar y contrarrestar la discriminación digital, marcando un camino prometedor hacia la justicia algorítmica desde nuestra propia perspectiva.
La identidad gitana y nuestra educación tecnológica nos sitúan en una posición única para observar esta discriminación evolutiva. Vivir esta dualidad nos debe enseñar que los prejuicios más peligrosos son aquellos que se ocultan tras una fachada de objetividad. Y en el día de hoy, dedicado a confrontar el racismo en todas sus formas, es imprescindible recordar que la lucha por la igualdad debe extenderse también a los algoritmos que, silenciosamente, están dando forma a nuestro futuro común.
Gracias, el primo. Me ha resultado muy interesante. Un abrazo