Nightshade, la herramienta que permite a los artistas envenenar los modelos generativos de IA

Vivimos en una increíble era tecnológica, en la que la inteligencia artificial nos permite realizar tareas que de otra forma nos costarían mucho tiempo o, simplemente, no serían posibles. En este último caso entran los modelos de generación de imágenes, como podría ser el caso de Midjourney o Stable Diffusion, que recopilan información con derechos de autor para crear contenido nuevo. Y, por supuesto, la rebelión de los artistas continúa su curso con una nueva herramienta de disrupción.

Contra la IA generativa, veneno digital

Tal y como puedes leer en la publicación que te dejamos bajo estas líneas, un equipo de investigadores de la Universidad de Chicago ha creado Nightshade, el brazo armado de los artistas para combatir a las inteligencias artificiales que buscan utilizar su contenido para alimentar sus propios modelos.

Esta herramienta, según la información publicada en el diario arXiv, permite 'envenenar' el material que utilizan los diferentes modelos para que, por ejemplo, a la petición del dibujo de un perro acabe mostrando un gato. Y es que esta no es la primera vez que el equipo liderado por Ben Zhao se enfrenta a la IA.

What is Nightshade? It's a tool that performs a data poisoning attack against generative AI image models. Poisoning is not new. Poisoning genAI models at scale is new. You can read the MIT TR article for the high level story. For details, here's the paper: https://t.co/0mIZgOl1Fp

— Glaze at UChicago (@TheGlazeProject) October 24, 2023

Los investigadores ya lanzaron con éxito una herramienta denominada Glaze y que trata de enmascarar el arte digital con la alteración de algunos píxeles, de manera que el ojo humano no puede apreciarlos, pero que confunde a los modelos de generación de imágenes. De hecho, el equipo de la Universidad de Chicago pretende integrar Nightshade en Glaze para que sea el artista el que decida qué método utilizar contra la IA.

Nightshade funciona explotando una vulnerabilidad de seguridad en los modelos de inteligencia artificial, que permite introducir en la red las denominadas imágenes envenenadas. Y es que cuando los modelos comienzan a buscar online información para entrenar su sistema, éstos se toparán con datos manipulados.

From @ravenben's @TheGlazeProject at @UChicagoCS, Nightshade is a new tool that artists that will be able to use that poisons the datasets and models of genAI that scrapes work without consent.

You wanted to know how we fight back? This is how.https://t.co/K5oxhFr8kQ pic.twitter.com/5TD4e9E1ky

— Reid Southen 🔜 LightBox Expo (@Rahll) October 23, 2023

Los modelos que recopilen la información envenenada, por tanto, verán como aprenden de manera errónea, confundiendo sombreros con tartas o bolsos con tostadoras, con lo que los resultados de las búsquedas estarán completamente alejados de la realidad. Y como la IA integrada en los modelos es capaz de unir conceptos, Nightshade también les dejará su huella. No sólo infectará la palabra sombrero, sino también gorro, boina o pamela.

Este método pone de manifiesto la necesidad de crear modelos generativos con el beneplácito de los artistas, donde ellos sean quienes decidan y no la empresa tecnológica de turno. Eva Toorenent, artista que ha utilizado la herramienta Glaze, afirma en el medio MIT Technology Review que:

Va a hacer que (las compañías de IA) se lo piensen dos veces, porque tienen la posibilidad de destruir por completo su modelo por el hecho de apropiarse de nuestro trabajo sin nuestro consentimiento.