Cautivando a Internet (y a nosotros) con su naturaleza absurda, la parodia de Seinfeld generada por IA «Nothing, Forever» fue prohibida en Twitch durante 14 días.
Como parte de una parodia de «Seinfeld», en una de las escenas recurrentes de «Nothing, Forever», Larry Feinberg, el personaje de Jerry Seinfeld, realiza presentaciones de pie. Por lo general, Larry bromeaba algo como esto: “¿Qué tipo de oso sin dientes? Osito de goma.» Pero, como le dijeron a SocialRed los creadores de «Nothing, Forever» Mismatch Media, el equipo cometió un error con el filtro de contenido de IA, lo que provocó que Larry tuviera un stand-up transfóbico.
“Nothing, Forever”, que se ha estado transmitiendo casi continuamente desde diciembre, generó originalmente diálogos de personajes utilizando el modelo Davinci GPT-3, así como el protocolo de filtrado de contenido OpenAI. Pero cuando DaVinci comenzó a tener problemas técnicos, el equipo cambió a un modelo Curie menos complejo. Después de cambiar los modelos, los creadores no habilitaron correctamente la herramienta de moderación de IA. Pronto, Larry comenzó a contar chistes transfóbicos y «Nothing, Forever» se suspendió.
“Primero, permítanme decir que el texto que generamos fue un error, estamos muy avergonzados y que el contenido generativo generado no representa de ninguna manera los valores u opiniones de nuestros empleados”, escribió el co-creador Skyler Hartle en un correo electrónico a SocialRed. . “Lamentamos mucho que esto haya sucedido y esperamos volver pronto al aire con todas las medidas de seguridad adecuadas».
Hartl también dijo que el equipo está investigando un sistema de moderación de contenido secundario para agregar como redundancia en caso de que sus filtros de moderación de contenido fallen durante la transmisión en vivo.
Twitch no respondió a una solicitud de comentarios. Hartle dijo que tampoco tenía comunicación directa con Twitch. Pero los creadores creen que la suspensión es el resultado de los comentarios transfóbicos de Larry debido al momento de la suspensión.
Las Pautas de la comunidad de Twitch prohíben el discurso de odio dirigido a ciertos grupos de identidades, incluida la discriminación o el acoso por identidad de género. Los sistemas de moderación de contenido de la plataforma parecieron darse cuenta de la retórica transfóbica de Larry, AI con bastante rapidez. Pero si bien los sistemas de Twitch han respondido rápidamente a la eliminación de plataformas de IA, no siempre han tenido éxito al lidiar con el acoso deliberado de las personas transgénero.
Hace aproximadamente un año y medio, la plataforma fue objeto de «redadas de odio» maliciosas dirigidas principalmente a creadores negros y transgénero. Tras una acción colectiva dirigida por creadores, Twitch ha implementado nuevas funciones de seguridad para ayudar a proteger a los streamers de estos ataques cibernéticos viciosos. El año pasado, cuando la transmisora transgénero de Twitch, Keffals, saltó a la fama por hablar sobre temas LGBTQ+, fue acosada tan severamente que fue atacada en su propia casa, lo que la obligó a esconderse. (La mayor parte de este acoso provino de otros sitios web, pero a partir de 2022, las Reglas de la comunidad de Twitch pueden responsabilizar a los usuarios de Twitch por acoso fuera de la plataforma).
Los creadores de «Nothing, Forever» dicen que no tenían la intención de transmitir comentarios transfóbicos y no apoyan estos puntos de vista. Sin embargo, esta situación muestra cuán rápido el entretenimiento generativo basado en IA puede salir mal si no se controla. Después de todo, GPT-3 aprende de Internet, por lo que puede repetir algunas de las cosas más viles de Internet.
Hay algo oscuramente irónico en este incidente: un lío de filtrado de contenido llevó a Twitch a suspender lo que es esencialmente un robot. Mientras tanto, Dave Chappelle acaba de ganar un Grammy por su álbum de comedia The Closer, que fue muy criticado por ser transfóbico. Sin embargo, incluso en el universo «Nothing, Forever» generado por IA, la audiencia generada por IA no encontró las bromas de Larry muy divertidas.
“Hay unas 50 personas aquí y nadie se ríe. ¿Alguien tiene alguna sugerencia?» La IA comenzó su set de comedia antes de pasar a su breve diatriba transfóbica. Larry luego terminó su presentación: “Nadie se está riendo, así que me detendré. Gracias por venir esta noche. Nos vemos la próxima vez. ¿A donde se fueron todos?
