Uma startup de vídeo da AI chinesa parece estar bloqueando imagens politicamente sensíveis

Uma startup da China, Sand AI, lançou um modelo de IA de geração de vídeo abertamente licenciado que recebeu elogios de empresários como o diretor fundador da Microsoft Research Asia, Kai-Fu Lee. Mas a AI de areia parece estar censurando imagens que podem elevar a ira dos reguladores chineses da versão hospedada do modelo, de acordo com os testes da TechCrunch.

No início desta semana, a Sand AI anunciou o MAGI-1, um modelo que gera vídeos por “autoregressivamente”, prevendo sequências de quadros. A empresa afirma que o modelo pode gerar imagens controláveis ​​de alta qualidade que capturam a física com mais precisão do que os modelos abertos rivalizados.

O MAGI-1 é impraticável demais para ser executado na maioria dos hardware do consumidor. São 24 bilhões de parâmetros de tamanho e requer entre quatro e oito GPUs NVIDIA H100 para executar. (Os parâmetros são as variáveis ​​internas que os modelos usam para fazer previsões.) Para muitos usuários-esse repórter incluído-a plataforma da Sand AI é o único local em que eles podem testar o MAGI-1 de unidade.

A plataforma precisa de uma imagem “rápida” para iniciar a geração de vídeos. Nem todos os avisos são permitidos, o TechCrunch descobriu rapidamente. A Sand AI bloqueia os uploads de imagens de Xi Jinping, Tiananmen Square e Tank Man, a bandeira de Taiwan e insígnias que apoiam a libertação de Hong Kong. A filtragem parece estar acontecendo no nível da imagem; A renomeação de arquivos de imagem não contornou o bloqueio.

A plataforma on -line da Sand AI lança uma mensagem de erro quando detecta uma imagem provável proibida.Créditos da imagem:Areia você tem

A IA da areia não é a única startup chinesa que impede o upload de imagens politicamente sensíveis para sua ferramenta de geração de vídeo. A plataforma de mídia generativa da Hailuo AI, com sede em Xangai, bloqueia as fotos de Xi Jinping também. Mas a filtragem da AI de areia parece ser particularmente agressiva; Hauiluo permite imagens da Tiananmen Square.

Como a Wired explicou em uma peça de janeiro, os modelos na China são obrigados a seguir rigorosos controles de informação. Uma lei de 2023 proíbe modelos de gerar conteúdo que “danifica a unidade do país e a harmonia social” – ou seja, contraria as narrativas históricas e políticas do governo. Para cumprir, as startups chinesas geralmente censuram seus modelos, através de filtros de nível imediato ou ajustes finos.

Curiosamente, enquanto os modelos chineses tendem a bloquear o discurso político, eles geralmente têm menos filtros do que seus colegas americanos para conteúdo pornográfico. 404 relatou recentemente que vários geradores de vídeo divulgados por empresas chinesas não têm corrimões básicos que impedem as pessoas de gerar nudez não consensual.

Veja também