O personagem.ai, uma plataforma líder para bate-papo e interpretação com personagens gerados pela IA, revelou seu próximo modelo de geração de vídeo, Avatarfx, na terça-feira. Disponível em beta fechada, o modelo anima os personagens da plataforma em uma variedade de estilos e vozes, de personagens humanos a desenhos animados de animais em 2D.
O Avatarfx se distingue de concorrentes como o Openai’s Sora, porque não é apenas um gerador de texto para vídeo. Os usuários também podem gerar vídeos a partir de imagens preexistentes, permitindo que os usuários animem fotos de pessoas reais.
É imediatamente evidente como esse tipo de tecnologia pode ser alavancado por abuso-os usuários podem enviar fotos de celebridades ou pessoas que conhecem na vida real e criar vídeos de aparência realista nos quais fazem ou dizem algo incriminador. A tecnologia para criar os deepfakes convincentes já existe, mas incorporando -a em produtos de consumo populares como o caractere.ai exacerba apenas o potencial de ser usado de forma irresponsável.
Entramos em contato com o personagem.ai para comentar.
O personagem.ai já está enfrentando problemas com a segurança em sua plataforma. Os pais entraram com ações judiciais contra a empresa, alegando que seus chatbots incentivaram seus filhos a se auto-prejudicar, a se matar ou a matar seus pais.
Em um caso, um garoto de 14 anos morreu por suicídio depois que ele teria desenvolvido um relacionamento obsessivo com um bot da IA no personagem. Pouco antes de sua morte, ele se abriu para a IA sobre ter pensamentos de suicídio, e a IA o incentivou a seguir adiante, segundo os registros do tribunal.
Esses são exemplos extremos, mas eles mostram como as pessoas podem ser manipuladas emocionalmente por chatbots da IA apenas através de mensagens de texto. Com a incorporação do vídeo, os relacionamentos que as pessoas têm com esses personagens podem parecer ainda mais realistas.
O caractere.ai respondeu às alegações contra ele, construindo controles parentais e salvaguardas adicionais, mas, como em qualquer aplicativo, os controles são eficazes apenas quando são realmente usados. Muitas vezes, as crianças usam a tecnologia de maneiras que seus pais não conhecem.