O Odyssey, uma startup fundada pelos pioneiros autônomos Oliver Cameron e Jeff Hawke, desenvolveu um modelo de IA que permite que os usuários “interajam” com o streaming de vídeo.
Disponível na web em uma “demonstração inicial”, o modelo gera e transmite quadros de vídeo a cada 40 milissegundos. Por meio de controles básicos, os espectadores podem explorar áreas dentro de um vídeo, semelhante a um videogame de renderização em 3D.
“Dado o estado atual do mundo, uma ação de entrada e uma história de estados e ações, o modelo tenta prever o próximo estado do mundo”, explica Odyssey em uma postagem no blog. “Powering Este é um modelo de novo mundo, demonstrando recursos como gerar pixels que parecem realistas, mantendo consistência espacial, aprendizado de ações a partir de vídeo e produzindo fluxos de vídeo coerentes por 5 minutos ou mais.”
Várias startups e grandes empresas de tecnologia estão perseguindo modelos mundiais, incluindo a influente e influente pesquisadora da IA Fei-Fei Lee’s World Labs, Microsoft e DeCart. Eles acreditam que os modelos mundiais poderiam um dia ser usados para criar mídias interativas, como jogos e filmes, e executar simulações realistas, como ambientes de treinamento para robôs.
Mas os criativos têm sentimentos contraditórios sobre a tecnologia. Uma investigação recente da Wired descobriu que estúdios de jogos como a Activision Blizzard, que estabeleceu dezenas de trabalhadores, estão usando a IA para cortar cantos e combater o atrito. E um estudo de 2024 encomendado pelo Animation Guild, um sindicato que representa animadores e cartunistas de Hollywood, estimou que mais de 100.000 trabalhos de cinema, televisão e animação dos EUA serão interrompidos pela IA nos próximos meses.
Por sua parte, a Odyssey está prometendo colaborar com profissionais criativos – não substituí -los.
“O vídeo interativo (…) abre a porta para formas totalmente novas de entretenimento, onde as histórias podem ser geradas e exploradas sob demanda, livres das restrições e custos da produção tradicional”, escreve a empresa em sua postagem no blog. “Com o tempo, acreditamos que tudo o que é vídeo hoje – entretenimento, anúncios, educação, treinamento, viagens e muito mais – evoluirá para o vídeo interativo, todos alimentados por odisseia”.
A demonstração da Odyssey é um pouco difícil nas bordas, que a empresa reconhece em seu cargo. Os ambientes que o modelo gera são embaçados e distorcidos e instáveis no sentido de que seus layouts nem sempre permanecem os mesmos. Avance em uma direção por um tempo ou vire -se, e os arredores podem parecer de repente diferentes.
Mas a empresa está promissora para melhorar rapidamente o modelo, que atualmente pode transmitir vídeo a até 30 quadros por segundo de clusters de GPUs NVIDIA H100, ao custo de US $ 1 a US $ 2 por “hora do usuário”.
“Olhando para o futuro, estamos pesquisando representações mundiais mais ricas que capturam a dinâmica muito mais fielmente, aumentando a estabilidade temporal e o estado persistente”, escreve Odyssey em seu posto. “Paralelamente, estamos expandindo o espaço de ação do movimento para a interação mundial, aprendendo ações abertas do vídeo em larga escala”.
A Odyssey está adotando uma abordagem diferente de muitos laboratórios de IA no mundo de modelagem mundial. Ele projetou um sistema de câmera montado em mochilas de 360 graus para capturar paisagens do mundo real, o que a Odyssey acha que pode servir de base para modelos de qualidade superior do que os modelos treinados apenas em dados publicamente disponíveis.
Até o momento, a Odyssey levantou US $ 27 milhões de investidores, incluindo EQT Ventures, GV e Air Street Capital. Ed Catmull, um dos co-fundadores da Pixar e ex-presidente da Walt Disney Animation Studios, está no conselho de administração da startup.
Em dezembro passado, a Odyssey disse que estava trabalhando em software que permite que os criadores carreguem cenas geradas por seus modelos em ferramentas como motor irreal, liquidificador e adobe após efeitos, para que possam ser editados à mão.