D-ID lança uma ferramenta de tradução de vídeo com inteligência artificial que inclui clonagem de voz e sincronização labial
A plataforma de criação de vídeo com inteligência artificial D-ID é a última empresa a lançar uma ferramenta para traduzir vídeos para outros idiomas usando tecnologias de inteligência artificial. No entanto, neste caso, a D-ID também clona a voz do orador e altera os movimentos dos lábios para combinar com as palavras traduzidas como parte do processo de edição de IA.
A tecnologia deriva do trabalho anterior da D-ID - que você pode se lembrar da tendência viral de alguns anos atrás em que os usuários estavam animando suas fotos de família mais antigas, e posteriormente essas fotos eram capazes de falar. Com base nesse sucesso, a startup fechou uma rodada de financiamento Série B de $25 milhões em 2022 com o objetivo de atender ao crescente número de clientes corporativos nos EUA que estavam usando sua tecnologia para criar vídeos com IA.
Com a nova tecnologia de tradução de vídeo de IA da empresa, atualmente oferecida gratuitamente aos assinantes da D-ID, os criadores podem traduzir automaticamente seus vídeos para outros idiomas, ajudando-os a expandir seu alcance. No total, existem atualmente 30 idiomas disponíveis, incluindo Árabe, Mandarim, Japonês, Hindi, Espanhol e Francês, entre outros. Uma assinatura da D-ID começa em $56 por ano para seu plano mais barato e o menor número de créditos para usar em recursos de IA e depois vai até $1.293 por ano antes de passar para preços empresariais.
A D-ID sugere que a nova tecnologia de vídeo de IA pode ajudar os clientes a economizar nos custos de localização ao expandir suas campanhas para um público global em áreas como marketing, entretenimento e mídias sociais. A tecnologia competirá com outras soluções tanto para dublagem quanto para vídeos de IA.
Por anos, as tecnologias de dublagem simplificaram a audição de áudio em seu próprio idioma para os espectadores de vídeo, mas muitas vezes eram inacessíveis para criadores menores. Isso tem mudado à medida que as empresas melhoraram o acesso à tecnologia. Por exemplo. O YouTube lançou uma funcionalidade de áudio multilíngue projetada para ajudar seus criadores a se conectarem com um público mais amplo traduzindo seus vídeos para outros idiomas. O criador conhecido como Mr. Beast (Jimmy Donaldson) foi um dos primeiros a adotar a tecnologia, tendo usado a tecnologia para disponibilizar vários de seus vídeos populares em mais 11 idiomas.
Com a IA, a capacidade de criar, traduzir ou clonar vozes também está se expandindo. A Microsoft anunciou este ano que usaria IA para traduzir e dublar vídeos do YouTube e outros, enquanto assiste. Em julho, a plataforma de criação Vimeo lançou ferramentas não apenas para traduzir áudio e legendas, mas também para fazer isso replicando a voz do orador com tecnologias de IA. Inúmeras empresas também oferecem ferramentas de clonagem de voz ou tradução de IA (ou às vezes, ambos), incluindo Descript, ElevenLabs, Speechify, Veed, Camb.ai, Captions.ai e Akool, entre outros, bem como ferramentas que permitem criar vídeos usando avatares de IA que podem falar dezenas de idiomas, como aqueles HeyGen, Deepbrain AI e outros.
As bibliotecas de IA para dublagem e sincronização labial, como wav2lip, também tornaram mais fácil para as startups construírem esse tipo de ferramentas, apresentando aos criadores que elas tornam mais fácil e talvez mais acessível usar a tecnologia de IA.
A D-ID diz que sua nova tecnologia de tradução de vídeo estará disponível através do D-ID Studio e sua API. Um teste de um mês está sendo oferecido e mais demonstrações estão disponíveis em seu site.
