Difusão de vídeo estável: aqui está tudo o que você precisa saber

Você já deve saber como criar imagens geradas por IA com a ajuda do Stable Diffusion. Agora, você também pode dar uma nova vida a essas imagens com gráficos em movimento gerados por IA. Bem-vindo ao Estábulo Vídeo Difusão o que pode ajudá-lo a transformar suas imagens estáticas em vídeos dinâmicos. Neste post, contarei a você tudo o que é importante sobre o Geração de vídeo de difusão estável e como você pode usá-lo como um profissional.

O que é a difusão de vídeo estável?

Como você sabe, Stable Diffusion é um modelo de IA de código aberto criado pela Stability AI. Com Stable Diffusion, você pode gerar imagens simplesmente inserindo instruções de texto. Agora, com a versão em vídeo do Stable Diffusion, você pode converter suas imagens em vídeos curtos gratuitamente.

O modelo de IA toma a imagem como um quadro de origem e cria quadros subsequentes usando uma técnica única, conhecida como difusão. Idealmente, a técnica adiciona vários detalhes (seja do fundo ou do objeto) a uma imagem de origem, tornando-a um vídeo. A Stability AI treinou o modelo com base em um grande conjunto de vídeos e fotos realistas, que podem ser executados virtualmente ou em um sistema local.

Geral, Difusão de vídeo estável é uma ferramenta poderosa que pode ajudá-lo a criar todos os tipos de vídeos – desde conteúdo criativo até conteúdo educacional. Embora tenha sido lançado recentemente, o modelo ainda está em desenvolvimento e espera-se que evolua no futuro.

Como usar a difusão de vídeo estável?

Atualmente, você pode usar o recurso de vídeo do Stable Diffusion de duas maneiras – você pode instalá-lo em seu sistema ou aproveitar qualquer aplicativo baseado na web.

Opção 1: experimente qualquer ferramenta online para difusão estável

Desde Vídeo de difusão estável AI para vídeo grátis solução é uma oferta de código aberto, várias ferramentas de terceiros a integraram em suas plataformas. Por exemplo, você pode visitar o site: https://stable-video-diffusion.com/ e carregue sua foto. Assim que a foto for carregada, a ferramenta irá analisá-la automaticamente e convertê-la em um vídeo.

É isso! Em poucos segundos, a ferramenta online irá gerar um pequeno vídeo baseado na foto enviada. Você pode simplesmente visualizar o vídeo aqui e baixá-lo em seu sistema.

Opção 2: Instalando o Stable Diffusion em seu sistema

Se quiser obter resultados mais personalizados (e não filtrados), você também pode considerar a instalação do módulo AI em Vídeo estável Difusão em seu sistema. Porém, você deve saber que o processo é um pouco técnico e consumirá recursos computacionais substanciais.

Pré-requisitos:

• Instale Python 3.10 ou superior em seu sistema
• Instale NVIDIA CUDA Toolkit 11.4 ou superior em seu PC
• Instale o Git (para executar o repositório)
• Clonar o Difusão de vídeo estável repositório usando Git (compartilhado gratuitamente pelo Stability AI): https://github.com/AUTOMATIC1111/stable-video-diffusion

Etapa 1: configurar o ambiente

Depois de atender aos requisitos acima, você pode iniciar o console do Python em seu sistema. Agora, você pode executar os seguintes comandos um por um, que criarão, ativarão e instalarão as dependências necessárias em seu sistema para executar o Stable Diffusion.

python3 -m venv venv

origem venv/bin/ativar

pip instalar -r requisitos.txt

Passo 2: Prepare a entrada e gere seu vídeo

Assim que o ambiente estiver instalado e funcionando em seu sistema, você poderá preparar uma imagem de entrada. Se você não tiver uma imagem, poderá usar o Stable Diffusion AI padrão para criar uma inserindo texto.

Para gerar o vídeo, você pode simplesmente navegar no difusão de vídeo estável direção em seu sistema. Basta digitar o seguinte comando para gerar o vídeo, usando uma imagem de entrada:

python3 scripts/dream.py –ckpt_path ckpt/stable-diffusion.ckpt –image_path input_image.png –prompt “texto de prompt” –fps 6 –num_frames 100 –augmentation_level 0,5

Observe que no comando acima, você precisa fazer o seguinte:

• Substituir imagem_de_entrada.png com o caminho real para sua imagem de entrada.
• Substituir texto de alerta com o texto de prompt desejado para o modelo de IA (por exemplo, se você deseja dar forma, estilo ao vídeo, mover seu plano de fundo, etc.)
• Ajusta a FPS (quadros por segundo) e num_frames (número total de quadros) conforme suas necessidades.
• Ajusta a nível_aumentado para controlar a intensidade das transformações de vídeo (conforme necessário).

Etapa 3: salve a saída de vídeo

Depois de inserir o prompt, você pode esperar um pouco enquanto o Geração de vídeo de difusão estável conclui seu processamento. Se o processo for mais complexo, poderá demorar um pouco para que a Difusão Estável gere seus resultados.

Assim que a geração do vídeo for concluída, ele será salvo no saída diretório com o carimbo de data/hora como nome.

Desta forma, você pode usar o Vídeo de difusão estável AI para vídeo grátis (ou foto para vídeo grátis) ferramenta para gerar vídeos. Você pode experimentar ainda mais vários prompts e configurações de entrada para ajustar os resultados.

Qual é a diferença entre difusão instável e estável?

Em poucas palavras, a Difusão Estável é uma Modelo de IA criado pela Stability AI para gerar conteúdo de mídia de alta qualidade (fotos e vídeos). É uma versão mais estável dos modelos anteriores, que gera imagens realistas e sem erros.

Por outro lado, Unstable Diffusion é a sua contraparte mais criativa e irrestrita. Ao contrário do Stable Diffusion, que foi treinado em um conjunto de dados de imagens filtradas, o Unstable Diffusion tem imagens não filtradas como seu conjunto de dados. É por isso que a Difusão Instável pode muitas vezes levar a erros nos seus resultados e produz um trabalho mais abstrato do que realista.

Como a difusão de vídeo estável afetará a geração de vídeo?

Desde Difusão de vídeo estável ainda está em evolução, é difícil prever o seu impacto real, mas pode ter a seguinte influência:

Produtividade melhorada

Como você sabe, o Stable Diffusion pode gerar vídeos em segundos, o que pode ajudar os criadores de conteúdo a economizar tempo. Você pode criar animações, adicionar efeitos especiais ou transferir estilos de vídeos instantaneamente, em vez de gastar horas editando.

Custos Reduzidos

Os esforços manuais que colocamos na edição de vídeo podem ser caros e demorados. Por outro lado, Difusão de vídeo estável pode ajudá-lo a reduzir esses custos de edição, automatizando a maioria das tarefas de pós-produção.

Criatividade aprimorada

Os criadores agora podem criar vídeos além de sua criatividade restrita com o Stable Diffusion. Por exemplo, pode ser usado para gerar vídeos com efeitos especiais realistas ou para animar imagens estáticas.

Acessibilidade mais ampla

Como discuti acima, Stable Diffusion é uma ferramenta de código aberto, disponível gratuitamente para qualquer pessoa. Isso o torna um recurso criativo valioso para quem deseja criar vídeos, independentemente de suas habilidades ou orçamento.

Como funciona a difusão de vídeo estável?

Como o nome sugere, o modelo de IA é baseado em uma prática de difusão que treina a inteligência artificial para gerar mídia realista. Baseia-se em três princípios principais:

Difusão: Na difusão, primeiro começamos com uma imagem aleatória e depois adicionamos mais detalhes a ela gradualmente. Ele continuará fornecendo saídas diferentes até corresponder à entrada inicial. Isto irá treinar o Geração de vídeo de difusão estável criar armações sintéticas, baseadas na inicial.

Treinamento: Assim como uma imagem, o modelo de difusão é treinado em um grande conjunto de dados. Desta forma, o modelo de IA pode distinguir e gerar facilmente todos os tipos de objetos realistas.

Geração de vídeo: depois que o modelo for treinado, os usuários poderão carregar uma imagem no modelo de IA. O modelo irá refinar o ruído de cada quadro e apresentar resultados realistas, com base nas entradas fornecidas para cores, rotações, mudanças visuais, etc.

Quais são as limitações da difusão de vídeo estável?

Difusão de vídeo estável foi lançado recentemente e tem várias limitações, incluindo as seguintes:

• Comprimento limitado: a partir de agora, o Stable Diffusion pode gerar vídeos de curta duração com apenas 2 a 4 segundos de duração, tornando-o inadequado para a criação de vídeos longos.
• Qualidade: a qualidade dos vídeos gerados pode variar dependendo da imagem de entrada, do prompt e das configurações de aumento. Às vezes, você pode encontrar vários erros em seu vídeo.
• Controle criativo: Embora o modelo de IA possa gerar vídeos criativos, falta-lhe controle de ajuste fino, pois os usuários não podem manipular diretamente quadros individuais.
• Capacidade limitada: a capacidade do modelo de interpretar e responder a prompts de texto ainda está em desenvolvimento e pode não compreender prompts complexos.
• Transformação artística: Embora a transferência de estilo seja possível, pode ser um desafio obter resultados consistentes em todo o vídeo.
• Requisitos computacionais: A difusão de vídeo estável requer uma placa gráfica poderosa e muita memória para processar grandes conjuntos de dados e gerar vídeos.

Onde posso acessar o modelo de difusão de vídeo estável?

A boa notícia é que o atual modelo de IA do Difusão de vídeo estável está disponível gratuitamente. De acordo com a Stability AI, ela desenvolveu o modelo para fins de pesquisa a partir de agora. Você pode acessar o código do modelo em sua página GitHub aqui: https://github.com/Stability-AI/generative-models

Além disso, você pode acessar a documentação do Hugging Face aqui: https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt

Qual é o desempenho da difusão de vídeo estável em comparação com outros modelos de vídeo de IA?

A própria Stability AI realizou extensas pesquisas e comparou seu modelo de geração de vídeo com outras ferramentas. Segundo a pesquisa, o Stable Video Diffusion é comparado com modelos como Runway e Pika Labs.

Aqui você pode ver o desempenho desses modelos na geração de 14 e 25 quadros a uma taxa personalizada de 3 a 30 fps. O Stable Diffusion também é mais poderoso em comparação com o Google Video Diffusion e o DALL.E quando se trata de gerar vídeos realistas.

Modelo	Força	Fraqueza
Difusão de vídeo estável	Resultados realistas e coerentes, bons para vídeos curtos de imagens estáticas	Duração limitada, variações de qualidade, controle criativo limitado
Difusão de vídeos do Google	Pode gerar vídeos mais longos, bons para geração de texto para vídeo	Pode produzir erros, requer ajuste fino (não tão estável)
DALL-E 2	Altamente criativo e experimental	Pode ser menos estável
Pista ML	Fácil de usar e bom para iniciantes	Capacidades limitadas e não tão poderosas quanto outros modelos
Laboratórios Pika	Código aberto	Base de usuários limitada, ainda em desenvolvimento

O Stable Video Diffusion pode gerar vídeos de longa duração?

Não – a partir de agora, os resultados do Geração de vídeo de difusão estável são limitados a apenas 4 segundos. No entanto, nas próximas versões desta IA, podemos esperar que ela também gere vídeos de longa duração.

Quais são os requisitos computacionais para executar o Stable Video Diffusion?

Aqui estão alguns dos requisitos para executar Difusão de vídeo estável:

Requerimento	Mínimo	Recomendado
GPU	6 GB de RAM	10 GB de VRAM (ou superior)
CPU	4 núcleos	8 núcleos (ou superior)
BATER	16 GB	32 GB (ou superior)
Armazenar	10 GB	20 GB (ou superior)

Além disso, você deve instalar previamente o Python 3.10 (ou superior) em seu sistema.

Qual é a visão futura da difusão de vídeo estável?

Atualmente, Stability AI lançou apenas Difusão de vídeo estável para fins de pesquisa para que o modelo possa evoluir. No entanto, no futuro, podemos esperar que o modelo de IA evolua nas seguintes características:

• Processamento de prompts de texto mais complexos, detalhados ou abstratos.
• Permitindo que os usuários editem o vídeo na interface nativa e obtenham resultados personalizados.
• A capacidade de incluir transições, camadas e outros efeitos especiais realistas em vídeos.
• Fornecendo soluções descomplicadas para aumento, redução, restauração de vídeo, etc.
• Possui recursos integrados para correção de cores, minimização de ruído, estabilização de vídeo e assim por diante.
• Os usuários podem deixar o modelo de IA aprender seu estilo criando vídeos com um toque pessoal.
• Geração de vídeos em tempo real para transmissão, mídia social e outras aplicações.

Pensamentos finais

Tenho certeza que depois de ler este post, você poderá entender facilmente como o Geração de vídeo de difusão estável funciona. Também sugeri algumas etapas rápidas que você pode seguir para começar Difusão de vídeo estável por si só. Porém, você deve se lembrar que o Modelo de IA é relativamente novo, ainda está aprendendo e pode não atender exatamente aos seus requisitos. Vá em frente – experimente o modelo de vídeo generativo Stability AI e continue experimentando-o para liberar sua criatividade!