Nvidia compacta chamadas de vídeo de forma diferente

 
Nvidia compacta chamadas de vídeo de forma diferente

Usando um Redes Adversariais Generativas para recriação dos quadros de vídeo. Em outubro, a Nvidia havia anunciado uma nova plataforma de nome Maxine, que usa Inteligência Artificial para otimizar o desempenho e capacidades de videoconferência. Usando uma rede neural o software compacta o roto de forma a representar uma pessoa. E essa representação compacta pode então ser enviada pela internet, aonde uma segunda rede neural reconstrói a imagem original, que fara algumas modificações úteis.

Segundo a empresa, essa nova tecnologia pode reduzir a largura de banda necessária em um fator de 10, se comparada as tecnologias usadas atualmente. E também muda a forma como o rosto de uma pessoa é exibido. Mesmo que a pessoa esteja fora do centro da câmera, o software pode girar a imagem para colocar a pessoa no centro. E até substituir o rosto por um avatar.

Mesmo que alguns aplicativos de hoje já consigam fazer isto, a forma como a Nvidia aplica este processo torna-o muito mais confiável e rápido. Maxine é um Kit de desenvolvimento de software, logo, ainda não é um produto para o consumidor final. A empresa espera que terceiros se utilizem de seu kit de desenvolvimento para criar ferramentas que se utilizam da tecnologia dos tensor cores, encontrados em suas ultimas gerações de placa de vídeo. E para quem não tiver uma, poderão usar a nuvem, o que não se tem certeza se funciona bem.

Baseado em uma tecnologia de aprendizado de máquina, o Maxine se utiliza do GAN- Rede Adversarial Geradora. Que é uma rede neural que usa funções matemáticas complexas que recebem entradas numéricas e produz saídas numéricas. Resumindo na pratica, se entram pixels e se deve sair pixels, em uma fidelidade de imagem relativamente aproximada usando um banco de dados.

Em alguns casos, o algoritmo de treinamento fornece as mesmas informações de entrada tanto para o gerador quanto para o discriminador. Em outros casos, a função de perda do gerador - a medida de quão bem a rede se saiu para fins de treinamento - combina a saída do discriminador com alguma outra métrica que julga quão bem a saída se ajusta aos dados de entrada.

Essa abordagem possui uma ampla gama de aplicações. Os pesquisadores usaram GANs condicionais para gerar obras de arte a partir de descrições textuais, gerar fotografias a partir de esboços , gerar mapas de imagens de satélite ,  prever como as pessoas ficarão quando ficarem mais velhas e muito mais.

Isso nos traz de volta à Nvidia Maxine. A Nvidia não forneceu detalhes completos sobre como a tecnologia funciona, mas nos apontou um artigo de 2019 que descreveu alguns dos algoritmos subjacentes que alimentam o Maxine.

No momento, Maxine está no estágio de desenvolvimento de "acesso antecipado". A Nvidia está oferecendo acesso a um grupo selecionado de primeiros desenvolvedores que estão ajudando a Nvidia a refinar as APIs da Maxine. Em algum ponto no futuro - novamente, a Nvidia não disse quando - a Nvidia abrirá a plataforma para desenvolvedores de software em geral.

Fonte: arstechnica