OpenAI, a startup de inteligência artificial fundada por Elon Musk por trás do popular gerador de texto para imagem DALL-E, anunciou na terça-feira o lançamento de sua mais nova máquina de criação de imagens POINT-E, que pode produzir nuvens de pontos 3D diretamente a partir de prompts de texto. Enquanto os sistemas existentes, como o DreamFusion do Google, normalmente requerem várias horas – e GPUs – para gerar suas imagens, o Point-E precisa apenas de uma GPU e de um ou dois minutos.
A modelagem 3D é usada em diversos setores e aplicações. Os efeitos CGI de sucessos de bilheteria modernos, videogames, VR e AR, as missões de mapeamento de crateras lunares da NASA, os projetos de preservação de patrimônios do Google e a visão da Meta para o Metaverso, todos dependem de recursos de modelagem 3D. No entanto, a criação de imagens 3D fotorrealistas ainda é um processo que consome recursos e tempo, apesar do trabalho da NVIDIA para automatizar a geração de objetos e do aplicativo móvel RealityCapture da Epic Game, que permite que qualquer pessoa com um telefone iOS digitalize objetos do mundo real como imagens 3D.
Sistemas de texto para imagem, como DALL-E 2 e Craiyon da OpenAI, DeepAI, Lensa do Prisma Lab ou Stable Diffusion da HuggingFace, ganharam rapidamente popularidade, notoriedade e infâmia nos últimos anos. Text-to-3D é um desdobramento dessa pesquisa. O Point-E, ao contrário de sistemas semelhantes, "aproveita um grande corpus de pares (texto, imagem), permitindo seguir instruções diversas e complexas, enquanto nosso modelo de imagem para 3D é treinado em um conjunto de dados menor de (imagem, 3D) pares", escreveu a equipe de pesquisa da OpenAI liderada por Alex Nichol em Point·E: A System for Generating 3D Point Clouds from Complex Prompts, publicado na semana passada. "Para produzir um objeto 3D a partir de um prompt de texto, primeiro amostramos uma imagem usando o modelo de texto para imagem e, em seguida, amostramos um objeto 3D condicionado na imagem amostrada. Ambas as etapas podem ser executadas em alguns segundos, e não requerem procedimentos de otimização caros."
Se você inserir um prompt de texto, digamos, "Um gato comendo um burrito", o Point-E irá primeiro gerar uma visualização sintética da renderização 3D do referido gato comedor de burrito. Em seguida, ele executará a imagem gerada por meio de uma série de modelos de difusão para criar a nuvem de pontos RGB 3D da imagem inicial – primeiro produzindo um modelo de nuvem grosseiro de 1.024 pontos e, em seguida, um modelo de nuvem mais fino de 4.096 pontos. “Na prática, assumimos que a imagem contém as informações relevantes do texto e não condicionamos explicitamente as nuvens de pontos ao texto”, aponta a equipa de investigação.
Cada um desses modelos de difusão foi treinado em "milhões" de modelos 3D, todos convertidos em um formato padronizado. “Embora o nosso método tenha um desempenho pior nesta avaliação do que as técnicas de última geração”, admite a equipe, “ele produz amostras em uma pequena fração do tempo”. Se você quiser experimentar por si mesmo, a OpenAI postou o código-fonte aberto do projeto no Github.