Conheçam a tecnologia de vídeo de retrato completo OPPO FDF

A OPPO revelou o sistema de tecnologia de vídeo de retrato full-dimensional OPPO FDF na Future Technology Conference 2020 (OPPO INNO DAY 2020) com o tema “Leap Into The Future”. O sistema é composto por dois motores: percepção de retrato e aprimoramento da qualidade de imagem, que são otimizados para o assunto humano e imagem geral durante a fotografia de retrato, respectivamente. Os dados de que dispomos apontam que que os primeiros produtos equipados com o sistema estarão disponíveis em dezembro.

Especificamente, o mecanismo de retrato perceptivo possui detecção de rosto por AI, retrato superclear AI, algoritmo de otimização de pele OFL, correção de distorção facial e outras funções para tornar os resultados mais naturais, realistas.

Ao otimizar o modelo de rede, a detecção de rosto AI atinge 99,78% de precisão de detecção e 25 ms de tempo de detecção de frame único, para que possa detectar rapidamente a área do rosto para vídeo ou foto e definir um intervalo preciso para a otimização posterior do rosto.

O algoritmo AI marca 296 pontos-chave na área do rosto para distinguir características faciais e detalhes de contorno e adiciona informações auxiliares, como se os pontos-chave são visíveis ou não, e o ângulo do rosto, etc. Finalmente, ele atinge um NME tão baixo como 4,71% no conjunto de dados WFLW e a framerate em execução do algoritmo na plataforma móvel chega a mais de 200 fps.

O AI Ultra Clear Portrait foi projetado com três submódulos no modelo de rede neural profunda para realizar cálculos de divisão, otimização de redução de ruído e otimização de nitidez no rosto. O algoritmo detecta e melhora com precisão o rosto e as áreas adjacentes, mesmo em condições de pouca luz.

O algoritmo OFL Skin Optimization fornece processamento de IA para tom e tipo de pele, respectivamente, para ajudar a remover imperfeições faciais, otimizar o desempenho da pele e melhorar o Design do rosto do utilizador em imagens. O algoritmo atinge 96,5% de segmentação das áreas da pele e 97,4% de precisão da pele facial. A “detecção do tom de pele” cobre não apenas o rosto, mas também o pescoço e as mãos, que cobrem quase todas as áreas da pele que são expostas durante os vídeos de retratos.

O algoritmo de otimização de pele OFL também permite a remoção de manchas por IA, que identifica e distingue de forma inteligente entre recursos naturais e adquiridos para um efeito de remoção de manchas mais natural. as imperfeições adquiridas, como manchas, acne e olheiras sob os olhos, são removidas e as características faciais naturais, como manchas e sinais, são preservadas.

Na correção de deformidade facial, a parte do fundo da projeção em perspectiva é recolhida e a área do rosto é cortada e separada, e uma projeção esférica é feita novamente para que o rosto mantenha a forma normal.

O Mecanismo de Aprimoramento de Imagem inclui uma nova geração de Super Estabilizador de Imagem, Temporizador de Movimento, Vídeo Super Night Scene, DOL-HDR e outras funções para garantir fotos satisfatórias em cenas com alta vibração, luz baixa e brilho excessivo.

O algoritmo Super Image Stabilization adiciona um processo de detecção de cena aos dados do giroscópio, acelerómetro e sensor para determinar a trajetória de movimento, atitude e exposição para distinguir diferentes cenas e combinar diferentes estratégias de estabilização de imagem.

Para fotografia de lapso de tempo móvel, a OPPO adiciona análise de tendência de movimento ao algoritmo Super Image Stabilizer, que não só torna a transição entre os quadros extraídos mais suave, mas também consegue estabilização de tempo mais longa, o que torna o desempenho em tempo real da fotografia de lapso de tempo móvel ao nível de um gimbal.

Com base no algoritmo anterior, o vídeo Super Night Scene é integrado ao algoritmo HDR para diferenciar e depurar a curva de ajuste de brilho. O algoritmo determinará primeiro de forma inteligente se ativa a curva de ajuste de brilho de Cena Noturna ou HDR com base no ambiente de brilho actual para ter um efeito de vídeo melhor e mais real.

O DOL-HDR soluciona os pontos problemáticos de captura de luz de fundo, e os seus quadros de exposição longos e curtos são quase simultâneos, reduzindo significativamente o intervalo entre os quadros antes e depois, o que retorna melhores resultados de gravação de vídeo HDR.

A OPPO tinha dito que os primeiros produtos equipados com o sistema de tecnologia de vídeo de retrato da OPPO estarão disponíveis em dezembro. Neste momento, as tecnologias OPPO em HDR, cena noturna, superestabilização, etc. foram disponibilizadas para plataformas de terceiros, como Shakespeare e Qiaoshou.