Como funciona o sensor RYYB no Huawei P30 Pro?

Para entender o filtro RYYB, devemos primeiro entender como funciona um filtro Bayer. Um filtro Bayer é uma matriz de filtro de cor sobreposto em cima de um sensor de imagem e tem o nome deBryce Bayer, que foi quem o inventou.

A razão pela qual precisamos de uma matriz de filtros de cores é porque um sensor de imagem, por design, é apenas sensível à luz e não é sensível à cor. Como só pode detectar e capturar a luz, uma captura de imagem bruta de um sensor de imagem digital é sempre a preto e branco.

Para poder capturar cores, precisamos de uma matriz de filtros de cores, como o filtro Bayer. Primeiro, a luz ultravioleta e infravermelha é revelada por outros filtros. Quando a luz que chega é reduzida ao espectro visível, o filtro Bayer começa a funcionar.

O filtro Bayer sobrepõe-se a uma cor no topo de cada pixel. Numa grade de 2×2 pixels, haverá um pixel vermelho, um pixel azul e dois pixels verdes.

A escolha de usar o RGB tem as suas próprias razões. A visão humana é tricromática, o que significa que é sensível principalmente a três grupos de comprimentos de onda de luz, que correspondem sensivelmente às cores vermelha, verde e azul. Com a sobreposição entre esses comprimentos de onda, o nosso cérebro é capaz de interpretar “cores” (que na verdade não existem) e em conjunto com a informação de luz captada pelo que podemos ver fazer a sua interpretação da cor real. As nossas câmaras são projetadas para imitar de perto o nosso sistema de visão tricromática.

O filtro Bayer coloca uma cor vermelha, uma cor azul e duas de cor verde numa grade de pixels de 2×2 no sensor de imagem. Isso significa que a luz visível que passa pela matriz é revelada pela respectiva cor. O pixel abaixo da lente vermelha terá uma imagem a preto e branco, mas com a cor vermelha revelada. Isso fará com que todos os objetos vermelhos no quadro apareçam mais brilhantes para esse pixel, uma vez que é essa informação que está a ser filtrada. O mesmo vale para os pixels azuis e verdes.

Agora temos uma imagem que tem vários níveis de luminosidade por pixel devido aos filtros. Para produzir as cores reais, precisamos de um processo chamado de demosaicing ou debayering. Um algoritmo complexo, geralmente de propriedade do fabricante da câmara, que ajuda a interpretar os diferentes valores de cor. Ele analisa as informações capturadas por um pixel, bem como os pixels adjacentes, e determina qual o valor de cor atribuir a esse pixel. Quão bom é este algoritmo resulta no quão precisas são as cores na imagem final.

Como um aparte, a imagem digital bruta de um sensor é sempre a preto e branco. Nós só vemos cores porque a imagem foi demosaiced. Quando abrimos um arquivo bruto num editor de fotos, como o Adobe Photoshop, a aplicação usa o seu próprio algoritmo de demosaicing para gerar as cores, e é por isso que diferentes aplicações produzem cores ligeiramente diferentes para arquivos brutos.

Uma vez feito o demosaicing, a imagem estará pronta para processamento posterior, onde itens como exposição, contraste, realces, sombras, balanço de branco, ruído e nitidez são ajustados para produzir a imagem final.

De volta ao filtro, o filtro da Bayer decide usar o array RGGB. Como mencionado anteriormente, isso corresponde mais de perto a como nossos olhos funcionam. Quanto a por que existem dois pixels verdes, é porque o verde fica no meio do espectro de cores visíveis para os humanos e os nossos olhos são mais sensíveis a esta cor. O canal verde também atua como luminância e o utilizador notará que o ajuste do nível de verde na imagem não afeta apenas a cor, mas também o brilho geral da imagem.

No entanto, alternativas aos filtros da Bayer  já existem há algum tempo. CYM ou CYYM é um deles, onde o filtro é composto por cores ciano, amarelo e magenta. A vantagem do filtro CYYM é que permite que mais luz passe através do sensor. Como podem ver pelo nome, um filtro da Bayer é um filtro,  remove sempre um pouco da luz. Além disso, como apenas metade dos pixels no sensor estão a receber luz verde e um quarto está a receber luz vermelha e azul, também nunca está a receber a resolução prometida do sensor. O sensor CYYM, Com a sua maior transmissão de luz, foi projetado para combater isso e, em teoria, produzir muito mais resolução a partir do mesmo número de pixels.

No entanto, como se constata, não é fácil ter imagens de aparência natural de um sensor CYYM e isso requer um algoritmo de demosaicing muito mais complexo do que o RGGB. Devido a isso, nunca ganhou popularidade e câmaras com sensores CYYM permanecem uma raridade.

Sensor RYYB do Huawei P30 Pro

É aqui que entra o sensor RYYB do Huawei P30 Pro. Os engenheiros usaram os familiares canais vermelho e azul, mas substituíram os dois verdes por dois canais amarelos. Isso permite que o sensor capture ainda mais luz do que com os filtros verdes, pelo menos em teoria.

Claro, ainda há a questão do demosaicing, mas com a melhoria nessa área, bem como com o uso de inteligência artificial que analisa o conteúdo da imagem, agora é possível determinar corretamente as cores mesmo sem um canal verde dedicado. De facto, na nossa análise vimos uma eficiência tremenda com as cores do P30 Pro.

É claro que a eficácia desse método sobre o RGGB padrão não pode ser facilmente testada ou verificada, por isso temos que aceitar a palavra da Huawei. Mas é certamente uma solução interessante para melhorar a qualidade da imagem com pouca luz e é possivelmente a razão pela qual o telefone tem um excelente desempenho em fracas condições de luminosidade.