Google Top Shot escolhe a melhor foto que não sabiam que tinham tirado

A empresa está acostumada a explicar em profundidade como funcionam os modos do seu terminal, nas mãos dos seus engenheiros de software. Li Zhang e Wei Hong dizem-nos no blog do Google como funciona o Top Shot, a função do Google Pixel 3 que permite que equipamento reconheça a melhor fotografia entre várias fotos.

É assim que o Top Shot do Google funciona

Um dos problemas com a fotografia móvel é que, apesar das altas velocidades do obturador encontradas nos equipamentos high-end, há grandes possibilidades de que a fotografia saia mal. Olhos fechados, uma expressão má … Muitos fatores podem afetar a fotografia e impedem-nos de fazer a foto perfeita. O Top Shot vem para garantir que a fotografia saia sempre bem, tirando várias imagens para depois selecionar a ideal.

Quando tiramos uma foto, o Top Shot captura até 90 imagens em 1,5 segundos antes e depois da foto ser tirada. Três dessas 90 fotos são armazenadas em alta qualidade, o original e as principais alternativas. O processo é feito em tempo real, poderíamos pensar que essa função gastaria muita bateria e sobrecarregaria o processador. É aqui que entra a magia do Pixel, e é o Processador Visual Core que é usado para processar as imagens, permitindo que o processo seja rápido e com pouco consumo de energia.

 

Mas como o equipamento sabe se a foto está boa ou não?

Com AI, como poderia ser de outra forma? A rede neural do Google usa a segmentação de imagens para a dividir em vários parâmetros, entre os quais estão os olhos, expressões faciais, atributos mais subjetivos … O telefone sabe quando estamos com os olhos fechados, o nível de sorriso que temos, se a posição do nosso rosto em relação à câmara é boa ou mau … Cada frame obtido recebe uma pontuação, que é baseada nos seguintes parâmetros.

• Pontuação de proeminência do movimento do assunto: o ISP do processador é usado para determinar se há movimento ou não do objecto realçado na cena.
• Pontuação global de desfocagem de movimento: estimada a partir do movimento da câmara e do tempo de exposição. O movimento da câmara é calculado a partir dos dados do sensor do giroscópio e da OIS (estabilização ótica de imagem).
• Pontuações “3A”: Avalia como a exposição automática, autofoco e balanço de branco automático funcionaram.

Em resumo, O Google usa inteligência artificial para saber se estamos bem ou mal numa foto, a sua base de dados tem as informações necessárias para categorizar as imagens e classificá-las com precisão. O modo funciona com rostos, animais ou qualquer outro objecto. Se não houver rosto para analisar, a foto escolhida será baseada na composição da cena, movimento, exposição, nitidez …