Multimídia, RV, RA e Reconstrução 3D: Conceitos e Tecnologias

Multimídia

Definição: Multimídia é a forma de comunicação com utilização de múltiplos tipos de mídia: áudio, imagens, textos, vídeos, animações.

Multimídia Linear: Tipo de multimídia que começa num ponto e é executado até o fim, por exemplo: filmes, cinema ou televisão.

Multimídia Não-Linear: Quando os usuários têm o controle da movimentação pelo conteúdo, ou seja, interagem com a multimídia.

Realidade Virtual (RV)

Nomes de RV: Ambiente Sintético, Mundo Virtual, Ciberespaço, Ambiente Virtual, Presença Virtual, Realidade Artificial.

Definição: RV é uma interface de usuário sofisticada que, em tempo real, simula um ambiente gerado por computador e usa dispositivos multisensoriais como interação.

Triângulo da RV (Imersão, Interação e Imaginação)

• Imersão: O usuário deve sentir-se imerso no ambiente virtual, dando-lhe a impressão de este ser real.
• Interação: Um dos principais requisitos de um ambiente de realidade virtual. De alguma maneira o usuário deve interagir com o sistema fazendo com que a impressão de ambiente imersivo torne-se ainda mais evidente. São usados equipamentos com sistemas de tracking para captação das interações do usuário.
• Imaginação: O usuário deve usar sua imaginação para que o ambiente virtual seja percebido como um ambiente real.

Ambiente Virtual Imerso vs. Não Imerso

Ambiente Virtual Imersivo: É um cenário tridimensional dinâmico (animação) armazenado em computador e exibido através de técnicas de computação gráfica (como HMD), em tempo real, de tal forma que faça o usuário acreditar que está imerso neste ambiente.

Ambiente Virtual Não Imerso: É o que se utiliza de uma tela para mostrar o ambiente virtual.

Sistema de RV

Dispositivo E/S, Software e BD (suporte a comunicação, suporte E/S, importação de modelos), Tarefa (Aplicações), Usuário (Fatores Humanos: desconforto, conveniência, percepção de limitações) e Engine (Modelagem geométrica, cinemática e física, agente inteligentes).

Fatores Humanos em RV

• O usuário vai se sentir desconfortável?
• O usuário perceberá as limitações do sistema?
• Quais tarefas são mais convenientes para usuários em RV?

Realidade Aumentada (RA)

Definição RA:

• Monitor: Tecnologia que, apesar de misturar o registro do real com o virtual, perde muito em interação.
• Optical See Through: O mundo real é realmente observado em tempo real e só o canal virtual é processado virtualmente. Mais simples e mais limitado. Mais difícil de controlar os atrasos.
• Video See Through: Mundo real e mundo virtual são processados eletronicamente, logo podemos alinhar o atraso; está sempre atrasado do mundo real de fato; Mais Complexo e mais controlável.

Interação em RA

Técnicas de interação são as formas de como a interação pode ser feita, dispositivos são os meios físicos utilizados para realizar a interação e tarefas de interação são as aplicações dessas interações, ou a execução de uma técnica.

Reconstrução 3D

Modelo de Câmera

Representação 2D de objetos 3D; Define a pose de um objeto de acordo com um frame de referência (Posição, Orientação); Utilizando as coordenadas homogêneas, a projeção é representada por uma transformação linear; P = K [R|t], K -> matriz de calibração da câmera, R -> Rotação => matriz que descreve a orientação da câmera, t -> matriz que descreve a translação da origem da câmera em relação a um sistema de coordenada.

Pipeline de Reconstrução

Recuperar uma superfície 3D a partir de uma sequência de imagens adquiridas pela livre movimentação da câmera sobre o objeto a ser tratado; Movimento da câmera e a configuração da; Textura obtida a partir das imagens.

Elementos Básicos da Reconstrução

Geração de KeyFrames: A geometria epipolar é medida entre frames que devem ter uma distância mínima (baseline) e uma rotação mínima (aproximadamente 15º); A primeira estimativa de poses e pontos 3D só pode ser realizada após a seleção dos 2 primeiros keyframes.

Struct from Motion

É a técnica na qual é calculada a matriz fundamental ou essencial de um par de imagens; Pode ser utilizadas, 5, 7, 8 ou > 8.

Reconstrução Densa

Técnicas baseadas em discrepância fotométrica; Técnicas baseadas em retificação e estereoscopia.