Virtualidade imersiva e interativa baseada em
Cloud Computing
Proponente
Universidade Federal de São Carlos
Prof.Dr. Luís Carlos Trevelin
Consorciados
Universidade Federal da Paraíba
Universidade Federal do Pará
Abútua Tecnologia
Universidade do Estado de São Paulo
Corollarium Tecnologies
UFSCar: Projeto de excelência
O projeto de excelência consiste em uma plataforma para virtualidade imersiva e interativa baseada em Cloud Computing, isto é, o desenvolvimento de um framework básico de comunicação em nuvem com suporte e desenvolvimento de conteúdos distribuídos multiusuários de realidade virtual e aumentada para TV digital, móveis (smartphones, PDAs) e computadores pessoais, incluindo, além do código, documentação e exemplos básicos deste framework, e também suporte a seu uso pelos laboratórios consorciados.
Estabeleceu-se, neste início de projeto, sua organização geral.
- - assinatura de contrato principal do XPTA e dos contratos dos consorciados.
- - organização e execução da primeira oficina com os consorciados.
- - planejamento, projeto e aprovação pela UFSCar das obras civis para a construção do ambiente imersivo.
- - definição técnica, com alta granularidade, das funcionalidades específicas necessárias para os projetos consorciados.
Ambiente imersivo
A construção do ambiente imersivo está em curso. Foi recebida a autorização para as devidas adaptações civis no local. Em complemento, o projeto técnico do ambiente imersivo está em desenvolvimento, com planos preliminares indicando a construção de um ambiente de três telas em ângulo obtuso, controladas por um aglomerado de computadores.
Plataforma
O desenvolvimento de software do projeto principal foca no aprimoramento da biblioteca de código aberto libGlass, da biblioteca JAMP e do suporte a TV digital, conforme plano original de trabalho. Durante esta etapa inicial do projeto, focou-se em melhorias internas do software para preparar uma versão base sobre a qual os trabalhos serão desenvolvidos.
Projeto 1: Corollarium Tecnologia – Obra digital Menna Barreto
Propõe-se aqui o desenvolvimento de uma instalação, que permita ao público explorar e interagir em um ambiente tridimensional, baseado na obra da artista plástica brasileira Sônia Menna Barreto. O conceito está firmado na possibilidade de trazer uma obra de pintura à realidade exploratória, permitindo que o espectador se torne parte da obra e que o ambiente supostamente estático se torne dinâmico e contemple as possibilidades inexploradas pelo meio.
Já foram realizadas as seguintes ações: reunião com a artista, Sônia Menna Barreto, para discussão das partes “escondidas” do quadro e de modificações necessárias para a modelagem 3D; contratação de modelador especializado, que já iniciou seus trabalhos e entregou os primeiros resultados; estabelecimento da forma de navegação e interação com o quadro; início do desenvolvimento do software de visualização.
Projeto 2: Corollarium Tecnologia – Interação corporal por reconhecimento de imagens
A proposta deste projeto é o desenvolvimento de um sistema de interação corporal baseado no reconhecimento de imagens de uma webcam, capaz de identificar a forma esqueletal de um usuário. Isto permitirá interagir com sistemas de realidade virtual naturalmente, além de poder ser estendido para aplicações de cinematografia (motion capture) de baixo custo.
Estamos em processo de contratação de um especialista PhD na área para auxiliar no desenvolvimento do projeto. Enquanto isso está sendo executado o estudo de algoritmos, especificação e planejamento do sistema. Resultados preliminares já foram atingidos, como a segmentação de fundo da imagem.
Projeto 3: Corollarium Tecnologia – Jogos Colaborativos para TV Digital voltados para deficientes visuais
A proposta deste projeto é o desenvolvimento do jogo Labirinto para TV Digital para deficientes visuais. O usuário irá interagir com o jogo por intermédio do controle remoto. O deficiente receberá as informações via áudio. Atualmente está se testando as ferramentas de desenvolvimento e especificando o jogo. Na oficina foram demonstrados os resultados de alguns testes, no caso, um jogo de perguntas e respostas.
Projeto 4: LabTEVE/UFPB – Arqueologia Interativa
O sub-projeto tem como objetivo prover conteúdo cultural relacionado à arqueologia. O objeto do trabalho será o Sítio Arqueológico da Pedra do Ingá, localizado no interior da Paraíba, no município de Ingá. A partir de recursos da realidade virtual, está sendo desenvolvido um ambiente totalmente virtual no qual informações e objetos estarão dispostos de forma organizada. Este ambiente será acessível a partir da Internet e permitirá interatividade a partir da navegação espacial e execução de vídeos, imagens e sons dispostos no local. Deste modo, pessoas de qualquer parte poderão visitar e conhecer o local.
Na Fase 1 do desenvolvimento foram coletadas e reunidas informações sobre o local, tais como textos científicos, mapas geográficos e geológicos, modificações do local ao longo dos anos e descritivos da fauna e da flora. Além disso, a equipe esteve no local e coletou imagens nos três primeiros meses do ano. Outras fotografias deverão ser tiradas na Fase 2, pois permitirão apresentar a situação do local fora e durante o período de chuvas. Sob o ponto de vista computacional, planejou-se como dispor o ambiente na Internet e como este poderia ser apresentado em 3D. O mesmo planejamento ocorreu quanto à montagem de uma plataforma de visualização imersiva com 2 ou 3 lados que pudesse ser exposta para divulgação cultural e fosse utilizada por mais de uma pessoa ao mesmo tempo.
Projeto 5: LabTEVE/UFPB – Arte Itinerante com Museus Virtuais
O sub-projeto tem como objetivo prover conteúdo cultural a partir da visitação de museus dispostos na Internet. De forma diferenciada de outros museus virtuais, propôs-se a disponibilização de ambientes virtuais tridimensionais compostos por peças também tridimensionais que poderão ser manipuladas pelos visitantes.
Na Fase 1 do desenvolvimento foi definida a estrutura cliente-servidor e a concepção da base de acervos. Também foi concebida a interface de apresentação do museu e uma modelagem parcial das salas de exposição. Também foi realizado o teste de estereoscopia que permitirá a visualização em 3D dos museus e seu conteúdo. Os testes iniciais de acesso aos museus previram a conexão de um usuário e de até quatro usuários simultaneamente. Este teste permitiu verificar o tempo de conexão e a independência da visitação de cada usuário.
Projeto 6: UFPA -Sistema Multiprojeção para Múltiplas Visões de Dados Coordenadas para suporte a Análise de Grandes Bases de Dados Multidimensionais
Este projeto consistem em produzir uma ferramenta de visualização de dados interativa com múltiplas visões de dados coordenadas, que possam ser facilmente configuradas pelo usuário. Cada computador processará sua própria representação de dados, interações, e busca de dados, ficando a cargo de um servidor o sincronismo e reflexão das mudanças feitas pelo usuário em uma técnica para outras. Até o momento foram definidas as tecnologias base para o desenvolvimento e a implementação das técnicas de visualização de informação.
Projeto 7: UFPA -Aplicações de Visualização de Informação em TV Digital para suporte à Compra de Produtos On-line
Este projeto consiste em desenvolver uma aplicação de visualização de informação para TV Digital com o objetivo de oferecer suporte ao usuário na busca ou compra de produtos on-line. Também será possível apresentar uma imagem do produto de interesse do usuário. Até o momento foram definidas as tecnologias base para o desenvolvimento.
Projeto 8: UFPA – Aplicação Colaborativa de Visualização de Informação em Realidade Aumentada
Este projeto consiste em desenvolver uma aplicação colaborativa em ambiente de realidade para visualização de informação. O usuário poderá compartilhar visões construídas no seu ambiente privado com os demais usuários remotos. Também será possível comunicar através da voz com os outros usuários conectados. Até o momento foram definidas as tecnologias que serão utilizadas para o desenvolvimento da aplicação. Já estão em desenvolvimento testes de comunicação e transferência de objetos em rede para compartilhamento dos gráficos.
Projeto 9: UNESP – Sistema de Realidade Virtual para Estruturas Dentárias
Um sistema de Realidade Virtual para Arcadas Dentárias está sendo desenvolvido, acreditando-se que a combinação dessas técnicas possa acarretar em avanços na área de ensino e pesquisa em Odontologia, porém, ainda sim, sendo um sistema de baixo custo. Até o momento está sendo desenvolvida uma interface Java, para que o uso do sistema seja efetuado de maneira simples e dispositivos móveis possam ser utilizados como meio de interação no ambiente.
Projeto 10: UNESP – A comunicação em Libras com Auxílio de Realidade Virtual
A partir de estudos relacionados a maneiras interativas de meios de comunicação, o projeto visa desenvolver uma aplicação capaz de oferecer inclusão social de deficientes auditivos à sociedade, e para isso, será utilizado a Realidade Virtual para a visualização do alfabeto LIBRAS numa projeção tridimensional de um humano virtual em tempo e em tamanho real utilizando aglomerado gráfico.
O humano virtual já foi desenvolvido na linguagem de programação JAVA e a base de dados do alfabeto LIBRAS, já está parcialmente desenvolvida em uma base de dados local. A idéia agora é projetar este humano virtual em tamanho e em tempo real utilizando a biblioteca libGlass, incrementando assim, a comunicação entre deficientes auditivos e pessoas que querem aprender e necessitam da linguagem de sinais LIBRAS, pelo fato de aumentar a interação e a imersão dos usuários com a aplicação.
Projeto 11: Abútua Tecnologia – Construção de Marionetes Digitais para Narrativas Interativas
O objetivo deste projeto é o desenvolvimento de uma API (Interface de Programação de Aplicativos) que suporte a animação em tempo real das marionetes digitais que será integrada a um motor gráfico para jogos de computadores 3D. Atualmente o projeto está na fase de implementação da especificação da API (Projeto) e do desenvolvimento da API Gráfica.
Projeto 12: Abútua Tecnologia – Instalação para a Construção de Espetáculos Virtuais Usando Marionetes Digitais
O objetivo deste projeto é o Desenvolvimento de uma instalação mínima para a construção de narrativas interativas usando as marionetes digitais (estudo de caso). Já foram realizadas a especificação e planejamento da apresentação (roteiro) e a criação das animações e modelos.