Visão computacional e Arte digital
Aluna: Flavia Nascimento Ost nUSP 5123094
Supervisor: Roberto Marcondes Cesar Junior
Resumo
O avator consiste de um programa que apresenta uma face capaz de 'falar', e que converse com o usuário de acordo com uma personalidade, esta implementada através de um AIML (Artificial Intelligence Markup Language - basicamente uma linguagem em que um arquivo parecido com um XML pode ser interpretado como inteligência artificial); as faces usadas são geradas pelo programa Haptek.
Este trabalho foi feito em 2006 pelo aluno Marcos Paulo Moreti, e pretendo continuar seu desenvolvimento este ano.
Objetivos
O projeto é dividido em duas partes:
Continuar o desenvolvimento do avator juntamente com os artistas previamente envolvidos, Ricardo Barreto e Maria Hsu, permitindo que o usuário converse com duas personagens em vez de uma, bem como implementar uma comunicação entre elas; também será dada a possibilidade das personagens apresentarem expressão faciais (medo, raiva, felicidade...) dependendo do assunto abordado. Outras características poderão ser adicionadas de acordo com as sugestões dos artistas envolvidos, sendo esta parte do trabalho voltada para arte digital.
Dar um módulo de visão ao Avator, através de uma câmera e algoritmos de visão computacional. Inicialmente desejamos apenas implementar algoritmos para a percepção de movimento nas imagens(frames) fornecidas, e caso haja sucesso nessa fase podemos passar a tentativas de classificar objetos presentes na imagem (identificando se uma pessoa entrou na região observada, por exemplo).
Atividades já realizadas
Estudo de ferramentas utilizadas para implementação do avator (Haptek, AIML)
Estudo do programa Avator original
Início da implementação da comunicação entre os personagens
Início do estudo da biblioteca OpenCV, que será utilizada na implementação do módulo de visão.
Cronograma de atividades
Parte 1 - Março-Abril: estudo do programa Avator original, bem como das ferramentas usadas na sua implementação.
Parte 2 - Maio: implementação da comunicação entre personagens.
Parte 3 - Junho: debug da comunicação entre personagens, estudo para possibilitar a execução de expressões faciais pelos personagens, estudo da biblioteca OpenCV.
Parte 4 - Julho-Agosto: implementação da execução de expressões faciais, implementação do módulo de visão, novas alterações no programa de acordo com discussões com os artistas envolvidos no projeto.
Parte 5 - Setembro-Outubro: aprimoramento do módulo de visão, realizar novas alterações no programa de acordo com discussões com os artistas envolvidos no projeto, começar a preparar a monografia.
Parte 6 - Novembro: terminar a monografia, preparar a apresentação.
| Atividades/Período |
Mar |
Abr |
Mai |
Jun |
Jul |
Ago |
Set |
Out |
Nov |
| Parte 1 |
x |
x |
|
|
|
|
|
|
|
| Parte 2 |
|
|
x |
|
|
|
|
|
|
| Parte 3 |
|
|
|
x |
|
|
|
|
|
| Parte 4 |
|
|
|
|
x |
x |
|
|
|
| Parte 5 |
|
|
|
|
|
|
x |
x |
|
| Parte 6 |
|
|
|
|
|
|
|
|
x |
Estrutura esperada da monografia
Introdução (Resumo do projeto e seus objetivos, exemplos de trabalhos de arte digital e visão computacional)
Conceitos e Ferramentas utilizadas (Programas e bibliotecas)
Implementação (Atividades realizadas, descrição da estrutura do programa)
Apresentação dos Resultados (Descrever o que foi desenvolvido e como isso pode ser aplicado)
Conclusão (Parte técnica)
Parte subjetiva
Bibliografia