Fechar menu lateral

ReINVenTA

O que é a ReINVenTA?

ReINVenTA é uma rede mineira de pesquisa em processamento semântico computacional de objetos multimodais. Dessa forma, reune projetos de pesquisa que se dedicam a construir e avaliar um modelo computacional de representação de objetos como programas de TV e pareamentos de imagens estáticas e texto. Para tanto, mobiliza laboratórios e grupos de pesquisa da UFJF, UFMG, UFU e PUC-MG com expertise em Desenvolvimento de Modelos para Compreensão de Língua Natural, Inteligência Artificial, Descoberta de Conhecimento e Tecnologias Assistivas. Com essa confluência de expertises e projetos a rede ReINVenTA espera alcançar:

  1. a expansão da cobertura do modelo da FrameNet para o português brasileiro;
  2. a constituição de um gold standard dataset de objetos multimodais anotados semanticamente e validado psicolinguisticamente;
  3. o desenvolvimento de algoritmos de inteligência artificial para rotulação automática e descoberta de conhecimento em objetos multimodais
  4. a proposição de melhores práticas para a audiodescrição de vídeos.

Qual a natureza do dataset produzido?

Até o presente momento, o dataset da ReINVenTA compõe-se de 3 subcorpora:

Frame²

Composto pelos dez episódios da primeira temporada do TV Travel Log Pedro pelo Mundo, exibido pelo canal GNT. Foi anotado para frames, elementos de frames e categorias de objetos reconhecíveis por algoritmos de visão computacional para as modalidades de vídeo, áudio original e legendas.

>Baixe o dataset.

Audition

Composto de curtas-metragens audiodescritos e legendados com closed captions. Está sendo anotado para frames, elementos de frames e categorias de objetos reconhecíveis por algoritmos de visão computacional para as modalidades de vídeo, áudio original, audiodescrição, closed captions e legendas.

Framed Multi 30k

Expansão do dataset Multi 30k para o Português do Brasil, com a adição de 5 descrições de imagens originalmente produzidas em português e 1 descrição traduzida do inglês para cada uma das cerca de 30 mil imagens do dataset Flickr 30k. Conta, ainda com a anotação automática para frames de todas as legendas em inglês e em português, além da anotação manual, para frames e elementos de frame, de bounding boxes desenhadas nas imagens no âmbito do dataset Flickr 30k Entities.

>Baixe o dataset.

Qual o status atual do projeto?

Acesse o Dashboard da ReINVenTA para acompanhar o progresso da anotação em tempo real.