Dentre os projetos contemplados na chamada da Fapemig voltada para a consolidação de redes de pesquisa científica e desenvolvimento tecnológico com foco em demandas estratégicas, está a ReINVenTA – Research and Innovation Network for Visual and Textual Analysis of Multimodal Objects. Com o aporte de R$ 1.053.924,96, a rede consolida e estrutura a parceria científica entre a Universidade Federal de Juiz de Fora (UFJF), a Universidade Federal de Minas Gerais (UFMG), a Universidade Federal de Uberlândia (UFU) e a Pontifícia Universidade Católica de Minas Gerais (PUC-MG).

Coordenada pelo professor da Faculdade de Letras da Universidade Federal de Juiz de Fora, Tiago Torrent, a rede visa investigar aplicações e propor um modelo semântico-computacional da FrameNet que seja capaz de representar a semântica de objetos multimodais. “Isso significa que temos por objetivo criar uma base de dados modelada computacionalmente a partir da qual uma máquina possa ser treinada para fazer inferências sobre o significado de fotolegendas e programas de TV, por exemplo”, comenta.

O pesquisador explica que os objetos multimodais correspondem a fenômenos muito complexos que envolvem vários aspectos, como textos, vídeos, fotos, gráficos e outros elementos semióticos. Um programa de TV é um exemplo, uma vez que envolve questões variadas no processamento semântico de seu significado. Para isso, deve-se levar em conta o tratamento da imagem, do áudio, do texto e a correlação entre eles.

“Quando estou assistindo a um programa de TV, por mais que eu não preste atenção em todos os detalhes, porque estou imerso naquela atividade de entretenimento, existem várias semioses, vários modos de comunicação envolvidos que formam o vídeo: tem a trilha sonora; a língua que é falada; trechos de entrevista ou de narração (e se essa narração está sendo feita com o narrador na tela, se ela está sendo feita em off, entre outros). Existem, portanto, vários modos de comunicação que estão sendo ali mobilizados para aquela experiência”, sintetiza.

No âmbito da UFJF, as ações se concentram no Laboratório de Linguística Computacional (FrameNet Brasil), que completou uma década em 10 de junho. “O laboratório FrameNet Brasil conta na sua equipe com pessoas altamente especializadas em mobilizar ferramentas computacionais, métodos e técnicas computacionais para desenvolver soluções de compreensão de língua natural dentro de um paradigma específico, que é o paradigma da linguística cognitiva.”

Inteligência Artificial para extrair significado
A pergunta central da pesquisa é como extrair significado desses objetos multimodais. Em outras palavras, como se propõem relações entre o que é falado, o que é mostrado e as escolhas de edição? A proposta da ReINVenTA, de acordo com os pesquisadores, é criar um modelo de como isso é feito ou de como pode ser feito em um ambiente computacional.

Em um primeiro momento, irá se construir um conjunto de dados (um dataset) que seja semanticamente anotado para inserir etiquetas (por exemplo, em programas de TV, em filmes, em fotolegendas) que representam a semântica desses elementos ou o significado desses objetos de uma forma legível por um computador. “Depois, vamos desenvolver um conjunto de modelos de inteligência artificial (de algoritmos) que possam ser treinados nesse conjunto de dados para, quando expostos a outro programa de televisão, anotar esse programa semanticamente sozinhos; quer dizer, extrair significado dele de alguma forma. A partir disso, se pode ter uma série de aplicações”, observa.

Torrent informa que a ReINVenTA também tem outros dois objetivos correlacionados. “Como parte do nosso dataset é composto de objetos multimodais com tecnologias assistivas, prevemos usar vídeos com audiodescrição. Também queremos validar esse modelo para que seja plausível do ponto de vista cognitivo, então temos uma parceria com outro laboratório do Programa de Pós-Graduação em Linguística (PPG Linguística), o Núcleo de Estudos em Aquisição da Linguagem e Processamento Linguístico. A expectativa é fazer um conjunto de experimentos com eyetracking para ver como as pessoas observam, por exemplo, um programa de TV: se o foco de atenção visual muda quando entra um áudio. Então, tem também essa dimensão de medir a plausibilidade cognitiva desse modelo.”

Novos recursos para consolidar parcerias
Aproximadamente metade do valor do orçamento destinado à rede ReINVenTA será alocado no laboratório multiusuário de alto desempenho da UFJF, chamado Rede Integrada de Pesquisa em Alta Velocidade (RePesq), coordenado pelo professor Marcelo Moreno. “Isso é muito positivo porque essa infraestrutura será usada não só pela ReINVenTA, mas também compartilhada por diversos programas de pós-graduação e projetos de pesquisa da UFJF que fazem uso de computação de alto desempenho”, adianta Torrent.

A outra parte do aporte financeiro será investida na contratação de pesquisadores especializados e na modernização do parque tecnológico do FrameNet Brasil, bem como na organização de eventos e workshops, uma vez que a ReINVenTA também se dedicará à formação de recursos humanos.

Pesquisa está alinhada aos ODS da ONU
A Coordenação de Divulgação Científica da Diretoria de Imagem Institucional, em parceria com a Pró-Reitoria de Pós-Graduação e Pesquisa (Propp), está promovendo uma estratégia de fortalecimento das ações de pesquisa da Universidade, mostrando que estão alinhadas aos Objetivos de Desenvolvimento Sustentável (ODS) da Organização das Nações Unidas (ONU). Os ODS são um apelo global à ação para acabar com a pobreza, proteger o meio ambiente e o clima e garantir que as pessoas, em todos os lugares, possam desfrutar de paz e de prosperidade.

A rede de pesquisa citada nesta matéria está alinhada aos ODS 9 (Indústria, inovação e infraestrutura), relacionado à construção de infraestruturas resilientes, ao fomento a inovação e à promoção da industrialização inclusiva e sustentável, e ao ODS 17 (Parcerias e meios de implementação), voltado para fortalecer os meios de implementação e revitalizar a parceria global para o desenvolvimento sustentável. Confira a lista completa no site da ONU.

Outras informações:
FrameNet Brasil
Twitter e Instagram oficiais do FrameNet Brasil

Confira a divulgação das outras redes
Nanobiomabs: UFJF integra redes de pesquisa contempladas em edital da Fapemig 
RMMAT-MG: UFJF está entre as instituições da Rede Mineira de Matemática
Nanogene: Nanotecnologia como aliada no desenvolvimento de vacinas e medicamentos

• facebook
• twitter
• email
• WhatsApp