Programa de Pós-Graduação em Linguística

2 de julho de 2024

Sem categoria

Convite defesa de Tese: Marcelo Barros Custodio – 16/07/2024, às 9:00h

Título da Tese:	Framed Multi30K: Um dataset multimodal-multilíngue baseado em semântica de frames
Resumo da tese:	A combinação de diferentes modalidades de comunicação é uma das características definidoras da expressão humana, no entanto, muitas pesquisas voltam seus esforços para a análise da semântica de textual e imagética de forma isolada. Nas últimas décadas, sistemas que processam dados de imagem e texto de forma correlacionada vêm sendo aplicados em tarefas computacionais como recuperação de dados \textit{(data retrieval)}, tradução automática \textit{(machine translation)} e criação de legendas \textit{(captioning)}. Nesse trabalho, partimos da premissa de que o desenvolvimento de tais aplicações computacionais pode se beneficiar de um melhor entendimento dos significados que se estabelecem a partir de combinação de informações textuais e visuais. Em particular, esta tese contribui com um dataset inovador que agrega a uma família de datesets padrão ouro para o PLN multimodal––Flickr30k, Multi30k e Flickr30k Entities––informação semântica estruturada em termos de frames, conforme modelados na FrameNet Brasil. O dataset resultante, denominado Framed Multi30k, contribui os seguintes dados inovadores: (i) 150,000 descrições conceituais originalmente redigidas em português brasileiro para cada uma das 30,000 imagens no dataset Flickr30k; (ii) 30,000 traduções para o português brasileiro de uma das descrições originalmente escritas em inglês para cada uma das imagens no Flickr30k; (iii) anotações automáticas para frames de todas as descrições conceituais constantes do dataset para o português brasileiro e para o inglês, totalizando 330,000 descrições anotadas semanticamente; (iv) anotações manuais para cada uma das 280,000 \textit{bounding boxes} contidas no Flickr30k Entities. O dataset resultante foi avaliado para aspectos formais das descrições definidas criadas em português brasileiro e para a similaridade de cosenos entre as representações semânticas derivadas das anotações automáticas e manuais realizadas para as descrições e imagens, respectivamente.
Data e horário	Dia 16 de julho de 2024, às 09:00 horas no Laboratório da FrameNet.

COMPOSIÇÃO DA BANCA:

	Nome do(a) Prof.(a)	Título e instituição	Vínculo institucional	Função na banca
01	Tiago Timponi Torrent	Doutor/UFRJ	UFJF	Orientador e Presidente
02	Ely Edison da Silva Matos	Doutor/ UFJF	UFJF	Membro Titular Interno
03	Aline Alves Fonseca	Doutora/ UFMG	UFJF	Membro Titular Interno
04	Adriana Silvina Pagano	Doutora/ UFMG	UFMG	Membro Titular Externo
05	Helena de Medeiros Caseli	Doutora/ USP	UFSCAR	Membro Titular Externo
06	Patrícia Nora de Souza Ribeiro	Doutora/ Unicamp	UFJF	Suplente Interno
07	André Vinícius Lopes Coneglian	Doutor/ Mackenzie	UFMG	Suplente Externo