Desenvolvimento de um framework com estratégias de avaliação de agentes conversacionais educacionais

Abstract

O crescimento das tecnologias de informação e comunicação tem demonstrado uma série de ferramentas desenvolvidas para as mais diversas finalidades, entre elas, as ferramentas que possibilitam o envio de mensagens instantâneas e proporcionam uma comunicação em tempo real, como é o caso dos agentes conversacionais, que permitem a participação e intervenção dos sujeitos, promovendo, dessa forma, a interação de um para um. Um agente conversacional mantém um diálogo com quem o utiliza, por meio de perguntas realizadas pelo estudante, mediante texto, simulando um tutor pedagógico que provê suporte ao ensino de conteúdo. De fato, avaliar e construir agentes conversacionais educacionais é um desafio, pois, atualmente, o uso de agentes demanda referências específicas para apoiar a avaliação de agentes conversacionais educacionais por conta de métricas de avaliação da qualidade de software. Nesse sentido, a pesquisa desenvolvida na presente tese resultou na construção de um framework com métricas de avaliação de software, passíveis de serem usadas na avaliação de chatbots em contexto educacional. O conjunto destas métricas foi pensado também como apoio para orientar a construção de um agente conversacional educacional. O framework envolveu métricas de avaliação de software da NBR-ISO IEC-25010 e métricas de trabalhos relacionados que abordam a avaliação de agentes conversacionais. Ademais, um aplicativo web, denominado ChatAval, foi desenvolvido com a finalidade de automatizar a definição das funcionalidades de categorias, métricas, avaliações e de apoiar a criação de questionário e entrega das avaliações com indicadores resultantes das respostas já calculadas automaticamente. O procedimento metodológico adotado neste estudo consiste em uma pesquisa exploratória e descritiva, caracterizada por procedimentos bibliográficos, documentais e estudo de caso. O estudo de campo envolveu alunos do Curso Técnico em Informática para Internet do Senac, unidade São Leopoldo-RS, com os quais foi trabalhado o uso dos agentes conversacionais METIS, ATENA e ALTEIA, que já vêm sendo estudados e desenvolvidos no contexto do Projeto AVATAR (Ambiente Virtual de Aprendizagem e Trabalho Acadêmico Remoto), da Universidade Federal do Rio Grande do Sul. O framework foi validado por um conjunto de especialistas. Neste trabalho, foram considerados especialistas os profissionais que atuam com Tecnologia da Informação e não têm vivências ou experiências na docência; professores de diversas áreas da educação, mas que usam as tecnologias no contexto de suas disciplinas; e profissionais formados nas áreas de Ciência da Computação, Sistemas de Informação, Licenciatura em Computação e outras formações, os quais atuam como docentes na área de Tecnologia da Informação. A coleta de dados envolveu três fases: levantamento do perfil dos sujeitos; atividades práticas de programação com os alunos, a fim de realizar um teste piloto nas funcionalidades do ChatAval a partir da avaliação dos agentes METIS, ATENA e ALTEIA; e a avaliação e validação das métricas que compõem o framework pelos especialistas. Os resultados das Fases 1 e 2 apontam que as funcionalidades do ChatAval foram validadas com sucesso. Já em relação ao resultado do framework, nenhum dos especialistas rejeitou ou sugeriu que fosse excluída uma determinada métrica, mas que fossem realizados pequenos ajustes em relação ao texto ou realocação para uma outra categoria, o que demonstra que as métricas com origem dos trabalhos relacionados, bem como as métricas da ISO/IEC 25010 atenderam, de forma satisfatória, a composição do framework.

The growth of information and communication technologies has demonstrated a series of tools developed for the most diverse purposes, among them, the tools that make it possible to send instant messages and provide real-time communication, as is the case of conversational agents, which allow the participation and intervention of subjects, thus promoting one-to-one interaction. A conversational agent maintains a dialogue with the user through questions asked by the student using text, simulating a pedagogical tutor that supports the teaching of content. Indeed, evaluating and building educational conversational agents is a challenge, as currently the use of agents demands specific references to support the evaluation of educational conversational agents due to software quality assessment metrics. In this sense, the research developed in this thesis resulted in the construction of a framework with software evaluation metrics, which can be used in the evaluation of chatbots in an educational context. The set of these metrics was also thought of as support to guide the construction of an educational conversational agent. The framework involved software evaluation metrics from NBR-ISO IEC-25010 and metrics from related works that address the evaluation of conversational agents. In addition, a web application called ChatAval was developed with the purpose of automating the definition of the functionalities of categories, metrics, evaluations, as well as to support the creation of a questionnaire and delivery of evaluations with indicators resulting from the answers already calculated automatically. The methodological procedure adopted in this study consists of an exploratory and descriptive research characterized by bibliographic and documentary procedures and a case study. The field study involved students from the Technical Course in Computer Science for the Internet at Senac, São Leopoldo-RS unit, with whom the use of Conversational Agents METIS, ATENA and ALTEIA, which have already been studied and developed in the context of the AVATAR Project (Virtual Learning Environment and Remote Academic Work), from the Federal University of Rio Grande do Sul. The framework was validated by a group of experts. In this work, professionals who work with Information Technology and do not have teaching experiences were considered specialists; teachers from different areas of education, but who use technologies in the context of their disciplines; and professionals trained in the areas of Computer Science, Information Systems, Degree in Computing and other training, who act as professors in the area of Information Technology. Data collection involved three phases: survey of the subjects' profile; practical programming activities with the students, in order to carry out a pilot test on ChatAval 's functionalities based on the evaluation of the agents METIS, ATENA and ALTEIA; and the evaluation and validation of the metrics that make up the framework by specialists. Results from Phases 1 and 2 indicate that the ChatAval features were successfully validated. Regarding the result of the framework, none of the experts rejected or suggested that a certain metric be excluded, but rather that there were small adjustments in relation to the text or reallocation to another category, which demonstrates that the metrics with origin of the related works, as well as the metrics of ISO/IEC 25010 satisfactorily met the composition of the framework.