Caracterização dos níveis intermediário e avançado superior do exame Celpe-Bras em produções escritas de examinandos no gênero carta/e-mail : contribuições de uma análise guiada por corpus

Abstract

O uso de ferramentas de linguística de corpus tem se destacado, recentemente, como um importante recurso para analisar grandes quantidades de textos, como no caso de produções escritas em testes de proficiência em língua adicional em larga escala. Cushing (2022) destaca que, nesse contexto, análises utilizando corpora podem contribuir com a diferenciação e descrição de diferentes níveis de proficiência. Sendo assim, este estudo teve como objetivo contribuir com a caracterização dos níveis Intermediário e Avançado Superior do Celpe-Bras (Certificado de Proficiência em Língua Portuguesa para Estrangeiros) em produções escritas de examinandos no gênero carta/e-mail. O estudo analisou, à luz da linguística de corpus, um total de 400 textos escritos em resposta às Tarefas 3 das edições 2015/2 e 2017/1 do Celpe-Bras, que foram avaliados com nota 2 e nota 5 no exame. As produções foram divididas em quatro subcorpora de 100 textos para cada tarefa e nota, e analisadas usando as ferramentas do software Sketch Engine (KILGARRIFF et al., 2004), com base no estudo de Divino (2021). Os principais recursos utilizados foram as keywords e as wordlists de cada subcorpora, que foram comparadas para chegar aos resultados. A partir dos dados obtidos, observou-se que os textos avaliados com nota 5 são mais extensos que os avaliados com nota 2, porém apresentam menor riqueza lexical, resultado diferente do esperado e que pode ter sido influenciado pela presença de muitas inadequações ortográficas nos textos de nota 2, identificadas pelo software como palavras diferentes. Além disso, os textos avaliados com nota 5 mobilizam mais recursos para adequar suas produções no que diz respeito à relação de interlocução proposta pelo enunciado das tarefas e à construção do gênero carta/e-mail, o que corrobora os estudos de Divino (2021) e Mendel (2019). Termos que explicitam o interlocutor e o propósito dos textos são observados com maior frequência nos corpora de nota 5, assim como as saudações e despedidas que caracterizam as cartas/e-mails. Há também uma forte relação das produções que foram avaliadas com ambas as notas (2 e 5) com o enunciado e o texto de insumo, visto que os textos apresentam uma grande quantidade de termos copiados do material fornecido pela tarefa. Os resultados obtidos demonstram a operacionalização dos parâmetros de avaliação da Parte Escrita do Celpe-Bras (BRASIL, 2020a) e contribuem para uma compreensão mais ampla de como esse processo ocorre, podendo ter implicações pedagógicas e para a elaboração e avaliação do exame.

The use of corpus linguistics tools has increased recently as an important resource to analyze large amounts of texts, as in written productions of large scale proficiency tests. Cushing (2022) highlights that, in this context, corpus analysis can contribute to distinguishing and describing different proficiency levels. Hence, this study aims to contribute to characterizing the Intermediate and Upper Advanced proficiency levels of Celpe-Bras (Certificate of Proficiency in Portuguese as an Additional Language) in written productions of examinees in the letter/e-mail genre. The study analyzed 400 texts written as answers to Tasks 3 of the 2015/2 and 2017/1 editions of the exam, assessed with grades 2 and 5. The productions were divided in four subcorpora made of 100 texts each, from each grade and task, and analyzed using Sketch Engine (KILGARRIFF et al., 2004), based on the research carried out by Divino (2021). The main resources used were keywords and wordlists extracted from each subcorpus, that were compared in order to obtain the results. The data revealed that texts graded 5 are longer than texts graded 2, but, different from what was expected, reveal less lexical sophistication, which might be due to a large amount of spelling inadequacies in texts graded 2, identified by the software as different words. Furthermore, texts graded 5 mobilize more resources to make their texts adequate when it comes to genre, configuration of the interlocution and communicative purpose, which corroborates Divino (2021) and Mendel (2019). Words that make the interlocutor and the communicative purpose explicit are more frequent in texts graded 5, as well as the greetings and farewells, which characterize the letter/e-mail genre. There is also a strong relation between the productions graded 2 and 5 and the rubrics and source material, as the texts copy a large amount of terms from the task material. Results corroborate the operationalization of the Celpe-Bras Written Part assessment parameters (BRASIL, 2020a), and contribute to a wider comprehension of how this process happens, bringing pedagogical implications and influencing the elaboration and assessment process.