Generating process descriptions from BPMN models : towards an approach with Large Language Models

Abstract

Business process models are effective ways of describing and documenting processes within an organization. However, discovering such processes in a Business Process Man agement (BPM) project is a challenging and time-consuming task. Domain experts are not familiar with process model notation, such as the Business Process Model and No tation (BPMN), so verbalization techniques must be employed for process validation. Automated techniques using Natural Language Processing (NLP) have been proposed for process description generation, and they have been proven effective and reliable. Gener ative AI is a burgeoning field that has shown unprecedented advances in the development of Large Language Models (LLMs) that have surpassed most state-of-the-art approaches for general-purpose problem-solving. Most recent LLMs are capable of complex rea soning, even with long inputs. In this study, we conduct a comparative study between traditional NLP process description generation techniques and a new approach based on LLMs. We investigate whether current LLMs are capable of generating a process descrip tion from a BPMN model. Through a complementary experimental study, we investigate the effects of process model complexity and prompting techniques on the resulting tex tual complexity. We conclude that current LLMs aren’t ready yet to be used for process description generation. Our experimental study showed that LLMs confidently generate process descriptions of up to 25 process elements and 17.3 sequence flows, after which an AI safety mechanism is triggered and a refusal is returned. However, our compara tive study presents empirical evidence that the LLM’s actual capabilities fall short of its self-assessment. For process models below this threshold, the generated description still contained errors. Finally, we establish a new research direction for the process description generation problem. We propose a hybrid approach that combines the structural correct ness of NLP techniques with the reasoning capabilities of LLMs.

Modelos de processo de negócio são técnicas eficientes para descrever e documentar pro cessos em uma organização. No entanto, a descoberta desses processos em uma iniciativa de Gerenciamento de Processos de Negócio (Business Process Management - BPM) é de safiador e pode demandar muito tempo. Especialistas de domínio não são familiarizados com notação de modelagem de processos, tal como a Notação e Modelo de Processos de Negócio (Business Process Model and Notation - BPMN), e técnicas de verbalização precisam ser utilizadas para a validação de processos. Técnicas automáticas que utili zam Processamento de Linguagem Natural (Natural Language Processing - NLP) para a geração de descrição de processos foram propostas, e se provaram efetivas e confiáveis. IA generativa é um campo de pesquisa em ascensão que mostrou avanços no desenvolvi mento de Grandes Modelos de Linguagem (Large Language Models - LLMs), superando as abordagens existentes na literatura para sistemas de soluções de probemas de propósito geral. As LLMs mais recentes são capazes de raciocínio avançado, mesmo com entradas longas. Nesse estudo, conduzimos uma estudo comparativo entre técnicas tradicionais de NLP para geração de descrições de processo a partir de modelos BPMN e uma nova técnica baseada em LLMs. Nosso objetivo é investigar se LLMs são capazes de gerar descrições de processo a partir de modelos BPMN, e os efeitos causados por diferentes complexidades de modelos de processo e diferentes técnicas de prompt. Esses efeitos são avaliados através de um estudo experimental complementar sobre métricas de comple xidade sintática dos textos resultantes. Concluímos que LLMs ainda não estão prontos para serem usados para geração de descrições de processo. Nosso estudo experimental mostrou que LLMs geram de maneira confiante descrições de processo até 25 elementos de processo e 17.3 fluxos de sequência. Modelos de processo maiores que esse limiar ativam mecanismos de segurança de IA e são retornados com uma recusa de processa mento. No entanto, nosso estudo comparartivo apresentou evidência empíricas de que a capaciadade real de geração de descrições de processo é menor que o limiar imposto pelo próprio LLM. Por fim, apresentamos as limitações do nosso trabalho, e direções futuras.