Investigating an in-context learning approach for SPARQL query generation

Abstract

Large Language Models (LLMs) have demonstrated strong performance across a wide range of natural language processing tasks. Among adaptation strategies, fine-tuning is effective but computationally expensive, while in-context learning (ICL) offers a cheaper and more flexible alternative, particularly appealing for enterprise settings where finetuning is often impractical. Knowledge Graph Question Answering (KGQA) aims to generate factual answers to natural language (NL) questions by querying structured data in knowledge graphs (KGs). A central challenge is translating NL questions into accurate SPARQL queries for a given KG, a task referred to as text-to-SPARQL. Despite the growing interest in ICL, its effectiveness for SPARQL query generation remains underexplored. This study investigates the viability of using ICL with an instruction-tuned LLM approach for text-to-SPARQL, focusing on how different prompt example selection strategies impact performance. We conducted experiments using the LC-QuAD 1.0 benchmark and a 70-billion-parameter LLM. We analyze results by running the generated queries, comparing answers using the Mean F1-score and BLEU metrics, and investigating the causes of errors. Additionally, we introduce RSE (Restricted Structural Equivalence), a metric designed to assess the equivalence of SPARQL queries under a set of structural and semantic criteria. Our results show that even a few prompt examples significantly improve performance, but gains saturate beyond 10 examples. Similarity-based example selection outperformed diversity-based selection, and supplying URIs from the target query’s entities produced the most substantial improvements. These findings highlight entity disambiguation as the main challenge for LLM-based SPARQL generation and reinforce the importance of example relevance over quantity.

Modelos de Linguagem de Grande Escala têm demonstrado um desempenho notável em ampla variedade de tarefas de processamento de linguagem natural. Entre as estratégias de adaptação a tarefas específicas, o ajuste fino é eficaz, porém computacionalmente custoso, enquanto o aprendizado por contexto oferece alternativa mais barata e flexível, especialmente atrativa em ambientes corporativos onde o ajuste fino geralmente é inviável. A área de KGQA (do inglês Knowledge Graph Question Answering) busca gerar respostas factuais para perguntas em linguagem natural, por meio de consultas a dados estruturados em grafos de conhecimento. Um dos principais desafios é traduzir perguntas em linguagem natural para consultas SPARQL precisas relacionadas a um KG específico, tarefa conhecida como text-to-SPARQL. Apesar do crescente interesse pela abordagem de aprendizado por contexto, sua eficácia para geração de consultas SPARQL permanece pouco explorada. Neste estudo, investigamos a viabilidade do uso de uma abordagem baseada em aprendizado por contexto para text-to-SPARQL utilizando LLMs previamente ajustados com instruções, com foco em como diferentes estratégias de seleção de exemplos nos prompts afetam o desempenho. Conduzimos experimentos utilizando o benchmark LC-QuAD 1.0 e um LLM com 70 bilhões de parâmetros. Analisamos os resultados executando as consultas geradas, comparando as respostas usando as métricas Mean F1-score e BLEU, e investigando as causas de erros. Ademais, introduzimos a RSE (Restricted Structural Equivalence), uma métrica projetada para avaliar a equivalência de consultas SPARQL sob um conjunto de critérios estruturais e semânticos. Nossos resultados mostram que mesmo poucos exemplos no prompt melhoram significativamente o desempenho, mas os ganhos se estabilizam após 10 exemplos. A seleção de exemplos baseada em similaridade superou a baseada em diversidade, enquanto a inclusão de URIs de referência resultou nas melhorias mais significativas. Esses achados destacam a desambiguação de entidades como o principal desafio para a geração de consultas SPARQL com LLMs e reforçam a importância da relevância dos exemplos em detrimento da quantidade.