Enrichment of Turkish Question Answering Systems Using Knowledge Graphs

Abstract

In the era of digital communication, the ability to effectively process and interpret human language has become a key research area. Natural Language Processing (NLP) has emerged as a field that enables machines to better understand and analyze human language. One of the most important applications of NLP is the development of question answering systems, which are essential in various domains such as customer service, search engines, and chatbots. To answer incoming queries, question answering systems rely on knowledge graphs as a reliable source. This thesis proposes a Turkish Question Answering (TRQA) system that utilizes a knowledge graph. The research focuses on the automatic construction of a knowledge graph specific to the film industry, as well as the creation of a multi-hop question-answering dataset that can be queried from this graph. Building upon these constructions, we develop a deep learning based method for answering questions using the constructed knowledge graph. The constructed knowledge graph is compared with various knowledge graphs presented in the literature using DistMult, ComplEx and SimplE methods for the link prediction task. Additionally, the proposed question answering system is compared with the baseline study and compared with a generative large language model through quantitative and qualitative analyses.

Dijital iletişim çağında, insan dilini etkili bir şekilde işleme ve yorumlama yeteneği önemli bir araştırma alanı haline gelmiştir. Doğal Dil İşleme, makinelerin insan dilini daha iyi anlamalarını ve analiz etmelerini sağlayan bir alan olarak ortaya çıkmıştır. Doğal Dil İşleme'nin en önemli uygulamalarından biri, müşteri hizmetleri, arama motorları ve sohbet botları gibi çeşitli alanlarda önemli olan soru cevap sistemlerinin geliştirilmesidir. Gelen sorgulara cevap verebilmek için soru cevaplama sistemleri, güvenilir bir kaynak olarak bilgi çizgelerinden yararlanır. Bu tez, bilgi çizgesi kullanan bir Türkçe soru-cevap sistemini önermektedir. Çalışma, film endüstrisi ile ilgili bir bilgi çizgesinin otomatik olarak oluşturulmasına odaklanmakta, ayrıca bu bilgi çizgesi üzerinden sorgulanabilen çoklu adımlı bir sorucevap veri kümesi oluşturulmasını kapsamaktadır. Bu iki oluşuma dayanarak, oluşturulan bilgi çizgesi kullanılarak derin öğrenme tabanlı bir soru-cevap yöntemi geliştirilmiştir. Oluşturulan bilgi çizgesi, bağlantı tahmini görevi için DistMult, ComplEx ve SimplE yöntemlerini kullanarak literatürde yer alan çeşitli bilgi çizgeleri ile karşılaştırılmıştır. Ek olarak, önerilen cevap sistemi, hem referans alınan çalışma ile karşılaştırılmış olup, hem de üretken büyük dil modeli ile nicel ve nitel analizler yoluyla karşılaştırılmıştır.