Learning Citation-Aware Representations for Scientific Papers

Abstract

In the field of Natural Language Processing (NLP), the tasks of understanding and generating scientific documents are highly challenging and have been extensively studied. Comprehending scientific papers can facilitate the generation of their contents. Similarly, understanding the relationships between scientific papers and their citations can be instrumental in generating and predicting citations within the text of scientific works. Moreover, language models equipped with citation-aware representations can be particularly robust for downstream tasks involving scientific literature. This thesis aims to enhance the accuracy of citation predictions within scientific texts. To achieve this, we hide citations within the context of scientific papers using mask tokens and subsequently pre-train the RoBERTa-base language model to predict citations for these masked tokens. We ensure that each citation is treated as a single token to be predicted by the mask-filling language model. Consequently, our models function as language models with citation-aware representations. Furthermore, we propose two alternative techniques for our approach. Our base technique predicts citations using only the contexts from scientific papers, while our global technique incorporates the titles and abstracts of papers alongside the contexts to improve performance. Experimental results demonstrate that our models significantly surpass the state-of-the-art results on two out of four benchmark datasets. However, for the remaining two datasets, our models yield suboptimal results, indicating potential for further improvement. Additionally, we conducted experiments on sampled datasets to examine the effects of inherent factors on the datasets and to identify correlations between these factors and our results.Doğal Dil İşleme alanında, bilimsel belgelerin anlaşılması ile ilgili çalışmalar büyük zorluklar içermektedir ve derinlemesine incelenmeye ihtiyaç duymaktadır. Bilimsel makalelerin anlaşılması, içeriklerinin daha etkin bir şekilde oluşturulmasını sağlayabilir. Ayrıca, bilimsel makaleler ile içlerindeki alıntıları arasındaki ilişkinin anlaşılması, bilimsel metinlerde alıntı oluşturma ve tahmin etme süreçlerinde önemli bir rol oynayabilir. Alıntı yapılarını dikkate alan gösterimlere sahip dil modelleri, bilimsel literatürle ilgili diğer görevlerde de önemli etkilere sahip olabilir. Bu tez, bilimsel metinlerdeki alıntı tahminlerinin doğruluğunu artırmayı hedeflemektedir. Bu hedef doğrultusunda, bilimsel makalelerden alınan kesitlerde maskeler kullanılarak alıntılar gizlenmiş ve ardından bu maskeleri tahmin etmek için RoBERTa-base dil modeli daha fazla eğitilmiştir. Her bir alıntının, maske dolduran dil modelleri tarafından tek bir maske için tahmin edilebilecek şekilde olması gerekmektedir. Bu süreç sonunda, modellerimiz alıntıları dikkate alan gösterimlere sahip olmuştur. Ayrıca, bu çalışmada alıntı tahmini için iki alternatif teknik geliştirilmiştir. Temel tekniğimiz sadece bilimsel makalelerdeki paragraf kesitlerini kullanarak alıntıları tahmin ederken, küresel tekniğimiz makalelerin başlıklarını ve özetlerini de kullanarak alıntıları tahmin etmeyi hedeflemektedir. Küresel modelimizin sahip olduğu ek bilgiler sayesinde başarısını artırması beklenmektedir. Deneysel sonuçlar, önerdiğimiz modellerin dört kıyaslama veri kümesinden ikisinde en son teknoloji sonuçlarını önemli ölçüde aştığını göstermektedir. Ancak, diğer iki veri kümesinde modellerimiz beklenenden düşük performans sergilemiş ve yöntemimizin daha fazla iyileşme potansiyeline sahip olduğunu göstermiştir. Ek olarak, veri kümelerinin özünde olan faktörlerinin etkilerini incelemek ve bu faktörler ile sonuçlarımız arasındaki ilişkileri belirlemek amacıyla örneklenmiş veri kümeleri kullanılarak da ek deneyler gerçekleştirilmiştir.