Bielik i GPT w analizie polskiego prawa karnego: wpływ RAG i grafów wiedzy na jakość odpowiedzi

Rozwój dużych modeli językowych stwarza nowe możliwości wspomagania wyszukiwania i analizy informacji prawnych. Problemem pozostaje ryzyko, że modele generują wiarygodnie brzmiące odpowiedzi, które nie mają podstaw w przepisach lub orzecznictwie, zwłaszcza gdy trzeba połączyć informacje z kilku źródeł prawnych. Celem badania było porównanie jakości odpowiedzi modeli językowych na pytania z zakresu polskiego prawa karnego z wykorzystaniem różnych sposobów dostępu do wiedzy zewnętrznej. Analizie poddano 4 warianty: model bez kontekstu; Retrieval-Augmented Generation (RAG) oparty na wyszukiwaniu wektorowym; rozwiązanie wykorzystujące graf wiedzy oraz architekturę hybrydową łączącą wyszukiwanie wektorowe i grafowe. Badanie obejmowało ocenę podobieństwa semantycznego i kompletności odpowiedzi, jakości wyszukiwania źródeł oraz zdolności do rozpoznawania braku informacji w korpusie. Szczególną uwagę poświęcono pytaniom wymagającym łączenia informacji pochodzących z wielu źródeł.