A nagy nyelvi modellek alkalmazhatóságának áttekintése a hatósági eljárások során

Róbert Karsa; Imre Négyesi

doi:10.61790/vt.2024.15993

Karsa Róbert
Dr. habil. Négyesi Imre

DOI: https://doi.org/10.61790/vt.2024.15993

Kulcsszavak: mesterséges intelligencia, természetes nyelvfeldolgozás, nagy nyelvi modellek, közigazgatás, ekvivalencia-elv

Absztrakt

A mesterséges intelligencia és a gépi tanulás kutatásai az utóbbi években egyre inkább a természetes nyelvfeldolgozás (NLP) irányába mozdultak el, különösképpen a nagy nyelvi modellek (LLM) és a természetes nyelvi megértés (NLU) területén. Az NLP célja, hogy számítógépeket varázsoljunk képes különböző nyelvek megértésére és szöveges információk feldolgozására, ami forradalmi változásokat hozhat hasonlóan, mint annak idején a könyvnyomtatás vagy az internet elterjedése. A közigazgatásban jelentős előrelépések történtek a digitalizációs folyamatok terén, az online kommunikációs formák előtérbe kerülésével. Az ilyen újító technológiák, mint a GPT-3 és utódai, szövegértés, gépi fordítás és szövegek osztályozása révén javíthatják a hatósági döntéshozatalt és kommunikációt. A kutatás célja olyan módszerek kidolgozása, amelyekkel a nagy nyelvi modellek segítségével hatékonyabbá és átláthatóbbá tehetjük a közigazgatási hatósági eljárásokat és kapcsolattartási formákat. Kutatásunk során egy zárt rendszerben működő nyelvi modell létrehozására vállalkozunk, amely segítheti a katasztrófavédelmi hatósági feladatokat. Áttekintjük a nagy nyelvi modellek fejlesztését, különös figyelmet fordítva a transzformer-alapú modellek, mint a BERT és GPT alkalmazási lehetőségeire a szövegértésben és szöveggenerálásban. Bemutatjuk a közigazgatási hatósági eljárások folyamatait és azokat a pontokat, ahol a gépi tanulási módszerek hatékonyan alkalmazhatók. A kutatás során különös figyelmet fordítunk arra, hogy a nyelvi modelleket jogi szempontból is vizsgáljuk, garantálva a jogszerűség és átláthatóság megőrzését. Az eredmények alapján javaslatokat teszünk arra, hogyan lehet a nagy nyelvi modelleket hatósági eljárások keretében alkalmazni, biztosítva a hatékonyság és átláthatóság növelését a közigazgatási folyamatokban.

Hivatkozások

B. Hohmann, „Chatbotok a kormányzati platformok szolgálatában”, BELÜGYI SZEMLE: A BELÜGYMINISZTÉRIUM SZAKMAI TUDOMÁNYOS FOLYÓIRATA (2010-) 71 : 4, pp. 691-709., 2023.

D. Jurafsky és J. H. Martin, „Speech and Language Processing (3rd ed. draft)” 2023. [Online]. Elérhetőség: https://web.stanford.edu/~jurafsky/slp3/3.pdf (2023.11.01.)

A. Vaswani, „Attention Is All You Need,” Advances in Neural Information Processing Systems, pp. p./pp. 5998--6008, 2017.

T. Mikolov, „Efficient Estimation of Word Representations in Vector Space.,” 2013. [Online]. Elérhetőség: https://arxiv.org/pdf/1301.3781.

J. Chorowski, „Attention-based models for speech recognition.,” In Neural Information Processing Systems, p. pp. 577–585, 2015.

K. Hornik, M. Stinchcombe és W. Halbert, „Multilayer Feedforward Networks are Universal Approximators.,” Neural Networks. Vol. 2. Pergamon Press., p. pp. 359–366., 1989.

J. Devlin, „BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding.,” arXiv preprint, p. arXiv:1810.04805, 2018.

D. Nemeskei, „Értsük meg a magyar entitásfelismerő rendszerek viselkedését!,” XVII. Magyar Számítógépes Nyelvészeti Konferencia,, p. pp. 409–418. , 2021.

Z. G. Yang, „Automatikus összefoglaló generálás magyar nyelvre BERT modellel.,” XVI. Magyar Számítógépes Nyelvészeti Konferencia,, p. pp. 319–329., 2020.

A. N. K. S. T. &. S. I. Radford, „Improving language understanding by generative pre-training.,” 2018.

A. Luccioni, „Estimating the carbon footprint of BLOOM, a 176B parameter language model.,” arXiv (Cornell University)., 2022.

Á. Feldmann, „HILBERT, magyar nyelvű BERT-large modell tanítása,” XVII. Magyar Számítógépes Nyelvészeti Konferencia, pp. pp. 29-36., 2021.

H. Touvron, „Llama 2: Open foundation and Fine-Tuned chat models,” arXiv.org, 2023b.

Z. G. a. D. Yang, „Jönnek a nagyok! BERT-Large, GPT-2 és GPT-3 nyelvmodellek magyar nyelvre,” XIX. Hungarian Computational Linguistics Conference, pp. 247--262, 2023.