Будь ласка, використовуйте цей ідентифікатор, щоб цитувати або посилатися на цей матеріал:
http://elartu.tntu.edu.ua/handle/lib/37922| Назва: | Моделювання української мови з використанням нейронних мереж |
| Інші назви: | Modelling of Ukrainian language with neural networks |
| Автори: | Хом’як, Андрій Сергійович Khomiak, Andrii Serhiyovych |
| Приналежність: | ТНТУ ім. І. Пулюя, Факультет комп’ютерно-інформаційних систем і програмної інженерії, Кафедра комп’ютерних наук, м. Тернопіль, Україна |
| Бібліографічний опис: | Хом’як А. С. Моделювання української мови з викоистанням нейронних мереж : кваліфікаційна робота освітнього рівня „Магістр“ „122 – комп’ютерні науки“ / Хом’як А. С. – Тернопіль : ТНТУ, 2022. – 107 с. |
| Дата публікації: | 27-тра-2022 |
| Дата подання: | 13-тра-2022 |
| Дата внесення: | 27-тра-2022 |
| Країна (код): | UA |
| Місце видання, проведення: | ТНТУ ім. І.Пулюя, ФІС, м. Тернопіль, Україна |
| Науковий керівник: | Фриз, Михайло Євгенович |
| Члени комітету: | Осухівська, Галина Михайлівна |
| УДК: | 004.81 |
| Теми: | мовна модель language model нейронна мережа neural network штучний інтелект artificial intelligence генерація тексту text generation обробка природної мови natural language processing |
| Короткий огляд (реферат): | Проведено ґрунтовний аналіз публікацій на тему моделювання природної мови та української зокрема, зібрано інформацію про алгоритми та нейромережеві архітектури, які дозволяють це зробити. Розглянуто вимоги до процесу тренування нейронних мереж - від отримання даних до процесу оптимізації обраної моделі, а також інструменти, які дозволяють ці вимоги задовольнити. Запропоновано використовувати архітектуру GPT-2 для моделювання української мови. Розроблено програмний код, для проведення експериментів з нейронними мережами в галузі моделювання природних мов, а також генерування текстів на їх основі. Натреновано нейронну мовна модель, що показує кращі результати, ніж схожі публікації, які використовували аналогічні обчислювальні потужності при тренуванні, що доводить перспективність використання архітектури Трансформер для задач обробки і генерації природної мови. A thorough analysis of publications on the topic of modeling natural language and Ukrainian in particular, collected information on algorithms and neural network architectures that allow this. The requirements for the process of training neural networks - from the acquisition of the data to the process of optimizing the selected model, as well as tools that meet these requirements. It is proposed to use the GPT-2 architecture for modeling the Ukrainian language. Developed software code for experiments with neural networks in the field of natural language modeling, as well as generating texts based on them. A neural language model has been trained, which shows better results than similar publications that used similar computing power in training, which proves the viability of using the Transformer architecture for natural language processing and generation. |
| Зміст: | ВСТУП 10 1 АНАЛІТИЧНИЙ ОГЛЯД В ОБЛАСТІ ДОСЛІДЖЕНЬ 12 1.1 ОГЛЯД ЗАДАЧІ МОДЕЛЮВАННЯ МОВИ 12 1.1.1 КЛАСИЧНІ МЕТОДИ 12 1.1.2 НЕЙРОННІ МЕРЕЖІ 13 1.1.3 РЕКУРЕНТНІ НЕЙРОННІ МЕРЕЖІ ТА SEQ2SEQ 14 1.1.4 МЕХАНІЗМ УВАГИ І ТРАНСФОРМЕРИ 17 1.2 АНАЛІЗ НЕЙРОМЕРЕЖЕВИХ МОДЕЛЕЙ УКРАЇНСЬКОЇ МОВИ 21 1.3 ФОРМУЛЮВАННЯ НАУКОВО-ТЕХНІЧНОЇ ЗАДАЧІ 22 1.4 ВИСНОВКИ ДО ПЕРШОГО РОЗДІЛУ 22 2 МЕТОДОЛОГІЯ МОДЕЛЮВАННЯ УКРАЇНСЬКОЇ МОВИ 24 2.1 ДАНІ 24 2.1.1 ДАТАСЕТ 24 2.1.2 РОЗБИТТЯ ДАНИХ 25 2.1.3 ПРЕПРОЦЕСИНГ 27 2.2 ПОБУДОВА МОДЕЛІ 30 2.2.1 АРХІТЕКТУРА 30 2.2.2 ФУНКЦІЯ ВИТРАТ ТА ОПТИМІЗАЦІЯ 37 2.2.3 МЕТРИКИ 38 2.3 ВИСНОВКИ 39 3. РОЗРОБКА НЕЙРОМЕРЕЖЕВОЇ МОВНОЇ МОДЕЛІ 40 3.1 ІНСТРУМЕНТИ ДЛЯ РОЗРОБКИ НЕЙРОННИХ МЕРЕЖ ТА АНАЛІЗУ ДАНИХ 40 3.1.1 PYTHON 40 3.1.2 TORCH 40 3.1.3 HUGGING FACE 42 3.1.4 JUPYTER ТА GOOGLE COLABORATORY 43 3.1.5 DVC 45 3.2 ТРЕНУВАННЯ НЕЙРОННОЇ МЕРЕЖІ 46 3.2.1 СТРУКТУРА ПРОЕКТУ 46 3.2.2 ОТРИМАННЯ ДАНИХ 49 3.2.3 ТРЕНУВАННЯ ТОКЕНАЙЗЕРА 49 3.2.4 ПРЕПРОЦЕСИНГ ДАНИХ 49 3.2.5 ТРЕНУВАННЯ МОДЕЛІ ТА ОБЧИСЛЕННЯ МЕТРИК 50 3.3 РЕЗУЛЬТАТИ ТРЕНУВАННЯ 51 3.4 ВИСНОВКИ 53 4 ОХОРОНА ПРАЦІ ТА БЕЗПЕКА В НАДЗВИЧАЙНИХ СИТУАЦІЯХ 55 4.1 ДОСЛІДЖЕННЯ МОЖЛИВОСТІ СТВОРЕННЯ ІНСТРУКЦІЇ З ОХОРОНИ ПРАЦІ ДЛЯ ФАХІВЦЯ З ІНФОРМАЦІЙНИХ ТЕХНОЛОГІЙ З ВИКОРИСТАННЯМ НЕЙРОННИХ МЕРЕЖ 55 4.2 ЕРГОНОМІЧНІ ВИМОГИ ДО РОБОЧОГО МІСЦЯ КОРИСТУВАЧА ПЕРСОНАЛЬНИМ КОМП'ЮТЕРОМ (ПК) 60 ВИСНОВКИ 66 СПИСОК ВИКОРИСТАНИХ ДЖЕРЕЛ 68 ДОДАТКИ 80 |
| URI (Уніфікований ідентифікатор ресурсу): | http://elartu.tntu.edu.ua/handle/lib/37922 |
| Власник авторського права: | © Хом’як Андрій Сергійович, 2022 |
| Перелік літератури: | 1. R. Kuhn and R. De Mori, “Cache-based natural language model for speech recognition,” Pattern Analysis and Machine Intelligence, IEEE Transactions on, vol. 12, pp. 570–583, Jul. 1990, doi: 10.1109/34.56193. 2. L. Rabiner and B. Juang, “An introduction to hidden Markov models,” IEEE ASSP Magazine, vol. 3, no. 1, pp. 4–16, 1986, doi: 10.1109/MASSP.1986.1165342. 3. Terrence J. Sejnowski, “The unreasonable effectiveness of deep learning in artificial intelligence,” Proceedings of the National Academy of Sciences, vol. 117, no. 48, pp. 30033–30038, 2020, doi: 10.1073/pnas.1907373117. 4. A. Graves and J. Schmidhuber, “Offline Handwriting Recognition with Multidimensional Recurrent Neural Networks.,” in NIPS, 2008, pp. 545–552. [Електронний ресурс]. Режим доступу: http://dblp.uni-trier.de/db/conf/nips/nips2008.html#GravesS08 5. D. C. Ciresan, U. Meier, J. Masci, and J. Schmidhuber, “Multi-column deep neural network for traffic sign classification.,” Neural Networks, vol. 32, pp. 333–338, 2012, [Електронний ресурс]. Режим доступу: http://dblp.uni-trier.de/db/journals/nn/nn32.html#CiresanMMS12 6. D. Cireşan, U. Meier, and J. Schmidhuber, “Multi-column Deep Neural Networks for Image Classification,” 2012, doi: 10.48550/ARXIV.1202.2745. 7. L. Özgür, T. Güngör, and F. Gürgen, “Spam Mail Detection Using Artificial Neural Network and Bayesian Filter,” in Intelligent Data Engineering and Automated Learning – IDEAL 2004, 2004, pp. 505–510. 8. L. Zhang, S. Wang, and B. Liu, “Deep Learning for sentiment analysis : a survey,” arXiv:1801.07883 [cs, stat], Jan. 2018, Accessed: Feb. 02, 2018. [Електронний ресурс]. Режим доступу: http://arxiv.org/abs/1801.07883 9. Y. Bengio, R. Ducharme, and P. Vincent, “A Neural Probabilistic Language Model.,” in NIPS, 2000, pp. 932–938. [Електронний ресурс]. Режим доступу: http://dblp.uni-trier.de/db/conf/nips /nips2000.html#BengioDV00 10. R. Collobert and J. Weston, “A Unified Architecture for Natural Language Processing: Deep Neural Networks with Multitask Learning,” in Proceedings of the 25th International Conference on Machine Learning, 2008, pp. 160–167. doi: 10.1145/1390156.1390177. 11. A. Karpathy, “The Unreasonable Effectiveness of Recurrent Neural Networks,” May 2015. http://karpathy.github.io/2015/05/21/rnn-effectiveness/ 12. L. Tai and M. Liu, Deep-learning in Mobile Robotics - from Perception to Control Systems: A Survey on Why and Why not. 2016. 13. J. Chung, C. Gulcehre, K. Cho, and Y. Bengio, Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling. arXiv, 2014. doi: 10.48550/ARXIV.1412.3555. 14. S. Hochreiter and J. Schmidhuber, “Long Short-term Memory,” Neural computation, vol. 9, pp. 1735–80, Dec. 1997, doi: 10.1162/neco.1997.9.8.1735. 15. I. Sutskever, O. Vinyals, and Q. V. Le, Sequence to Sequence Learning with Neural Networks. arXiv, 2014. doi: 10.48550/ARXIV.1409.3215. 16. A. Gulli and A. Kapoor, TensorFlow 1.X deep learning cookbook. Birmingham, England: Packt Publishing, 2017. 17. G. E. Hinton and R. S. Zemel, “Autoencoders, Minimum Description Length and Helmholtz Free Energy,” in Advances in Neural Information Processing Systems 6, 1994, pp. 3–10. 18. D. P. Kingma and M. Welling, Auto-Encoding Variational Bayes. arXiv, 2013. doi: 10.48550/ARXIV.1312.6114. 19. A neural network for machine translation, at production scale. 2016. [Електронний ресурс]. Режим доступу: https://ai.googleblog .com/2016/09/a-neural-network-for-machine.html 20. Y. Wu et al., Google’s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation. arXiv, 2016. doi: 10.48550/ARXIV.1609.08144. 21. D. Q. Nguyen, D. Q. Nguyen, C. X. Chu, S. Thater, and M. Pinkal, Sequence to Sequence Learning for Event Prediction. arXiv, 2017. doi: 10.48550/ARXIV.1709.06033. 22. J. Wang, L.-C. Yu, K. R. Lai, and X. Zhang, “Dimensional Sentiment Analysis Using a Regional CNN-LSTM Model,” in Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), Aug. 2016, pp. 225–230. doi: 10.18653/v1/P16-2037. 23. A. Conneau, H. Schwenk, L. Barrault, and Y. Lecun, Very Deep Convolutional Networks for Text Classification. arXiv, 2016. doi: 10.48550/ARXIV.1606.01781. 24. N. Kalchbrenner, L. Espeholt, K. Simonyan, A. van den Oord, A. Graves, and K. Kavukcuoglu, Neural Machine Translation in Linear Time. arXiv, 2016. doi: 10.48550/ARXIV.1610.10099. 25. D. Bahdanau, K. Cho, and Y. Bengio, Neural Machine Translation by Jointly Learning to Align and Translate. arXiv, 2014. doi: 10.48550/ARXIV.1409.0473. 26. J. Dey, A past, present, and future of attention. Medium, 2021. [Електронний ресурс]. Режим доступу: https://joshdey .medium.com/a-past-present-and-future-of-attention-f6e269574a5 27. A. Vaswani et al., Attention Is All You Need. arXiv, 2017. doi: 10.48550/ARXIV.1706.03762. 28. A. Radford, K. Narasimhan, T. Salimans, and I. Sutskever, “Improving language understanding by generative pre-training.” 2018. 29. A. Radford, J. Wu, R. Child, D. Luan, D. Amodei, and I. Sutskever, “Language Models are Unsupervised Multitask Learners,” 2018, [Електронний ресурс]. Режим доступу: https://d4mucfpksywv .cloudfront.net/better-language-models/language-models.pdf 30. T. B. Brown et al., Language Models are Few-Shot Learners. arXiv, 2020. doi: 10.48550/ARXIV.2005.14165. 31. K. Lacker, Giving GPT-3 a turing test. 2020. [Електронний ресурс]. Режим доступу: https://lacker.io/ai/2020/07/06/giving-gpt-3-a-turing-test.html 32. J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova, BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv, 2018. doi: 10.48550/ARXIV.1810.04805. 33. M. Lewis et al., BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. arXiv, 2019. doi: 10.48550/ARXIV.1910.13461. 34. Y. Liu et al., RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv, 2019. doi: 10.48550/ARXIV.1907.11692. 35. Z. Lan, M. Chen, S. Goodman, K. Gimpel, P. Sharma, and R. Soricut, ALBERT: A Lite BERT for Self-supervised Learning of Language Representations. arXiv, 2019. doi: 10.48550/ARXIV.1909.11942. 36. A. Khaburska, Statistical and neural language models for the Ukrainian language. 2020. [Електронний ресурс]. Режим доступу: https://er.ucu.edu.ua/handle/1/2047 37. Моделі lang-uk [Електронний ресурс]. Режим доступу: https:// lang.org.ua /uk/models/ 38. V. Radchenko, How to train a new language model for NLP. YouScan, 2020. [Електронний ресурс]. Режим доступу: https://youscan .io/blog/ukrainian-language-model/ 39. M. P. Marcus, B. Santorini, and M. A. Marcinkiewicz, “Building a Large Annotated Corpus of English: The Penn Treebank,” Computational Linguistics, vol. 19, no. 2, pp. 313–330, 1993, [Електронний ресурс]. Режим доступу: https://aclanthology.org/J93-2004 40. Common Crawl. [Електронний ресурс]. Режим доступу: https:// commoncrawl .org/ 41. 2022. [Електронний ресурс]. Режим доступу: https://dumps. wikimedia.org/ukwiki/20220401/ 42. Brown-Uk, Brown-UK/corpus: Браунський корпус української мови. [Електронний ресурс]. Режим доступу: https://github .com/brown-uk/corpus 43. H. Kucera and W. N. Francis, Computational analysis of present-day American English. Providence, RI: Brown University Press, 1967. 44. Корпуси: lang-uk. [Електронний ресурс]. Режим доступу: https://lang.org.ua/uk/corpora/#anchor4 45. Oscar-Corpus/oscar-2109 · datasets at hugging face. [Електронний ресурс]. Режим доступу: https://huggingface.co/datasets/oscar-corpus/OSCAR-2109 46. J. Abadji, P. J. O. Suárez, L. Romary, and B. Sagot, “Ungoliant: An optimized pipeline for the generation of a very large-scale multilingual web corpus,” 2021, pp. 1–9. doi: 10.14618/ids-pub-10468. 47. S. Salman and X. Liu, Overfitting Mechanism and Avoidance in Deep Neural Networks. arXiv, 2019. doi: 10.48550/ARXIV.1901.06566. 48. J. Tan, J. Yang, S. Wu, G. Chen, and J. Zhao, A critical look at the current train/test split in machine learning. arXiv, 2021. doi: 10.48550/ARXIV.2106.04525. 49. S. Raschka, Model Evaluation, Model Selection, and Algorithm Selection in Machine Learning. arXiv, 2018. doi: 10.48550/ARXIV.1811.12808. 50. J. Ramos, Using TF-IDF to Determine Word Relevance in Document Queries. 1999. 51. S. Jabri, A. Dahbi, T. Gadi, and A. Bassir, “Ranking of text documents using TF-IDF weighting and association rules mining,” Apr. 2018, pp. 1–6. doi: 10.1109/ICOA.2018.8370597. 52. P. Bojanowski, E. Grave, A. Joulin, and T. Mikolov, “Enriching Word Vectors with Subword Information,” Transactions of the Association for Computational Linguistics, vol. 5, pp. 135–146, 2017, doi: 10.1162/tacl_a_00051. 53. P. Gage, “A New Algorithm for Data Compression,” C Users J., vol. 12, no. 2, pp. 23–38, Feb. 1994. 54. C. Wang, K. Cho, and J. Gu, Neural Machine Translation with Byte-Level Subwords. arXiv, 2019. doi: 10.48550/ARXIV.1909.03341. 55. T. Mikolov, K. Chen, G. Corrado, and J. Dean, Efficient Estimation of Word Representations in Vector Space. arXiv, 2013. doi: 10.48550/ARXIV.1301.3781. 56. R. Kulshrestha, NLP 101: Word2vec - skip-gram and CBOW. Towards Data Science, 2020. [Електронний ресурс]. Режим доступу: https://towardsdatascience.com/nlp-101-word2vec-skip-gram-and-cbow-93512ee24314 57. J. B. Lovins, “Development of a stemming algorithm,” Mech. Transl. Comput. Linguistics, vol. 11, pp. 22–31, 1968. 58. N. A. Smith, D. A. Smith, and R. W. Tromble, “Context-Based Morphological Disambiguation with Random Fields,” in Proceedings of Human Language Technology Conference and Conference on Empirical Methods in Natural Language Processing, Oct. 2005, pp. 475–482. [Електронний ресурс]. Режим доступу: https://aclanthology.org/H05-1060 59. R. Sennrich, B. Haddow, and A. Birch, Neural Machine Translation of Rare Words with Subword Units. arXiv, 2015. doi: 10.48550/ARXIV.1508.07909. 60. A. F. Agarap, Deep Learning using Rectified Linear Units (ReLU). arXiv, 2018. doi: 10.48550/ARXIV.1803.08375. 61. K. He, X. Zhang, S. Ren, and J. Sun, Deep Residual Learning for Image Recognition. arXiv, 2015. doi: 10.48550/ARXIV.1512.03385. 62. J. L. Ba, J. R. Kiros, and G. E. Hinton, Layer Normalization. arXiv, 2016. doi: 10.48550/ARXIV.1607.06450. 63. I. Solaiman et al., Release Strategies and the Social Impacts of Language Models. arXiv, 2019. doi: 10.48550/ARXIV.1908.09203. 64. J. Alammar, The illustrated GPT-2 (Visualizing Transformer language models). 2019. [Електронний ресурс]. Режим доступу: https://jalammar.github.io/illustrated-gpt2/ 65. N. Qian, “On the momentum term in gradient descent learning algorithms,” Neural Networks, vol. 12, no. 1, pp. 145–151, 1999, doi: https://doi.org/10.1016/S0893-6080(98)00116-6. 66. A. Botev, G. Lever, and D. Barber, Nesterov’s Accelerated Gradient and Momentum as approximations to Regularised Update Descent. arXiv, 2016. doi: 10.48550/ARXIV.1607.01981. 67. Z. Hao, Y. Jiang, H. Yu, and H.-D. Chiang, Adaptive Learning Rate and Momentum for Training Deep Neural Networks. arXiv, 2021. doi: 10.48550/ARXIV.2106.11548. 68. J. C. Duchi, E. Hazan, and Y. Singer, “Adaptive Subgradient Methods for Електронний ресурс Learning and Stochastic Optimization.,” in COLT, 2010, pp. 257–269. [Електронний ресурс]. Режим доступу: https://dl.acm.org/doi/abs/10.5555/1953048.2021068 69. K. Nakamura and B.-W. Hong, Adaptive Weight Decay for Deep Neural Networks. arXiv, 2019. doi: 10.48550/ARXIV.1907.08931. 70. D. P. Kingma and J. Ba, Adam: A Method for Stochastic Optimization. arXiv, 2014. doi: 10.48550/ARXIV.1412.6980. 71. Y. Sasaki, “The truth of the F-measure,” Teach Tutor Mater, Jan. 2007. 72. T. Kuribayashi, Y. Oseki, T. Ito, R. Yoshida, M. Asahara, and K. Inui, Lower Perplexity is Not Always Human-Like. arXiv, 2021. doi: 10.48550/ARXIV.2106.01229. 73. A. Paszke et al., “PyTorch: An Imperative Style, High-Performance Deep Learning Library,” in Advances in Neural Information Processing Systems 32, H. Wallach, H. Larochelle, A. Beygelzimer, F. d’Alché Buc, E. Fox, and R. Garnett, Eds. Curran Associates, Inc., 2019, pp. 8024–8035. [Електронний ресурс]. Режим доступу: http:// papers.neurips.cc/paper/9015-pytorch-an-imperative-style-high-performance-deep-learning-library.pdf 74. Intel MKL [Електронний ресурс]. Режим доступу: https:// www.intel.com/content/www/us/en/develop/documentation/get-started-with-mkl-for-dpcpp/top.html 75. MKL-DNN[Електронний ресурс]. Режим доступу: https://oneapi-src.github.io/oneDNN/v0/index.html 76. OpenMP Home. 2021. [Електронний ресурс]. Режим доступу: https://www.openmp.org/ 77. Cuda Toolkit. 2022. [Електронний ресурс]. Режим доступу: https://developer.nvidia.com/cuda-toolkit 78. Nvidia Cudnn. 2021. [Електронний ресурс]. Режим доступу: https://developer.nvidia.com/cudnn 79. T. Developers, TensorFlow. Zenodo, 2022. doi: 10.5281/zenodo.6519082. 80. H. He, “The State of Machine Learning Frameworks in 2019,” The Gradient, 2019, [Електронний ресурс]. Режим доступу: https://thegradient.pub/state-of-ml-frameworks-2019-pytorch-dominates-research-tensorflow-dominates-industry/ 81. Torch.onnx. [Електронний ресурс]. Режим доступу: https://pytorch.org/docs/stable/onnx.html 82. Converting a PYTORCH* model. [Електронний ресурс]. Режим доступу: https://docs.openvino.ai/latest/openvino_docs_MO_DG_prepare_model_convert_model_Convert_Model_From_PyTorch.html 83. Triton-Inference-Server, Triton-inference-server/PYTORCH_BACKEND: The Triton backend for the PYTORCH TorchScript models. [Електронний ресурс]. Режим доступу: https://github.com/triton-inference-server/pytorch_backend 84. Mlflow.pytorch. [Електронний ресурс]. Режим доступу: https://www.mlflow.org/docs/latest/python_api/mlflow.pytorch.html 85. Torch.utils.tensorboard. [Електронний ресурс]. Режим доступу: https://pytorch.org/docs/stable/tensorboard.html 86. [Електронний ресурс]. Режим доступу: https://pytorch.org/vision/ 87. [Електронний ресурс]. Режим доступу: https://pytorch.org/audio/ 88. Torchgeo. [Електронний ресурс]. Режим доступу: https://torchgeo.readthedocs.io/ 89. Hugging face – the AI community building the future. [Електронний ресурс]. Режим доступу: https://huggingface.co/ 90. T. Wolf et al., HuggingFace’s Transformers: State-of-the-art Natural Language Processing. arXiv, 2019. doi: 10.48550/ARXIV.1910.03771. 91. Tokenizers. [Електронний ресурс]. Режим доступу: https://huggingface.co/docs/tokenizers/index 92. T. Kluyver et al., “Jupyter Notebooks – a publishing format for reproducible computational workflows,” in Positioning and Power in Academic Publishing: Players, Agents and Agendas, 2016, pp. 87–90. 93. Google Colab. Google. [Електронний ресурс]. Режим доступу: https://research.google.com/colaboratory/ 94. Data Version control · DVC. [Електронний ресурс]. Режим доступу: https://dvc.org/ 95. Верховна Рада України, “Про затвердження Положення про розробку інструкцій з охорони праці (ДНАОП 0.00-4.15-98),” Офіційний вебпортал парламенту України. [Електронний ресурс]. Режим доступу: https://zakon.rada.gov.ua/laws/show/z0226-98. 96. Інструкція з охорони праці для програміста. [Електронний ресурс]. Режим доступу: https://www.victorija.ua/blanki-ta-formi-dokum entiv/instruktsiya-z-ohorony-pratsi-dlya-prohramista-aktualizovano-na-08-12-2017r.html 97. L. Mou and O. Vechtomova, “Stylized Text Generation: Approaches and Applications,” in Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: Tutorial Abstracts, Jul. 2020, pp. 19–22. doi: 10.18653/v1/2020.acl-tutorials.5. 98. L. Reynolds and K. McDonell, Prompt Programming for Large Language Models: Beyond the Few-Shot Paradigm. arXiv, 2021. doi: 10.48550/ARXIV.2102.07350. 99. S. Reed, Z. Akata, X. Yan, L. Logeswaran, B. Schiele, and H. Lee, Generative Adversarial Text to Image Synthesis. arXiv, 2016. doi: 10.48550/ARXIV.1605.05396. 100. H. Zhang et al., StackGAN++: Realistic Image Synthesis with Stacked Generative Adversarial Networks. arXiv, 2017. doi: 10.48550/ARXIV.1710.10916. 101. A. Ramesh et al., Zero-Shot Text-to-Image Generation. arXiv, 2021. doi: 10.48550/ARXIV.2102.12092. 102. A. Ramesh, P. Dhariwal, A. Nichol, C. Chu, and M. Chen, Hierarchical Text-Conditional Image Generation with CLIP Latents. arXiv, 2022. doi: 10.48550/ARXIV.2204.06125. 103. C. Wei, S. M. Xie, and T. Ma, Why Do Pretrained Language Models Help in Downstream Tasks? An Analysis of Head and Prompt Tuning. arXiv, 2021. doi: 10.48550/ARXIV.2106.09226. 104. G. Betz, C. Voigt, and K. Richardson, Critical Thinking for Language Models. arXiv, 2020. doi: 10.48550/ARXIV.2009.07185. 105. M. Saeed, N. Ahmadi, P. Nakov, and P. Papotti, “RuleBert: Teaching Soft Rules to Pre-trained Language Models,” 2021, doi: 10.48550/ARXIV.2109.13006. 106. A. Talmor, O. Tafjord, P. Clark, Y. Goldberg, and J. Berant, Leap-Of-Thought: Teaching Pre-Trained Models to Systematically Reason Over Implicit Knowledge. arXiv, 2020. doi: 10.48550/ARXIV.2006.06609. |
| Тип вмісту: | Master Thesis |
| Розташовується у зібраннях: | 122 — комп’ютерні науки |
Файли цього матеріалу:
| Файл | Опис | Розмір | Формат | |
|---|---|---|---|---|
| 2022_KRM_SNmn-61_Khomiak_A.S..pdf | 2,63 MB | Adobe PDF | Переглянути/відкрити |
Усі матеріали в архіві електронних ресурсів захищені авторським правом, всі права збережені.
Інструменти адміністратора