Ứng dụng phương pháp học tăng cường đa tác nhân giải bài toán lựa chọn phương tiện hỏa lực trong hệ thống tự động hóa chỉ huy-điều khiển
184 lượt xemDOI:
https://doi.org/10.54939/1859-1043.j.mst.94.2024.11-21Từ khóa:
Học tăng cường, Tự động hóa chỉ huy, C4I, DWTA, DQL, OpenAI GymTóm tắt
Bài báo trình bày phương pháp học tăng cường sâu đa tác nhân giải bài toán lựa chọn phương tiện hỏa lực (PTHL) động trong hệ thống TĐH CH-ĐK phòng không. Mô hình hoạt động của PTHL được xây dựng dựa trên dự đoán quỹ đạo tối ưu của các mô hình mục tiêu trên không đã được huấn luyện trước đó [1] và trạng thái các đối tượng trên mặt đất, cũng như phương án tối ưu phối hợp hoạt động của các PTHL trong hệ thống. Mô hình PTHL được xây dựng trên bộ thư viện OpenAI Gym sử dụng thuật toán học tăng cường sâu (DQL) để tối ưu hóa hàm giá trị Q. Sau khi được huấn luyện qua 200 nghìn vòng, mô hình PTHL đã có khả năng tự động phân tích, nhận thức tình huống, phối hợp các PTHL trong hệ thống, xây dựng phương án tương tác đối kháng động và chọn ra phương án tối ưu có tính tới các ràng buộc thực tế, để thu được giá trị cực tiểu của hàm tổn thất tổng thể cho toàn bộ quá trình chiến đấu. So với mô hình PTHL sử dụng thuật toán PPO được huấn luyện trong cùng một điều kiện môi trường, sau 1000 chu trình tác chiến tương tác với mô hình mục tiêu trên không, mô hình PTHL đề xuất đạt tỉ lệ chiến thắng 89,1% lớn hơn nhiều so với 77,2% của mô hình sử dụng thuật toán PPO.
Tài liệu tham khảo
[1]. Truong, N.X., Phuong, P.K., Phuc, H.V., Tien, V.H., “Q-Learning Based Multiple Agent Reinforcement Learning Model for Air Target Threat Assessment,” in The International Conference on Intelligent Systems & Networks, (2023), https://doi.org/10.1007/978-981-99-4725-6_16. DOI: https://doi.org/10.1007/978-981-99-4725-6_16
[2]. Lloyd Hammond, “Application of a Dynamic Programming Algorithm for Weapon Target Assignment”, Edinburgh South Australia: Defence Science and Technology Group, (2016).
[3]. Mohammad Babul Hasan and Yaindrila Barua, “Weapon Target Assignment”, DOI: 10.5772/intechopen.93665, October 6th, (2020). DOI: https://doi.org/10.5772/intechopen.93665
[4]. Fredrik Johansson, Göran Falkman, “SWARD: System for weapon allocation research & development,” in Information Fusion (FUSION), DOI:10.1109/ICIF.2010.5712067. DOI: https://doi.org/10.1109/ICIF.2010.5712067
[5]. Yiping Lu, Danny Z. Chen, “A new exact algorithm for the Weapon-Target Assignment problem,” Elsevier Ltd, vol. Omega 98,102138, (2021), https://doi.org/10.1016/j.omega.2019.102138, 2019. DOI: https://doi.org/10.1016/j.omega.2019.102138
[6]. Yang Zhao, Yifei Chen, Ziyang Zhen and Ju Jiang, “Multi-weapon multi-target assignment based on hybrid genetic algorithm in uncertain environment,” International Journal of Advanced Robotic Systems, no. https://doi.org/10.1177/1729881420905922, (2020). DOI: https://doi.org/10.1177/1729881420905922
[7]. Elias Munapo, “Development of an accelerating hungarian method for assignment problems,” Eastern-European Journal of Enterprise Technologies, pp. 6-13, (2020). DOI: https://doi.org/10.15587/1729-4061.2020.209172
[8]. Yuan Zeng Cheng,.. “Weapon Target Assignment Problem Solving Based on Hungarian Algorithm,” Applied Mechanics and Materials, doi:10.4028/www.scientific.net/AMM.713-715.2041, (2015). DOI: https://doi.org/10.4028/www.scientific.net/AMM.713-715.2041
[9]. Hildegarde Mouton, Jan Roodt, Herman Le Roux, “Applying Reinforcement Learning to the Weapon Assignment Problem in Air Defence,” Journal of Military Studies, vol. 39 No. 2, (2011), DOI: https://doi.org/10.5787/39-2-115. DOI: https://doi.org/10.5787/39-2-115
[10]. Tong Wang, Liyue Fu, Zhengxian Wei, “Unmanned ground weapon target assignment based on deep Q-learning network with an improved multi-objective artificial bee colony algorithm,” Engineering Applications of Artificial Intelligence. https://doi.org/10.1016/j.engappai.2022.105612, (2023). DOI: https://doi.org/10.1016/j.engappai.2022.105612
[11]. Brian Gaudet, Kristofer Drozd, “Deep Reinforcement Learning for Weapons to Targets Assignment in a Hypersonic strike,” University of Arizona. doi:10.13140/RG.2.2.19047.62881, (2023).
[12]. Yuxi Li, “Deep Reinforcement Learning: An Overview,” https://arxiv.org/abs/1701.07274, (2018).
[13]. Greg Brockman, Vicki Cheung, Ludwig Pettersson, “OpenAI Gym,” https://arxiv.org/pdf/1606. 01540.pdf, (2016).
[14]. John Schulman, Filip Wolski, Prafulla Dhariwal, “Proximal Policy Optimization Algorithms,” OpenAI, no. https://arxiv.org/pdf/1707.06347.pdf, pp. 1-12, (2017).
