
AI 기반 무기체계의 특성을 고려한 시험평가 방법론 발전 방향 연구
Ⓒ 2026 Korea Society for Naval Science & Technology
초록
본 연구는 인공지능이 적용된 무기체계의 확률적·비결정론적 특성을 고려한 시험평가(test and evaluation) 방법론의 발전 방향을 제시한다. 기존 무기체계에 적용되던 결정론적 성능 중심 평가 방식은 지속적 학습과 환경 의존성이 강한 AI 무기체계의 특성을 충분히 반영하는데 한계가 있다. 이에 본 연구는 미국, 유럽, 중국 등 주요 국가의 AI 무기체계 평가 사례와 우리 군의 실제 적용 사례를 분석하여, 데이터 품질 평가, 알고리즘 강건성 검증, 인간 개입 기반 통제 체계(human-in-the-loop), 전 주기적 평가 개념의 필요성을 도출하였다. 이를 바탕으로 우리 군에 적합한 AI 무기체계 시험평가 방향과 제도적·기술적 개선 방안을 제언한다.
Abstract
This study presents a framework for developing test and evaluation (T&E) methodologies tailored to the probabilistic and non-deterministic characteristics of AI-enabled weapon systems. Conventional deterministic evaluation approaches have limitations in assessing AI systems due to their data dependency, continuous learning, and environmental sensitivity. By analyzing T&E frameworks of major countries and case studies from the Republic of Korea’s military, key limitations of current practices are identified. The study emphasizes the need for data-centric evaluation, algorithm robustness assessment, human-in-the-loop control, and lifecycle-based continuous evaluation. Based on these findings, policy and technical recommendations are proposed for improving T&E of AI-enabled weapon systems.
Keywords:
Artificial Intelligence, AI-Enabled Weapon Systems, Test and Evaluation, Human-in-the-Loop, Rapid Prototyping키워드:
인공지능, 인공지능 적용 무기체계, 시험평가, 휴먼인더루프, 신속시범사업References
- 국방기술진흥연구소, 미래국방 2030기술전략(AI), 2022. 1., p. 16.
- 합참, 2024 합동작전운용성능(JROC) 작성지침, 2025. 1., p. 7.
-
Kangmin Kim & Yong-Bok Lee, ‘AIEC T&E Strategy Proposal for AI-Based Video Surveillance System,’ Journal of the Korea Academia-Industrial Cooperation Society, VOL. 26, NO. 3, 2025, pp. 500-507.
[https://doi.org/10.5762/KAIS.2025.26.3.500]
- DoD, DoD Manual 5000, 101 Operationl Test and Evaluation and Live-Fire Test and Evaluation of Artificial Intelligence-Enabled and Autonomous System, 2024. 11., pp. 6-9.
- DoD, Military and security developments involving the people's Republic of China, 2024. 12., pp. 33-35.
- 방위사업청, 방위사업관리규정 제16조(기술적부수적 성능의 결정 및 수정), 2025. 9., p. 5.
- 주민식, 인공지능의 한계 3-AI 응용 상용화 85% 실패, 그리고 Data-Centric AI로의 이동(삼성 SDS 인터넷 게시자료). https://www.samsungsds.com/kr/insight/data-centric-ai.html, (accessed 2026.01.)
-
Michael Desmond, Catherine Finegan-Dollak, Jeff Boston, & Matt Arnold, ‘Label Noise Context,’ in Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, Online, July 2020, pp. 157-186.
[https://doi.org/10.18653/v1/2020.acl-demos.21]