Current Issues

Korea Society for Naval Science and Technology - Vol. 7 , No. 1

[Paper List]


[ Article ]
Journal of the KNST - Vol. 4, No. 1, pp. 72-77
Abbreviation: KNST
ISSN: 2635-4926 (Print)
Print publication date 31 Mar 2021
Received 20 Oct 2020 Revised 01 Feb 2021 Accepted 15 Mar 2021
DOI: https://doi.org/10.31818/JKNST.2021.03.4.1.72
강화학습 기반 예인선 제어방법에 의한 선박 자율 접안
홍승조¹^{, *} ; 김진환²

1해군 소령/해군제2함대사령부 인천함 지원부장

2KAIST 기계공학과 부교수
Reinforcement Learning Based Tugboats Control for Autonomous Ship Berthing
Seungjo Hong¹^{, *} ; Jinwhan Kim²
1Lieutenant Commander/Executive Officer, ROKS Incheon, 2nd Fleet command, ROK Navy

2Associate Professor, Dept. of Mechanical Engineering, Korea Advanced Institute of Science and Technology

Correspondence to : ^*Seungjo Hong E-mail: hongsj235@naver.com
© 2021 Korea Society for Naval Science & Technology

초록

선박 접안 작업은 모든 유형의 선박에 해당된다. 특히 저속 기동성이 제한된 대형 선박에는 예인선이 필수적이다. 예인선의 접안 작업은 도선사 직관에 의해 수동적으로 이루어지는 작업으로 일반적인 제어 알고리즘을 적용하기 어려운 주제이다. 최근에는 이러한 복잡한 문제를 해결하기 위해 머신 러닝 기술 중 하나인 강화 학습이 적용되고 있다. 본 연구에서는 예인선을 활용한 접안 문제에 강화학습 방법을 적용하여 문제를 해결하였다. 예인선 및 선박의 동적 모델은 연속 및 이산시간의 동적 모델이 상호 작용하는 하이브리드 시스템으로 정의된다. 그리고 강화학습에서 정책 기울기 방식의 대표적인 알고리즘인 근위 정책 최적화(PPO) 알고리즘을 이용하여 접안문제를 해결하였으며 그 결과는 시뮬레이션으로 보여진다.

Abstract

Berthing operation is essential for all types of ships. In particular, tugboats are required to large vessels with limited actuation capabilities at low speed. Tugboat automation is a difficult topic to apply typical control algorithms. Recently, to solve these problems, reinforcement learning, one of the techniques of machine learning, is being implemented. In this research, we solved the problem of tugboats using reinforcement learning method. The tugboats dynamic model is defined as a hybrid system in which continuous and discrete dynamic models interact. And solve this problem with proximal policy optimization(PPO) algorithm which trust region method based policy gradient algorithm. The result is shown through a simulation.


Keywords: Reinforcement Learning, Autonomous Ship Berthing, Hybrid System, Tugboat Control 키워드: 강화학습, 선박 자율 접안, 하이브리드 시스템, 예인선 제어

Acknowledgments

이 논문은 2020년도 한국해군과학기술학회 추계학술대회 발표 논문임.

References


1.	Fossen, Thor I. Handbook of marine craft hydrodynamics and motion control. John Wiley & Sons, 2011.
2.	Kawai, Hideki, Young Bok Kim, and Kwon Soon Lee. “A ship berthing system design with four tug boats.” Journal of mechanical science and technology 25.5, 2011.
3.	Im, Namkyun. "A study on ship automatic berthing with assistance of auxiliary devices." International Journal of Naval Architecture and Ocean Engineering 4, No. 3, pp 199-210, 2012
3.	Van Der Schaft, Arjan J., and Johannes Maria Schumacher. An introduction to hybrid dynamical systems, Vol.251. London: Springer, 2000.
4.	Schulman, John et al. “Proximal policy optimization algorithms.” arXiv preprint arXiv:1707.06347, 2017.
5.	Perez, Tristan, and Thor I. Fossen. “A matlab toolbox for parametric identification of radiation- force models of ships and offshore structures.” 2009, 1-15.