The Development of Long Shooting Algorithm using Q-learning for 2D Soccer Games

Abstract

RoboCup is the tournament for developing the robotics and artificial intelligence. Soccer is the most interested topic in RoboCup. RoboCup 2D soccer simulation league, the number of scoring decide the winner. Nowadays, the scoring of each agent must dribble into the penalty area, which do not the variety of shooting. This research improved long shooting for increasing the chance of the score by the Q-learning algorithm. The methodology of this research is divided into 4 processes: 1) Data collection 2) Feature selection 3) Q-learning algorithm and 4) Evaluation; moreover, the experimental has 2 experiments: 1) Design only the action and 2) Design the action and direction. The experimental result of the design only action increases the chance of score as 80% and 20%, that shooting directs into the goal because the decision of each agent does not know a direction, that is an unstable shooting. The experimental result of the design action and direction increases the chance of score as 28% and all shooting direct into the goal.

การแข่งขันหุ่นยนต์ระดับนานาชาติ หรือ RoboCup เป็นรายการแข่งขันเพื่อส่งเสริมงานวิจัยที่เกี่ยวข้องกับหุ่นยนต์และปัญญาประดิษฐ์ ซึ่งฟุตบอลเป็นหนึ่งในหัวข้อสำคัญในรายการนี้ การแข่งขันรายการ RoboCup 2D soccer simulation league จะตัดสินชนะหรือแพ้จากการยิงประตูของแต่ละฝ่าย ซึ่งในปัจจุบันการยิงประตูของหุ่นยนต์ต้องเลี้ยงลูกฟุตบอลเข้าไปยิงในกรอบเขตโทษเพียงเท่านั้น ซึ่งทำให้ไม่มีความหลากหลายในการยิงประตู จากปัญหาดังกล่าวงานวิจัยนี้จึงปรับปรุงขั้นตอนวิธีการยิงประตูจากระยะไกล เพื่อเพิ่มโอกาสในการยิงประตู โดยใช้อัลกอริธึมการเรียนรู้แบบเสริมกำลัง แบบ Q-learning การดำเนินการวิจัยจะแบ่งออกเป็น 4 ขั้นตอน ได้แก่ 1) การเก็บรวบรวมข้อมูล 2) การเลือกข้อมูล 3) การเรียนรู้แบบเสริมกำลัง แบบ Q-learning และ 4) การวัดประสิทธิภาพ โดยการทดลองจะแบ่งออกเป็น 2 การทดลอง ได้แก่ 1) การออกแบบการกระทำ (เฉพาะการกระทำ) และ 2) การออกแบบการกระทำและทิศทาง (การกระทำและทิศทาง) ซึ่งผลการทดลองของการทดลองที่ 1 พบว่ามีการเพิ่มขึ้นของการตัดสินใจยิงประตู ซึ่งคิดเป็น 80% เป็นการตัดสินใจยิงประตูที่เข้ากรอบประตูเพียง 20% เนื่องจากเป็นการกระทำที่ตัดสินใจทำโดยไม่รู้ทิศทาง จึงเป็นการตัดสินใจยิงประตูที่ไม่แน่นอน จึงต้องนำทิศทางของการกระทำมาตัดสินใจด้วย และผลการทดลองของการทดลองที่ 2 พบว่ามีการเพิ่มขึ้นของการตัดสินใจยิงประตู ซึ่งคิดเป็น 28% นอกจากนั้นการตัดสินใจยิงประตูทั้ง 28% ล้วนเป็นการตัดสินใจยิงประตูที่เข้ากรอบประตูทั้งหมด