Vision-Based Fall Detection Using Convolution Neural Network and Long Short-Term Memory

Abstract

The dissertation presents a method of vision-based model for detecting and classifying human falls in video sequences. We used BlazePose to detect and extract 33 body landmarks of a human body; then, we selected 4 points to represent the upper body. Then, we draw a straight line "r" to calculate the angle of the upper body, linear velocity, and angular velocity to help determine if the person detected has fallen. These data are similar to the data obtained from gyroscope and accelerometer sensors. We then use the capabilities of CNN and LSTM to construct a model for fall detection. In addition, we used DeepSORT to track people in the video and identify who fell. We conducted experiments on three datasets, and our model achieved a high accuracy rate of 96.66%, recall of 89.95%, precision of 96.72% and F1 score of 93.08%.

การวิจัยนี้มีจุดมุ่งหมายเพื่อนำเสนอวิธีการใช้การมองเห็นของคอมพิวเตอร์เพื่อตรวจจับและจำแนกการล้มของมนุษย์ในวิดีโอ โดยใช้อัลกอริทึม BlazePose เพื่อตรวจจับและสกัด 33 จุดบนร่างกายมนุษย์ จากนั้นเลือก 4 จุด เพื่อเป็นตัวแทนส่วนบนของร่างกาย แล้ววาดเส้นตรง "r" เพื่อคำนวณมุมของส่วนบนของร่างกาย ความเร็วเชิงเส้นและความเร็วเชิงมุมเพื่อนำไปวิเคราะห์ว่าเกิดการล้มของบุคคลที่ตรวจพบในวิดีโอหรือไม่ ข้อมูลเหล่านี้คล้ายกับข้อมูลที่ได้รับจากเซ็นเซอร์วัดความเร่ง และเซ็นเซอร์วัดมุม จากนั้นได้ใช้ความสามารถของโครงข่ายประสาทเทียมแบบคอนโวลูชั่นร่วมกับโครงข่ายประสาทเทียมแบบหน่วยความจำระยะสั้นระยะยาวเพื่อสร้างโมเดลสำหรับการตรวจจับการล้ม และใช้อัลกอริทึม DeepSORT ในการติดตามบุคคลในวิดีโอและระบุว่าใครล้ม ในการทดลองได้ทำการทดลองด้วยชุดข้อมูล 3 ชุด และปรากฎว่าโมเดลให้ผลลัพธ์ความถูกต้องสูงถึงร้อยละ 96.66 ค่าสามารถในการตรวจจับเหตุการณ์ล้มร้อยละ 89.95 ค่าความแม่นยำร้อยละ 96.72 และ คะแนน F1 ร้อยละ 93.08