Sentence-level Sentiment Classification for Middle-school Student Comments

Abstract

The objective of this research is to identify the sentiments expressed by junior high school students at the sentence-level based sentiment analysis on three aspects: the instructor, the lesson, and the learning environment. This study has utilized the supervised learning method. The first dataset is gathered in sentence format, with each aspect represented. Linguistic specialists then choose the fundamental words within each aspect to serve as the target words for learning. Word2Vec’s Skip Gram algorithm is utilized to generate a corpus of words from each aspect. The instructor aspect consisted of 43 words, the lesson aspect consisted of 37 words, and the learning environment aspect consisted of 28 words. The second dataset of student reviews was subsequently utilized to construct a model for classifying the sentiments of the reviews into two distinct groups: positive and negative classes. This sentiment classifier model was developed by using a corpus of words obtained from the first dataset, which served as features for the modeling process. This study conducted a comparative analysis of two weighing algorithms, namely tf-idf and tf-igm. Furthermore, four supervised learning algorithms are compared. The algorithms used are k-Nearest Neighbor, Support Vector Machines, Random Forests, and Multinomial Naïve Bayes. After acquiring the sentiment classification model from the student reviews, it was evaluated using the third dataset of student reviews. This method involves segmenting sentences with white-spaces and utilizing Euclidean distance to group each sentence from a student review into particular aspect groups. The first dataset’s word corpus was employed for defining sentences into relevant groups. Finally, the sentiment classification model was applied to determine the sentiment polarity of each review's sentence. Following testing via the recall, precision, F1, and accuracy, It was discovered that the random forest algorithm together with tf-idf term weighting produced the most impressive results.

งานวิจัยฉบับนี้นำเสนอการจำแนกความรู้สึกระดับประโยคสำหรับความคิดเห็นของนักเรียนมัธยมศึกษาตอนต้นในสามมุมมอง (Aspect) คือ มุมมองด้านผู้สอน มุมมองด้านบทเรียน และมุมมองด้านสภาพแวดล้อมในการเรียน โดยในกระบวนการที่นำเสนอเป็นกระบวนการแบบมีผู้สอน โดยใช้ข้อมูลสามชุด ข้อมูลชุดที่หนึ่งจะเก็บในรูปแบบประโยคของแต่ละมุมมอง จากนั้นจะให้ผู้เชี่ยวชาญกำหนดคำเบื้องต้นในแต่ละด้านเพื่อเป็นคำเป้าหมาย (Target Word) ในการเรียนรู้ด้วย Skip gram ของ Word2Vec เพื่อรวบรวมคลังคำของแต่ละมุมมอง โดยได้จำนวนคำสำหรับมุมมองด้านผู้สอน 43 คำจำนวนคำสำหรับมุมมองด้านบทเรียน 37 คำ และจำนวนคำสำหรับมุมมองด้านสภาพแวดล้อมในการเรียน 28 คำ จากนั้นจะใช้ข้อมูลชุดที่สองซึ่งเก็บเป็นบทวิจารณ์ของนักเรียนเพื่อใช้ในการสร้างโมเดลเพื่อการจำแนกความรู้สึกจากบทวิจารณ์แบบสองกลุ่มคือความรู้สึกเชิงบวกและความรู้สึกเชิงลบ โดยอาศัยคลังคำที่ได้จากข้อมูลชุดที่หนึ่งเป็นคุณลักษณะในการสร้างโมเดล ในการศึกษานี้ได้ศึกษาเชิงเปรียบเทียบกับวิธีการให้น้ำหนักสองตัวคือ tf-idf และ tf-igm นอกจากนั้นยังมีการเปรียบเทียบอัลกอริทึมการเรียนรู้แบบมีผู้สอนจำนวนสี่ตัวคือ ขั้นตอนวิธีเพื่อนบ้านที่ใกล้ที่สุด ซัพพอร์ตเวกเตอร์แมชชีน ป่าสุ่ม และมัลติโนเมียลนาอีฟเบย์ เมื่อได้โมเดลการจำแนกความรู้สึกจากบทวิจารณ์แล้ว โมเดลดังกล่าวจะถูกใช้ทดสอบด้วยข้อมูลชุดที่สามซึ่งเก็บเป็นแบบบทวิจารณ์ จากนั้นจะทำการแยกประโยคด้วยเว้นวรรคและจะใช้วิธีการวิเคราะห์ความคล้ายคลึงโดยเทียบประโยคที่แยกได้กับคลังคำของแต่ละมุมมองที่ได้จากข้อมูลชุดที่หนึ่งเพื่อวิเคราะห์ว่าประโยคดังกล่าวควรจัดอยู่ในกลุ่มของมุมมองใด ท้ายที่สุดโมเดลเพื่อการจำแนกความรู้สึกจะถูกใช้ในการวิเคราะห์ขั้วความรู้สึกของแต่ละประโยค ภายหลังจากการทดสอบด้วยค่าความระลึก ค่าความแม่นยำ ค่าเอฟ และค่าความถูกต้อง พบว่าอัลกอริทึมป่าสุ่มที่ทำงานร่วมกับการให้น้ำหนักแบบ tf-idf ให้ประสิทธิภาพที่ดีที่สุด