การศึกษาระบบการวิเคราะห์ความคิดเห็นของกีฬาฟุตบอลไทยด้วยระบบ Zocial Eye

A Study of Sentiment Analysis on Thai Football Using Zocial Eye

ผู้จัดทำ: นางสาววารี ประมงกิจ

อาจารย์ที่ปรึกษา: ผู้ช่วยศาสตราจารย์ ดร.ศรีศุภางค์ ทิ้วสุวรรณ

ที่มาและความสำคัญ

การวิเคราะห์ความคิดเห็น (Sentiment Analysis) บนโซเชียลมีเดียมีความสำคัญในการทำความเข้าใจมุมมองของผู้ใช้งานต่อกีฬาฟุตบอลไทย ระบบ Zocial Eye เป็นเครื่องมืออัตโนมัติที่ใช้จำแนกอารมณ์ของข้อความ โครงการนี้จึงศึกษาและประเมินประสิทธิภาพของระบบดังกล่าว โดยเปรียบเทียบกับการประเมินแบบ Manual เพื่อวัดความสอดคล้องและระบุข้อจำกัดของระบบ

วัตถุประสงค์

1. ศึกษาระบบการวิเคราะห์ความคิดเห็นของกีฬาฟุตบอลไทยด้วยระบบ Zocial Eye
2. เปรียบเทียบผลการจำแนกอารมณ์ของข้อความเกี่ยวกับฟุตบอลไทยระหว่างระบบอัตโนมัติและการประเมินแบบ Manual
3. ประเมินประสิทธิภาพและความสอดคล้องของระบบโดยใช้ตัวชี้วัดทางสถิติ

วิธีการดำเนินงาน

กระบวนการดำเนินงานแบ่งเป็น 2 ส่วนควบคู่กัน ดังนี้

Machine Learning Process:

• Text Preprocessing
• Feature Extraction (TF-IDF) — แปลงข้อความเป็นตัวเลขโดยคำนึงถึงความสำคัญของคำในแต่ละข้อความ สร้างจำนวน Features ทั้งหมด 3,366 Features
• Model Training — ใช้ Logistic Regression Model แบ่งข้อมูลออกเป็นชุดฝึกสอน 480 ตัวอย่าง และชุดทดสอบ 120 ตัวอย่าง มีคุณลักษณะจำนวน 2,774 ตัวแปร หลังจากฝึกโมเดล ได้ค่าความแม่นยำ (Accuracy) เท่ากับ 0.7166 หรือประมาณ 71.66%

Human Annotation Process:

• Manual Annotation โดย Annotators จำนวน 3 คน
• Majority Vote เพื่อกำหนด Ground Truth

จากนั้นนำข้อมูลใหม่ (Test Data) ไปทำนายความน่าจะเป็นและตัดสินใจจัดประเภทเป็น Positive, Neutral หรือ Negative แล้วนำมาเปรียบเทียบและประเมินผลด้วย Accuracy และ Kappa

ผลการดำเนินงาน

ผลการวิเคราะห์ด้วย Confusion Matrix แสดงดังนี้:

ผลการคำนวณค่าประสิทธิภาพของระบบ:

• ค่า Accuracy: 67.67% สะท้อนว่าเครื่องมือสามารถจำแนกอารมณ์ได้สอดคล้องกับการประเมินมนุษย์มากกว่าครึ่งหนึ่งอย่างมีนัยสำคัญ แต่ยังมีความคลาดเคลื่อนประมาณร้อยละ 32 ซึ่งส่วนใหญ่เกิดจากการจำแนกข้อความที่มีลักษณะกำกวมหรือมีบริบทซับซ้อน
• ค่า Cohen's Kappa: K ≈ 0.52 อยู่ในระดับปานกลาง (Moderate Agreement) แสดงให้เห็นว่าเครื่องมือ Zocial Eye มีความสามารถในการจำแนกอารมณ์ได้สอดคล้องกับการประเมินของมนุษย์มากกว่าความบังเอิญอย่างมีนัยสำคัญ

สรุปผลการดำเนินงาน

ผลการวิเคราะห์ด้วย Confusion Matrix พบว่ามีข้อความที่เครื่องมือและผู้ประเมินให้ผลตรงกันจำนวน 406 ข้อความ จากทั้งหมด 600 ข้อความ คิดเป็นค่า Accuracy เท่ากับร้อยละ 67.67 เมื่อคำนวณค่า Cohen's Kappa ซึ่งเป็นค่าที่ใช้วัดระดับความสอดคล้องโดยหักผลความบังเอิญออก ได้ค่า K ≈ 0.52 ซึ่งอยู่ในระดับปานกลาง (Moderate Agreement) แสดงให้เห็นว่าเครื่องมือ Zocial Eye มีความสามารถในการจำแนกอารมณ์ได้สอดคล้องกับการประเมินของมนุษย์มากกว่าความบังเอิญอย่างมีนัยสำคัญ