ระบบการแนะนำสำหรับการจัดการความสัมพันธ์ด้วยโมเดลภาษาขนาดใหญ่
RECOMMENDATION SYSTEM FOR RELATIONSHIP MANAGEMENT WITH LLM
ผู้จัดทำ: นายคุณวุฒิ แก้วนพรัตน์
อาจารย์ที่ปรึกษา: ผู้ช่วยศาสตราจารย์วัชรชัย วิริยะสุทธิวงศ์
ที่มาและความสำคัญ
ปัจจุบันธุรกิจ Wealth Management เผชิญความท้าทายในการดูแลลูกค้ากลุ่มสินทรัพย์สูงที่มีความต้องการเฉพาะตัวและมีความซับซ้อน. ในขณะเดียวกัน ผู้จัดการความสัมพันธ์ (Relationship Manager หรือ RM) ต้องรับผิดชอบดูแลลูกค้าเป็นจำนวนมาก ทำให้การเตรียมข้อมูลเพื่อแนะนำให้ตอบโจทย์การดูแลลูกค้าแบบเฉพาะบุคคล (Personalization) ต้องอาศัยประสบการณ์ค่อนข้างสูงและใช้เวลานาน. ข้อจำกัดนี้ก่อให้เกิดช่องว่างด้านมาตรฐานการบริการระหว่าง RM ที่มีประสบการณ์ต่างกัน และส่งผลให้เวลาในการสร้างความสัมพันธ์เชิงลึกกับลูกค้าลดน้อยลง. โครงงานนี้จึงมุ่งพัฒนาและนำเทคโนโลยี Generative AI โดยประยุกต์ใช้โมเดลภาษาขนาดใหญ่ (LLM) และเทคนิค Retrieval-Augmented Generation (RAG) บนแพลตฟอร์ม Databricks มาบูรณาการเข้ากับฐานข้อมูลลูกค้า เพื่อสร้างระบบแนะนำหัวข้อบทสนทนาอัจฉริยะที่จะช่วยเพิ่มประสิทธิภาพการทำงานของ RM ในทุกระดับ.
วัตถุประสงค์
-
เพื่อออกแบบสถาปัตยกรรม Multi-Agent สำหรับสร้างบทสนทนาเฉพาะบุคคล (Personalized) เพื่อยกระดับมาตรฐานการทำงานของ RM ให้มีประสิทธิภาพทัดเทียมกัน
-
เพื่อพัฒนาระบบ Generative AI ที่บูรณาการข้อมูลครบวงจร เพื่อเพิ่มความแม่นยำในการแนะนำและลดระยะเวลาการเตรียมข้อมูลของ RM
วิธีการดำเนินงาน (Methodology)
กระบวนการพัฒนาระบบและสถาปัตยกรรมการประมวลผลแบ่งออกเป็น 2 ส่วนงานหลัก ดังนี้:
-
Topic Workflow (กระบวนการสร้างหัวข้อ): ดำเนินการเตรียมข้อมูล (Prep Data) และทำ Prompt Engineering บนแพลตฟอร์ม Databricks จากนั้นส่งต่อข้อมูลมายัง VS Code เพื่อทำการสร้างหัวข้อบทสนทนา (Create Topics).
-
ChatBot Workflow (กระบวนการทำงานของแชทบอท): เริ่มจากการเตรียมข้อมูล (Prep Data) และสร้างระบบ RAG ผ่าน VS Code จากนั้นเชื่อมต่อการทำงานร่วมกับสถาปัตยกรรม AI Agents และกระบวนการ Prompt Engineering เพื่อส่งผลลัพธ์ไปยังส่วนหน้าบ้าน (Frontend) โดยมีระบบ SourceTree ในการผลักและดึงซอร์สโค้ด (Push/Pull).
นอกจากนี้ โครงงานได้พัฒนาหน้าเว็บจำลอง (Mock up website) เพื่อรวมศูนย์ Insight ของลูกค้าไว้ครบจบในหน้าเดียว. โดยโครงสร้างฝั่งซ้ายจะจัดแสดงข้อมูลพอร์ตการลงทุน ยอดสินทรัพย์ภายใต้การบริหารจัดการ (AUM) และข้อมูลเชิงลึก. ส่วนกลางทำหน้าที่เป็นระบบค้นหาข้อมูลและแสดงรายการหัวข้อชวนคุย (List Topic) และฝั่งขวาจะระบุแหล่งข้อมูลอ้างอิง (Reference) พร้อมแผนการดำเนินการ (Action Plan) ที่ชัดเจนเพื่อให้ RM นำไปใช้ดูแลลูกค้าได้อย่างแม่นยำ.
ผลการดำเนินงาน (Results)
1. ผลการทดสอบระบบด้วย Automated Testing (ประเมินจากทั้งหมด 30 กรณีทดสอบ):
-
Accuracy (ความถูกต้อง): ผ่านเกณฑ์ทั้งหมด 26 จาก 30 กรณีทดสอบ (หรือคิดเป็น 87.3% )
-
Hallucination (การหลอนของข้อมูล): ผ่านเกณฑ์ทั้งหมด 27 จาก 30 กรณีทดสอบ
-
Mood and Tone (อารมณ์และน้ำเสียง): ผ่านเกณฑ์ทั้งหมด 29 จาก 30 กรณีทดสอบ
-
Agent Selection (การเลือกเอเจนต์): ผ่านเกณฑ์ทั้งหมด 25 จาก 30 กรณีทดสอบ (หรือคิดเป็น 83.3% )
2. ผลลัพธ์การประเมิน Feedback จาก Relationship Manager (คะแนนเต็ม 5 คะแนน):
-
ระบบมีประโยชน์ในการเตรียมข้อมูลก่อนพบลูกค้า: คะแนนเฉลี่ย 4.7 คะแนน
-
ระบบช่วยลดระยะเวลาในการเตรียมข้อมูลได้จริง: คะแนนเฉลี่ย 4.6 คะแนน
-
บทสนทนาที่ระบบสร้างขึ้นมีความตรงประเด็น: คะแนนเฉลี่ย 4.5 คะแนน
-
ระบบทำให้การทำงานมีประสิทธิภาพมากขึ้น: คะแนนเฉลี่ย 4.7 คะแนน
-
ความง่ายในการใช้งานส่วนหน้าบ้าน (Frontend): คะแนนเฉลี่ย 4.6 คะแนน
-
ความเป็นธรรมชาติของภาษาในหัวข้อบทสนทนา: คะแนนเฉลี่ย 4.5 คะแนน
สรุปประเด็นปัญหาสำคัญที่พบ (Key Pain Points):
-
Thai NLP Challenge: ระบบยังสับสนกับสำนวนภาษาไทยที่มีคำศัพท์เฉพาะหรือคำที่สื่อสารได้หลายความหมาย ส่งผลให้ตัวควบคุมระบบ (Orchestrator) ตัดสินใจเลือก Agent ผิดพลาด และทำให้ค่าความถูกต้องผิดตามไปด้วย.
-
Data Refresh Rate: ในบางกรณีทดสอบที่ค่าความถูกต้องลดต่ำลง เกิดจากความหน่วงของข้อมูลในระบบ RAG Pipeline ที่ไม่เชื่อมโยงประสานกับข้อมูลจริงในจังหวะเวลาที่ทำการทดสอบ.
สรุปผล (Conclusion)
โครงการนี้ประสบความสำเร็จในการพัฒนาระบบ Multi-Agent ด้วยเทคโนโลยี LangGraph เพื่อสร้างหัวข้อสนทนาแบบเฉพาะบุคคล (Personalized) ให้แก่ผู้จัดการความสัมพันธ์ (RM) กลุ่มลูกค้า Wealth ของ ttb ได้โดยอัตโนมัติ. ระบบสามารถช่วยลดระยะเวลาในการเตรียมข้อมูลและช่วยยกระดับคุณภาพการบริการให้เทียบเท่าผู้เชี่ยวชาญได้อย่างมีประสิทธิภาพ. ผลการทดสอบเชิงประจักษ์พบว่าระบบมีค่าความถูกต้องรวม 87.3% และได้รับคะแนนความพึงพอใจรวมจากผู้ใช้งานจริงสูงถึง 92%. ทั้งนี้ โครงงานได้ให้ข้อเสนอแนะในการพัฒนาต่อยอดสู่ระดับองค์กรอย่างยั่งยืนผ่านการปรับปรุงขั้นตอนการเตรียมข้อมูลภาษาไทย (Preprocessing) การขยายขอบเขตการให้บริการ และการเพิ่มความถี่ในการรักษาความสดใหม่ของข้อมูลเพื่อรองรับการใช้งานจริงในอนาคต