มหาวิทยาลัยแคนซัสพัฒนาเครื่องตรวจจับข้อความจาก AI (AI detector) ใช้จับผิดงานวิชาการโดยเฉพาะ แม่นยำถึง 99%

มหาวิทยาลัยแคนซัส (University of Kansas) พัฒนาเครื่องมือตรวจจับข้อความที่ AI สร้าง (AI detector) ในเอกสารงานวิชาการโดยเฉพาะ และตรวจจับได้แม่นยำถึง 99 %

AI detector เครื่องตรวจจับข้อความ AI จากมหาลัยฯ แคนซัส

จากความนิยมของการใช้งาน ChatGPT และ AI Chatbot สุดฉลาด ที่สามารถตอบคำถาม เขียนบทความ แต่งนิยาย จนไปถึงเขียนงานวิชาการได้ ทำให้เกิดข้อกังวลว่าจะมีผู้ใช้งานมันในทางที่ผิด และการให้ข้อมูลที่ไม่ถูกต้อง 

ซึ่งเกิดขึ้นได้ เพราะปัจจุบัน AI ก็ยังมีข้อผิดพลาดอยู่ ข้อควรระวังคือเราอาจจะแยกไม่ออกว่าข้อความหรือบทความนั้นมาจากมนุษย์หรือตัว AI กันแน่

ล่าสุด การศึกษาของมหาวิทยาลัยแคนซัส ใช้วิธีป้อนบทความทางวิทยาศาสตร์ที่ถูกต้อง 64 ชิ้น ให้กับ ChatGPT จากนั้นขอให้มันช่วยสร้างบทความใหม่ขึ้นมาอีก 128 ชิ้น และใช้อัลกอริทึมตรวจสอบ โดยตรวจสอบทั้งบทความที่เป็นของจริง กับบทความที่ AI สร้างขึ้นมาใหม่

ซึ่งปรากฎว่าบทความทั้งหมด 60 ชิ้นที่มาจาก ChatGPT นั้น ถูกตรวจจับได้ว่าสร้างโดย AI และมีความแม่นยำสูงถึง 99 % ในระดับย่อหน้า (Paragraph level) ตรวจสอบแม่นยำถึง 92 %

การศึกษายังชี้อีกว่า จุดที่จับโป๊ะได้หรือจุดที่จะสังเกตได้ชัดเจนเลยว่าข้อความนั้นไม่ได้มาจากฝีมือมนุษย์แต่เป็น AI คือ มนุษย์จะเขียนย่อหน้า (Paragraph) ยาวกว่า เลือกใช้ศัพท์ที่ยากกว่าหรือศัพท์ที่ไม่ได้ใช้กันทั่วไป ใส่เครื่องหมายวรรคตอนมากกว่า เช่น "อย่างไรก็ตาม" "แต่" และ "แม้ว่า" นอกจากนั้นวิธีการอ้างอิงตัวเลขหรือข้อมูล ChatGPT ก็ทำไม่ละเอียดเท่าคนทำ

Heather Desaire นักวิจัยและอาจารย์สอนวิชาเคมี มหาวิทยาลัยแคนซัส กล่าวว่า ทีมผู้วิจัยพยายามทำให้เครื่องมือนี้ใช้งานง่ายที่สุด เพื่อให้เกิดการใช้งานอย่างกว้างขวาง แม้แต่นักเรียนมัธยมปลายก็สามารถสร้างตัวตรวจจับ AI ตรวจงานเขียนได้

ตอนนี้โมเดลเครื่องตรวจจับจะใช้ได้ดีกับเอกสารทางวิชาการเท่านั้น แต่ Desaire ยืนยันว่า เราสามารถใช้วิธีเดียวกันนี้ สร้างเครื่องตรวจจับข้อความเพื่อใช้กับงานเขียนรูปแบบอื่นได้

แต่เครื่องตรวจจับ AI ก็ไม่ได้แม่นยำเสมอไป

กรณีศึกษาจาก มหาวิทยาลัยแคลิฟอร์เนีย (University of California) เมืองเดวิส นักศึกษาคนหนึ่งถูกอาจารย์กล่าวหาว่าโกง ด้วยการใช้ AI ทำเปเปอร์ 

โดยอาจารย์อ้างว่าใช้โปรแกรม Turnitin แพลตฟอร์มตรวจสอบงานเขียน ว่ามีการคัดลอกผลงานของผู้อื่นมาหรือใช้ AI ทำ หรือไม่ และคำตอบที่โปรแกรมให้คืองานชิ้นนั้นมีการใช้ AI เขียน (Turnitin อ้างว่าเครื่องมือตรวจจับงานเขียน AI ของบริษัทมีความแม่นยำถึง 98%)

แต่ปรากฎว่าท้ายที่สุด หลังยื่นเรื่องให้กิจการนิสิตของมหาวิทยาลัยตรวจสอบ นักศึกษาหญิงผู้ถูกกล่าวหาชนะคดีข้อสงสัยดังกล่าว ยืนยันด้วย Timestamp ว่าเธอเป็นคนทำงานนี้เองจริงๆ

แม้แต่ Classifier เครื่องมือที่เจ้าของ ChatGPT อย่าง OpenAI ปล่อยออกมาเพื่อใช้ตรวจสอบและคัดแยกข้อความที่มาจาก AI และมนุษย์ ยังมีมีอัตราความสำเร็จประมาณ 26% เท่านั้น

จากกรณีศึกษาทั้งสองกรณีเราเห็นชัดว่า เครื่องมือ AI ยังไม่สมบูรณ์แบบ ถึงตอนนี้จะฉลาดมากๆ แต่ก็ยังมีข้อผิดพลาด การใช้ AI เป็นเครื่องมือช่วยทำงานคงเป็นอะไรที่เราเลี่ยงไม่ได้ในปัจจุบันและอนาคต การเรียนรู้ที่จะใช้มันอย่างฉลาดและรอบคอบจึงเป็นสิ่งที่ควรให้ความสำคัญ 

อ้างอิง : forbes , gizmodo