ใช้ Computer Use ใน Claude Code ได้แล้ว! ยกระดับ AI เขียนโค้ด สั่งใช้คอมแทน เปิดแอป คลิก เทสต์ และแก้บั๊กได้ตรงจาก CLI

Anthropic เปิดตัวความสามารถใหม่ “Computer Use” บน Claude Code ที่ขยายขีดความสามารถของการพัฒนาโปรแกรมผ่าน CLI ไปอีกขั้น โดยไม่ใช่แค่การเขียนโค้ด แต่ Claude สามารถลงมือใช้งานจริง บนเครื่องของผู้ใช้ได้ ตั้งแต่การเปิดแอป คลิกเมนู พิมพ์โต้ตอบกับ UI ไปจนถึงมองเห็นหน้าจอ เพื่อทดสอบและตรวจสอบผลงานที่สร้างขึ้นแบบ end-to-end ได้ครบใน Workflow เดียว

ฟีเจอร์นี้อยู่ในช่วง Research preview สำหรับผู้ใช้แผน Pro และ Max บน macOS เท่านั้น โดยรองรับการทำงานแบบ Interactive session และต้องใช้ Claude Code เวอร์ชัน 2.1.85 ขึ้นไป

AI ที่ไม่ได้แค่เขียนโค้ด แต่ใช้งานโปรแกรมแทนเรา

ความสามารถ Computer Use ทำให้บทบาทของ AI ขยับจากผู้ช่วยเขียนโค้ด ไปสู่การเป็น Agent ที่สามารถลงมือทำงานจริงบนเครื่องของผู้ใช้ได้ครบทั้งกระบวนการ ภายในคำสั่งเดียว 

Claude ไม่เพียงเขียนโค้ด แต่ยังสามารถ Compile เปิดแอป คลิกทดสอบ ค้นหา Bug แก้ไข และตรวจสอบผลลัพธ์ซ้ำได้แบบ end-to-end โดยไม่ต้องสลับเครื่องมือหรือออกจาก CLI

นอกจากนี้ Claude ยังสามารถทำงานกับแอปที่ไม่มี CLI หรือ API ได้ เช่น Design tools, Simulator หรือซอฟต์แวร์เฉพาะทาง พร้อมทั้ง “มองเห็น” หน้าจอในแบบเดียวกับผู้ใช้ และโต้ตอบกับ UI ได้เหมือนการใช้งานจริงของมนุษย์

ผลลัพธ์คือ Workflow เดิมที่นักพัฒนาต้องลุกออกจาก Terminal ไปจัดการเองในแต่ละขั้นตอน ถูกยุบรวมให้ Claude จัดการให้ทั้งหมดภายใน Flow เดียว

ตั้งแต่ Build ยัน Debug UI

Computer Use ถูกออกแบบมาเพื่อจัดการงานที่ต้อง “ใช้หน้าจอจริง” ให้จบในที่เดียว โดยไม่ต้องออกจาก CLI ตัวอย่างการใช้งานหลัก ๆ ได้แก่

1. สร้างและทดสอบแอปแบบครบวงจร Claude สามารถเขียนโค้ด (เช่น Swift) จากนั้น Compile แอป เปิดใช้งาน และลองคลิกใช้งานทุกฟังก์ชันเพื่อตรวจสอบว่าใช้งานได้จริง
2. ทดสอบ UI แบบ end-to-end ไม่ต้องตั้งค่าเครื่องมือ Test เพิ่มเติม เพียงสั่งให้ Claude ทดสอบ Flow เช่น การสมัครใช้งาน ระบบจะเปิดแอป คลิกตามขั้นตอน และบันทึกภาพหน้าจอให้ครบ
3. แก้ปัญหา UI หรือ Layout หากมีบั๊กด้านหน้าตา เช่น Modal ล้นหน้าจอ Claude สามารถปรับขนาดหน้าต่างเพื่อจำลองปัญหา แคปหน้าจอ แก้โค้ด และตรวจสอบผลลัพธ์ให้ทันที
4. ใช้งานโปรแกรมที่ไม่มี API หรือ CLI รองรับเครื่องมือที่ปกติ Automate ยาก เช่น iOS Simulator, Hardware control panel หรือซอฟต์แวร์เฉพาะทาง

โดยรวมคือ งานที่เคยต้อง “เปิดแอปแล้วลองทำเองทีละขั้น” ตอนนี้สามารถสั่งให้ Claude ทำแทนได้ทั้งหมดใน Flow เดียว

คุมหน้าจอจริง พร้อมระบบความปลอดภัย

การใช้งาน Computer Use เริ่มต้นจากการเปิดฟีเจอร์ผ่านคำสั่ง /mcp และอนุญาตสิทธิ์บน macOS ได้แก่ Accessibility และ Screen Recording จากนั้น Claude จะสามารถควบคุมเครื่องของผู้ใช้ได้เสมือนการใช้งานจริง ทั้งการคลิก พิมพ์ และมองเห็นสิ่งที่อยู่บนหน้าจอ

อย่างไรก็ตาม การทำงานถูกออกแบบให้มีระบบความปลอดภัยกำกับในทุกขั้นตอน โดยผู้ใช้ต้องอนุญาตการเข้าถึงเป็นรายแอปในแต่ละ Session พร้อมมีการแจ้งเตือนหากแอปนั้นมีสิทธิ์ระดับสูง เช่น การเข้าถึงไฟล์ ระบบ หรือการตั้งค่าเครื่อง นอกจากนี้ ผู้ใช้สามารถหยุดการทำงานของ Claude ได้ทันทีทุกเมื่อด้วยการกดปุ่ม Esc

อีกหนึ่งกลไกสำคัญคือ Claude จะไม่สามารถมองเห็นหน้าต่าง Terminal ของผู้ใช้ เพื่อลดความเสี่ยงจาก Prompt injection และในระหว่างที่ Claude กำลังทำงาน แอปอื่น ๆ จะถูกซ่อนไว้ชั่วคราว เพื่อให้การควบคุมเกิดขึ้นเฉพาะกับแอปที่ได้รับอนุญาตเท่านั้น ก่อนจะกลับสู่สถานะปกติเมื่อการทำงานเสร็จสิ้น

นอกจากนี้ Claude จะไม่รีบใช้ Computer Use ทันที แต่จะเลือกวิธีที่ง่ายและตรงที่สุดก่อน ถ้างานนั้นมี API ก็จะใช้ MCP ถ้าเป็นคำสั่งในเครื่องก็ใช้ Bash และถ้าเป็นงานบนเว็บก็จะใช้ Browser แทน

แต่ถ้างานนั้นทำแบบอื่นไม่ได้จริง ๆ เช่น ต้องเปิดแอป คลิก หรือใช้งานบนหน้าจอโดยตรง Claude ถึงจะเลือกใช้ Computer Use เพื่อเข้ามาควบคุมหน้าจอและทำแทนผู้ใช้

เมื่อ AI เขียนโค้ดได้เร็วขึ้น จุดคอขวดจึงย้ายจาก “การสร้าง” ไปสู่ “การลองใช้และตรวจสอบ” ซึ่งยังต้องอาศัยมนุษย์จำนวนมาก และนี่คือช่องว่างที่ Computer Use เข้ามาเติมเต็ม แม้ยังอยู่ในช่วงทดลอง แต่ทิศทางนี้ชี้ว่า AI agent ในอนาคตอาจทำงานได้ครบตั้งแต่สร้าง ใช้งาน ตรวจสอบ ไปจนถึงแก้ไขใน Flow เดียว ลดภาระงานซ้ำ ๆ ของมนุษย์ลงอย่างชัดเจน