
Google เพิ่มฟีเจอร์ใช้คอมพิวเตอร์แทนผู้ใช้ (Computer Use) ให้แอป Gemini บน Mac แล้ว ผู้ใช้เพียงพิมพ์บอกเป็นภาษาธรรมดาว่าต้องการอะไร จากนั้น Gemini จะคลิก พิมพ์ เปิดเมนู และกรอกฟอร์มข้ามไปมาระหว่างไฟล์ในเครื่อง แอปบนเดสก์ท็อป และหน้าเว็บ จนงานหลายขั้นตอนเสร็จ โดยทั้งหมดเกิดขึ้นในหน้าต่างเบื้องหลัง ผู้ใช้จึงยังใช้หน้าจอและเมาส์ทำงานอื่นต่อได้ตามปกติ
Computer Use เป็น AI Agent รูปแบบหนึ่ง ซึ่งหมายถึง AI ที่ลงมือทำงานต่อเนื่องหลายขั้นตอนได้เอง แต่จุดต่างคือ AI จะมองสิ่งที่อยู่บนหน้าจอแล้วกดปุ่ม พิมพ์ข้อความ หรือเลือกเมนูแบบเดียวกับที่คนใช้คอมพิวเตอร์ แทนการเชื่อมกับแต่ละโปรแกรมผ่านช่องทางเฉพาะอย่าง Application Programming Interface (API) ก่อนหน้านี้ Google เคยเปิดความสามารถนี้ให้นักพัฒนาใช้ผ่านโมเดล Gemini 2.5 Computer Use ซึ่งเน้นการทำงานบนเว็บเบราว์เซอร์ ส่วนครั้งนี้เป็นการนำมาใส่ในแอปที่ผู้ใช้ทั่วไปใช้งานจริง และขยายขอบเขตไปถึงโปรแกรมบนเดสก์ท็อปด้วย
ถึงอย่างนั้น Google ก็มาช้ากว่าคู่แข่งอยู่พอสมควร เพราะ OpenAI, Anthropic และ Meta ต่างใส่ฟีเจอร์ AI Agent ไว้ในแอปเดสก์ท็อปของตัวเองมาสักพักแล้ว ขณะที่ Google เพิ่งขยายการเปิดใช้ Tasks โหมดที่เปลี่ยน Gemini จากแชตบอตเป็นผู้ช่วยที่ล็อกอินเว็บไซต์ ซื้อของออนไลน์ และจองนัดหมายแทนผู้ใช้ได้ เมื่อต้นสัปดาห์นี้เอง ส่วน CC ผู้ช่วย AI ที่ช่วยครอบครัวจัดการอีเมล ปฏิทิน แชต และงานต่างๆ ซึ่งประกาศไปตั้งแต่เดือนกันยายน ก็เพิ่งเริ่มเปิดให้ผู้ทดสอบกลุ่มแรกได้ลองใช้
จุดที่ Google ชูมากที่สุดจึงอยู่ที่วิธีทำงานของ Gemini เพราะแทนที่จะเข้ามาคุมหน้าจอหลัก Gemini จะทำงานในหน้าต่างแยกที่รันอยู่เบื้องหลัง (Isolated Background Window) แล้วแสดงภาพสดของสิ่งที่กำลังทำ (Live Preview) ไว้ในหน้าแชต ผู้ใช้จึงพิมพ์งาน ออกแบบ หรือประชุมสายต่อได้ โดยไม่ต้องแย่งเมาส์ตัวเดียวกับ AI
ในด้านการควบคุม ผู้ใช้เลือกเองได้ว่าจะอนุญาตให้ Gemini เข้าถึงแอปไหนบ้าง ดูการทำงานได้ทุกขั้นตอน และกดหยุดได้ทุกเมื่อด้วยคลิกเดียว อีกทั้ง Gemini ต้องขออนุมัติก่อนทำขั้นตอนสำคัญทุกครั้ง และจะหยุดรอให้ผู้ใช้จัดการเองเมื่อเจอหน้าล็อกอินหรือการชำระเงิน ซึ่งเป็นแนวทางเดียวกับผู้ช่วย AI เจ้าอื่นที่ใช้คอมพิวเตอร์แทนผู้ใช้ได้
Michael Friedman ผู้จัดการผลิตภัณฑ์กลุ่มของแอป Gemini ระบุในประกาศเปิดตัวว่า ฟีเจอร์นี้ตั้งใจมาช่วย ‘งานซ้ำๆ ที่ปกติต้องคลิกกันหลายสิบครั้ง’ เพราะงานประจำวันจำนวนมากต้องสลับไปมาระหว่างแอปบนเดสก์ท็อปกับเว็บไซต์ที่ไม่ได้เชื่อมถึงกัน
ตัวอย่างที่ Google ยกมาจึงมีตั้งแต่งานสร้างสรรค์ อย่างการปรับสีภาพถ่ายทีละหลายรูปในโปรแกรมออกแบบที่ผู้ใช้ถนัด หรือการจัดฉากสามมิติที่ซับซ้อน ไปจนถึงงานเอกสาร อย่างการดึงน้ำหนัก ขนาด และที่อยู่จากไฟล์ PDF ในเครื่อง ไปกรอกแบบฟอร์มขอใบเสนอราคาค่าขนส่งที่มีพัสดุหลายกล่อง
นอกจากนี้ Gemini ยังรวบรวมตัวเลขและภาพหน้าจอจากแดชบอร์ดของหลายภูมิภาค แล้วนำมาทำเป็นสไลด์นำเสนอใน Google Slides ได้ ส่วนคนที่ขายของออนไลน์ Gemini สามารถไล่ดูรูปเสื้อผ้าในโฟลเดอร์ ค้นราคาตลาด บันทึกรายละเอียดของแต่ละชิ้น แล้วเตรียมร่างประกาศขายบนแพลตฟอร์มขายของมือสองไว้ให้ รวมถึงงานพื้นฐานอย่างการจัดไฟล์ลงโฟลเดอร์ตามเงื่อนไขที่กำหนด หรือการทำงานเดิมซ้ำกับไฟล์จำนวนมาก
ความสะดวกนี้มาพร้อมสิทธิ์เข้าถึงเครื่องที่กว้างขึ้นมาก เพราะก่อนเริ่มใช้งาน ผู้ใช้ต้องเปิดสิทธิ์การช่วยการเข้าถึง (Accessibility) และการบันทึกหน้าจอ (Screen Recording) ของ macOS ให้ Gemini และหากเลือก ‘อนุญาตเสมอ’ (Always Allow) กับแอปใด Gemini จะเข้าแอปนั้นได้โดยไม่ต้องถามซ้ำ แม้การกระทำที่อ่อนไหวจะยังต้องให้ผู้ใช้ยืนยันก็ตาม
Google เองก็ยอมรับความเสี่ยงเหล่านี้ไว้ในเอกสารช่วยเหลือ โดยระบุว่า Gemini เข้าถึงแอปที่ล็อกอินบัญชีค้างไว้ได้ และอาจอ่านรหัสยืนยันตัวตนที่แสดงอยู่ในแอปบนเดสก์ท็อปหรือแอปแชตได้ อีกความเสี่ยงคือการแฝงคำสั่ง (Prompt Injection) หรือการซ่อนข้อความสั่งการไว้ในเนื้อหาที่ดูธรรมดา ซึ่ง Google ระบุว่าเนื้อหาที่ไม่น่าไว้วางใจในแอปหนึ่ง อาจชักนำให้ Gemini ไปทำบางอย่างในอีกแอปที่ได้รับอนุญาตไว้
ในทำนองเดียวกัน หากให้สิทธิ์กับโปรแกรมเขียนโค้ดหรือเครื่องมือของนักพัฒนา Gemini ก็อาจรันคำสั่งที่กระทบไฟล์อื่นนอกเหนือจากงานที่สั่งได้ แม้จะมีระบบสำรองข้อมูลชั่วคราวให้เปิดใช้ แต่ข้อมูลสำรองนี้จะหมดอายุภายใน 24 ชั่วโมงหรือเมื่อผู้ใช้สั่งงานใหม่ แล้วแต่ว่าอย่างไหนถึงก่อน และบางแอปก็ไม่รองรับการสำรองข้อมูล ทำให้การเปลี่ยนแปลงบางอย่างย้อนกลับไม่ได้
จังหวะเปิดตัวครั้งนี้ยังน่าจับตา เพราะเพียงสามวันก่อนหน้า Apple เพิ่งปล่อย macOS 27.3 รุ่นทดสอบ (Beta) ที่ปรับระบบขอสิทธิ์ให้เข้มขึ้นสำหรับแอปที่ต้องการควบคุมเครื่องหรือเข้าถึงข้อมูลในวงกว้าง เพื่อรับมือความเสี่ยงจาก AI Agent ที่ควบคุมคอมพิวเตอร์ได้ ขณะที่ Google ยังไม่ได้อธิบายว่า Gemini จะทำงานภายใต้กฎใหม่นี้อย่างไร อีกด้านหนึ่ง การที่ Gemini ใช้ Mac แทนผู้ใช้ได้ ก็เพิ่มแรงกดดันให้ Apple ต้องเร่งพัฒนา Siri ให้ทำงานแทนผู้ใช้ได้มากขึ้นด้วย
สำหรับการเปิดใช้งาน ฟีเจอร์ Computer Use เริ่มทยอยเปิดแล้วเฉพาะภาษาอังกฤษในสหรัฐฯ สำหรับบัญชี Google ส่วนตัวของผู้ใช้อายุ 18 ปีขึ้นไปที่สมัครแพ็กเกจ Google AI Plus, Pro หรือ Ultra โดยต้องใช้ Mac ชิป Apple Silicon ที่รัน macOS Sequoia 15 ขึ้นไป ส่วนแผนขยายไปยังตลาดและแพลตฟอร์มอื่น Google ยังไม่ได้ระบุ ผู้ใช้ในไทยจึงยังใช้ฟีเจอร์นี้ไม่ได้ แม้จะสมัครแพ็กเกจแบบเสียเงินอยู่แล้วก็ตาม
ที่มา: TechCrunch, Google
ลงทะเบียนเข้าสู่ระบบ เพื่ออ่านบทความฟรีไม่จำกัด