เมื่อวันพฤหัสบดีที่ผ่านมา OpenAI ได้เปิดตัวฟีเจอร์ใหม่ที่เรียกว่า Work with Apps ซึ่งช่วยให้ AI สามารถเข้าใจและทำงานร่วมกับแอปพลิเคชันบนหน้าจอคอมพิวเตอร์ได้ ฟีเจอร์นี้แม้จะดูคล้ายกับแนวคิดของ AI Agent แต่ OpenAI ย้ำว่านี่ไม่ใช่ AI Agent อย่างเต็มรูปแบบ หากแต่เป็นจุดเริ่มต้นที่ออกแบบมาเพื่อช่วยให้ AI ทำงานร่วมกับเครื่องมือเขียนโค้ดได้อย่างมีประสิทธิภาพมากขึ้น

TechCrunch รายงานเพิ่มเติมว่า OpenAI กล่าวว่า ฟีเจอร์ดังกล่าวถือเป็น "ก้าวสำคัญ" ในการพัฒนา AI ที่สามารถเข้าใจและประมวลผลเนื้อหาบนคอมพิวเตอร์ได้หลากหลายขึ้น ซึ่งเป็นพื้นฐานสำคัญในการพัฒนาสู่ระบบ AI Agent ในอนาคต

ความเคลื่อนไหวนี้ยิ่งน่าจับตามอง เมื่อ Bloomberg รายงานว่า OpenAI กำลังพัฒนา AI อเนกประสงค์ในชื่อโค้ดเนม Operator ที่คาดว่าจะเปิดตัวในต้นปี 2025 ซึ่ง Operator นี้จะเป็นคู่แข่งสำคัญของ AI Agent จากบริษัทอื่น เช่น Anthropic และระบบที่มีข่าวว่า Google กำลังพัฒนาในชื่อ Jarvis

Work with Apps คืออะไร ?

Work with Apps เป็นฟีเจอร์ใหม่ของ ChatGPT เวอร์ชันเดสก์ท็อปสำหรับ macOS ที่ช่วยให้นักพัฒนาสามารถทำงานร่วมกับเครื่องมือเขียนโค้ด เช่น VS Code, Xcode, TextEdit, Terminal และ iTerm2 ได้ง่ายขึ้น โดยไม่ต้องคัดลอกและวางโค้ดเข้าไปใน ChatGPT เพื่อขอคำแนะนำอีกต่อไป

เมื่อเปิดใช้งาน ฟีเจอร์นี้จะส่งส่วนของโค้ดที่ผู้ใช้กำลังทำงานอยู่ไปยัง ChatGPT พร้อมคำสั่งที่ผู้ใช้ป้อนเข้าไปโดยอัตโนมัติ ทำให้สะดวกและรวดเร็วขึ้น อย่างไรก็ตาม ในปัจจุบัน ChatGPT ยังไม่สามารถเขียนหรือแก้ไขโค้ดในแอปพลิเคชันเหล่านี้ได้โดยตรงเหมือนเครื่องมือ AI อื่น ๆ เช่น Cursor หรือ GitHub Copilot

OpenAI ชี้ว่า การเริ่มต้นด้วยแอปพลิเคชันสำหรับเขียนโค้ดนั้นเป็นเพราะว่า AI ผู้ช่วยเขียนโค้ด เป็นหนึ่งในรูปแบบการใช้งานที่ประสบความสำเร็จมากที่สุดในกลุ่ม LLMs (Large Language Models)

ขณะนี้ ฟีเจอร์ Work with Apps เปิดให้ใช้งานแล้วสำหรับผู้ใช้ ChatGPT Plus และ Teams และจะทยอยเปิดให้กลุ่มผู้ใช้ Enterprise และ Edu ภายในไม่กี่สัปดาห์ข้างหน้า นอกจากนี้ OpenAI ยังมีแผนขยายความสามารถของฟีเจอร์นี้ไปยังแอปพลิเคชันประเภทอื่น ๆ ในอนาคต โดยเฉพาะแอปที่เกี่ยวข้องกับงานเขียน เพื่อให้ครอบคลุมการใช้งานที่หลากหลายยิ่งขึ้น

ฟีเจอร์นี้ทำงานอย่างไร ?

Alexander Embiricos อธิบายว่า ฟีเจอร์ Work with Apps ใช้ macOS Accessibility API ซึ่งเป็นเครื่องมือที่ช่วยให้คอมพิวเตอร์อ่านและเข้าถึงข้อความในแอปพลิเคชันต่าง ๆ บน macOS ได้ เช่นเดียวกับระบบ VoiceOver ของ Apple ที่ช่วยผู้พิการทางสายตาในการอ่านเนื้อหาบนหน้าจอ

แต่ในปัจจุบันยังคงรองรับเฉพาะ "ข้อความ" เท่านั้น ซึ่งหมายความว่า AI ไม่สามารถเข้าใจหรือจัดการข้อมูลที่เป็น ภาพถ่าย วิดีโอ บนหน้าจอได้

อ้างอิง: techcrunch, help.openai