Google เปิดตัว Lumiere AI สร้างคลิปวิดีโอระดับเทพ | Techsauce

Google เปิดตัว Lumiere AI สร้างคลิปวิดีโอระดับเทพ

AI เจนรูปมันเก่าไปแล้ว ล่าสุด Google เปิดตัว Lumiere ปัญญาประดิษฐ์สำหรับเจนวิดีโอจากคำสั่งข้อความ (text-to-video) และรูปภาพ (image-to-video) สร้างคลิปได้แบบคมชัด ราบรื่น และสมจริงมากกว่าเดิม!

รู้จัก Lumiere เครื่องมือ AI เจนคลิปวิดีโอ

Lumiere คือ โมเดล AI สำหรับการสร้างวิดีโอตัวล่าสุดของ Google ดีกว่าปัญญาประดิษฐ์ตัวอื่น ๆ ตรงที่มันใช้โครงสร้างสถาปัตยกรรมชนิดพิเศษที่เรียกว่า Space-Time U-Net (STUNet) 

STUNet ทำให้ Lumiere สามารถสร้างการเคลื่อนไหว/การเปลี่ยนแปลงที่เกิดขึ้นในวิดีโอทั้งหมดออกมาได้ในเวลาพร้อม ๆ กันตั้งแต่ต้นจนจบ จึงช่วยให้ส่วนต่าง ๆ ในวิดีโอวิดีโอที่เจนออกมาเข้ากันได้อย่างลงตัว มีการเคลื่อนไหวที่ราบรื่น สมจริง และดูเป็นธรรมชาติมากขึ้น (AI ส่วนใหญ่จะสร้างจากคีย์เฟรมก่อน จากนั้นจึงค่อยเติมเฟรมที่อยู่ระหว่างเฟรมต่าง ๆ เข้าไป วิดีโอที่ออกมาจึงอาจดูไม่ราบรื่นเท่าไหร่)

ทาง Google ได้เปิดเผยความสามารถของ Lumiere เอาไว้ดังนี้


แปลงคำสั่งข้อความเป็นวิดีโอ (Text-to-Video)

อย่างแรกคือ Lumiere สามารถรับคำสั่งแบบข้อความ (Prompt) เพื่อประมวลผลและแปลงออกมาเป็นวิดีโอได้ สำหรับการใช้งานก็ไม่แตกต่างจาก AI เจนรูปเท่าไหร่ เช่น ตัวอย่างในภาพด้านล่าง มีการเขียน Prompt: Aurora Borealis Green Loop Winter Mountain Ridges Northern Lights วิดีโอที่ออกมาก็จะเป็นคลิปสั้น ๆ ของแสงเหนือที่เคลื่อนไหวอย่างเป็นธรรมชาติ

แปลงรูปภาพเป็นคลิปวิดีโอ (Image-to-Video)

การใช้งานความสามารถส่วนนี้ของ Lumiere ผู้ใช้จำเป็นต้องใส่ทั้ง รูปภาพ และ Prompt ตัวอย่างในภาพด้านล่าง มีการใช้รูปของโมนาลิซา และใส่ Prompt: A woman looking tired and yawning ผลลัพธ์ที่ออกมาก็จะได้คลิปสั้นโมนาลิซานั่งหาว

สร้างวิดีโอจากการดัดแปลงสไตล์ของรูปภาพ (Stylized Generation)

อีกหนึ่งความสามารถที่ค่อนข้างน่าสนใจ คือ Lumiere สามารถสร้างวิดีโอโดยใช้สไตล์อ้างอิงจากรูปภาพเพียงรูปเดียวได้ ในการใช้งานผู้ใช้จำเป็นต้องใส่ทั้ง รูปภาพ และ Prompt 

ตัวอย่างในภาพด้านล่าง มีการใช้รูปเห็ดที่มีลายเส้นคล้ายภาพที่ถ่ายด้วยกล้องจับความร้อนเป็นรูปต้นแบบ จากนั้นมีการเขียน Prompt: A bear dancing คลิปสั้นที่ได้ออกมาก็คือหมีเต้นที่มีลายเส้นเดียวกับรูปต้นแบบ

ปรับเปลี่ยนวิดีโอเป็นสไตล์อื่นจากคำสั่งข้อความ (Video Stylization)

ความสามารถนี้เหมาะมากสำหรับผู้ใช้งานที่มีวิดีโอต้นแบบ แต่อยากปรับเปลี่ยนให้มีลูกเล่นมากขึ้น ซึ่งการใช้งานผู้ใช้จำเป็นต้องมี วิดีโอ และ Prompt 

ตัวอย่างจากภาพด้านล่าง มีการใช้วิดีโอต้นแบบเป็นคลิปผู้หญิงกำลังวิ่ง จากนั้นได้มีการใส่ Prompt เช่น Made of wooden blocks, Origami folded paper art, Made of colorful toy bricks หรือ Made of flowers และผลลัพธ์ที่ออกมาก็คือคลิปสั้นที่เปลี่ยนแปลงวัตถุในวิดีโอต้นแบบตาม Pormpt

 สร้างวิดีโอเฉพาะจุดในรูปภาพ (Cinemagraphs)

สำหรับคนที่ต้องการแปลงรูปภาพเป็นวิดีโอ แต่ไม่ได้อยากให้มีการเคลื่อนไหวทั้งรูป ความสามารถของ Lumiere ในข้อนี้ก็อาจเป็นประโยชน์ เพราะมันสามารถเลือกการเคลื่อนไหวเฉพาะจุดจากรูปภาพได้ ตัวอย่างในภาพด้านล่าง มีการครอปเลือกเฉพาะผีเสื้อในรูป ผลลัพธ์ที่ได้ออกมาก็คือคลิปที่มีเพียงแค่ผีเสื้อขยับปีกและพื้นหลังนิ่งสงบ

ปรับเปลี่ยนบางส่วนในวิดีโอ (Video Inpainting)

ในวิดีโออาจมีบางส่วนที่เราอยากปรับเปลี่ยน หรืออยากเพิ่มองค์ประกอบอื่น ๆ เข้าไป ความสามารถในส่วน Video Inpainting ก็จะเข้ามาช่วยทำให้มันง่ายขึ้นได้ โดยวิธีการใช้งานฟีเจอร์นี้ ผู้ใช้ก็แค่เลือกจุดที่ต้องการปรับเปลี่ยน หรือเพิ่มองค์ประกอบและใส่ Prompt ลงไป 

ตัวอย่างจากภาพด้านล่าง ต้องการเปลี่ยนชุดให้ผู้หญิง ก็เลือกคลุมที่ชุดและใส่ Prompt: wearing a gold strapless gown, wearing a striped strapless dress ชุดในคลิปก็จะเปลี่ยนไปตามคำสั่ง Prompt

อ้างอิง: lumiere-video, theverge

ลงทะเบียนเข้าสู่ระบบ เพื่ออ่านบทความฟรีไม่จำกัด

No comment

RELATED ARTICLE

Responsive image

คาโบสุ น้องหมาสัญลักษณ์ Dogecoin กลับดาวหมาแล้ว

ข่าวเศร้าวงการคริปโตและคนรักสุนัข Kabosu (คาโบสุ) น้องหมาสายพันธุ์ชิบะ ที่เชิดหน้าชูตาเป็นสัญลักษณ์ของ Dogecoin (DOGE) กลับดาวหมาแล้ว...

Responsive image

พนักงาน Call Center ไม่ใช่สนามอารมณ์ SoftBank ผุดไอเดียพัฒนา AI ปรับเสียงลูกค้าให้น่าฟัง

พนักงาน Call Center จะไม่เป็นสนามอารมณ์ของลูกค้าอีกต่อไป ! เพราะ SoftBank บริษัทโทรคมนาคมรายใหญ่จะใช้ AI ปรับน้ำเสียงเกรี้ยวกราดของลูกค้าให้ใจเย็นลง...

Responsive image

Korean Air สร้าง AI Contact Center แพลตฟอร์มติดต่อสื่อสารและบริการลูกค้าบนระบบคลาวด์ที่ขับเคลื่อนโดย AI

Korean Air ร่วมมือกับ Amazon Web Services (AWS) ผู้นำระดับโลกด้านเทคโนโลยีคลาวด์พัฒนาแพลตฟอร์ม AI Contact Center (AICC) ที่ดึงเอา AI มาใช้ปรับปรุงคุณภาพการบริการของศูนย์บริการลูกค้...