หลักการเขียน Prompt สำหรับ AI สร้างวิดีโอ: โมเดลอ่านคำสั่งอย่างไร และทำไมศัพท์กล้องจึงได้ผล
AI สร้างวิดีโอ (text-to-video) ไม่ได้ "เข้าใจ" คำสั่งแบบคน แต่เรียนรู้ว่าถ้อยคำแบบไหนมักมาคู่กับภาพเคลื่อนไหวแบบไหน จากวิดีโอจำนวนมากที่มีคำบรรยายละเอียดกำกับ prompt ที่เขียนด้วยศัพท์ภาพยนตร์อย่างเป็นโครงสร้าง จึงคุมผลลัพธ์ได้ดีกว่าคำบรรยายลอย ๆ
โน้ตนี้อธิบายหลักการเบื้องหลัง โครงสร้างของ prompt ที่ดี วิธีที่แต่ละเครื่องมือเปิดให้คุมกล้อง และข้อจำกัดที่ควรรู้ ส่วนรายการศัพท์กล้องแต่ละคำพร้อมเครื่องมือที่รองรับ อยู่ในอ้างอิงคำสั่งกล้องสำหรับ AI Video Prompt
โมเดลสร้างวิดีโอทำงานอย่างไร
เริ่มจากสัญญาณรบกวน แล้วค่อย ๆ ลบออก
โมเดลสร้างวิดีโอรุ่นปัจจุบันส่วนใหญ่เป็น โมเดลแพร่ (diffusion model) ตอนฝึก โมเดลเห็นวิดีโอที่ถูกเติมสัญญาณรบกวน (noise) ทีละน้อยจนกลายเป็นจุดมั่ว แล้วเรียนรู้ที่จะย้อนกระบวนการนั้น ตอนใช้งาน โมเดลจึงเริ่มจากสัญญาณรบกวนล้วน แล้วลบออกทีละขั้นจนได้เฟรมที่ชัด โดยมีข้อความ prompt เป็นตัวนำทางว่าควร "ลบ" ไปในทิศทางไหน
Ho และคณะ (2022) ขยายแนวคิดนี้จากภาพนิ่งมาเป็นวิดีโอ โดยให้โมเดลสร้างหลายเฟรมพร้อมกันและฝึกร่วมกันทั้งข้อมูลภาพและวิดีโอ ปัญหาคือวิดีโอมีข้อมูลมหาศาล Rombach และคณะ (2022) จึงเสนอให้ทำกระบวนการแพร่ใน พื้นที่แฝง (latent space) ที่บีบอัดด้วยตัวเข้ารหัสอัตโนมัติ (autoencoder) ก่อน ซึ่งลดต้นทุนการคำนวณลงมากโดยแทบไม่เสียคุณภาพ
Transformer กับ "patch" ของเวลาและพื้นที่
Peebles และ Xie (2023) แทนที่โครงข่าย U-Net ที่เคยเป็นแกนของโมเดลแพร่ ด้วย transformer ที่อ่านข้อมูลเป็นชิ้น (patch) เรียกว่า Diffusion Transformer (DiT) และพบว่ายิ่งขยายโมเดล คุณภาพยิ่งดีขึ้นอย่างสม่ำเสมอ
รายงานของ OpenAI เรื่อง Sora (2024) นำแนวทางนี้มาใช้กับวิดีโอ โดยบีบอัดวิดีโอเป็นข้อมูลแฝง แล้วหั่นเป็น "spacetime patch" ซึ่งเป็นชิ้นที่ครอบคลุมทั้งพื้นที่ในภาพและช่วงเวลา ให้ transformer อ่านเหมือนคำในประโยค วิธีนี้ทำให้ฝึกกับวิดีโอที่ความยาว ความละเอียด และสัดส่วนภาพต่างกันได้ในโมเดลเดียว รายงานนี้ไม่เปิดเผยรายละเอียดโมเดลทั้งหมด แต่โมเดลวิดีโอรุ่นหลังหลายตัวใช้แนวคิดใกล้เคียงกัน
Text-to-video กับ Image-to-video
| โหมด | ข้อมูลเข้า | prompt ควรเน้น |
|---|---|---|
| Text-to-video (T2V) | ข้อความอย่างเดียว | บรรยายทุกอย่าง: ตัวแบบ ฉาก แสง สไตล์ และการเคลื่อนไหว |
| Image-to-video (I2V) | ภาพตั้งต้น + ข้อความ | ภาพบอกหน้าตาไปแล้ว ข้อความจึงควรเน้น สิ่งที่เคลื่อน ทั้งตัวแบบและกล้อง |
ในโหมด I2V ภาพตั้งต้นควรเหมาะกับท่ากล้องที่ต้องการด้วย เช่น ท่าวนรอบหรือ dolly เหมาะกับภาพที่มีตัวแบบอยู่กลางเฟรม ส่วนท่าโดรนหรือ FPV เหมาะกับภาพมุมกว้างที่มีพื้นที่ให้กล้องเคลื่อนไป (Higgsfield)
ทำไมถ้อยคำใน prompt จึงสำคัญ
คุณภาพของการทำตามคำสั่งขึ้นกับคุณภาพของคำบรรยายที่โมเดลเห็นตอนฝึก DALL·E 3 แสดงให้เห็นว่าคำบรรยายภาพจากอินเทอร์เน็ตมักสั้นและไม่ตรงภาพ จึงฝึกโมเดลบรรยายภาพ (captioner) เฉพาะขึ้นมาเขียนคำบรรยายใหม่ที่ละเอียดให้ข้อมูลฝึกทั้งหมด เรียกว่า re-captioning ผลคือโมเดลทำตาม prompt ได้แม่นขึ้นมาก
บทวิเคราะห์ Sora (Liu และคณะ, 2024) สรุปว่า Sora นำเทคนิคเดียวกันมาใช้กับวิดีโอ และยังขยาย prompt สั้นของผู้ใช้ให้ละเอียดขึ้นก่อนส่งให้โมเดล เพื่อให้ prompt หน้าตาใกล้กับคำบรรยายที่โมเดลเคยเห็นตอนฝึก
ข้อสรุปเชิงปฏิบัติมี 2 ข้อ
- ศัพท์กล้องได้ผลเพราะอยู่ในคำบรรยายตอนฝึก คำอย่าง dolly in, low-angle shot หรือ shallow depth of field เป็นภาษาที่ใช้บรรยายภาพยนตร์ทั่วไป โมเดลจึงมีโอกาสเรียนรู้ว่าคำเหล่านี้คู่กับภาพเคลื่อนแบบไหน
- เขียนให้หน้าตาเหมือนคำบรรยาย ประโยคบรรยายที่ชัดเจน ("The camera slowly dollies in toward…") มักได้ผลกว่ารายการคำหลักที่คั่นด้วยจุลภาค แต่ระดับที่ได้ผลต่างกันตามโมเดล
โครงสร้างของ prompt ที่ดี
คู่มือ Veo ของ Google Cloud แบ่ง prompt เป็น 7 องค์ประกอบ คือ ตัวแบบ (subject) บริบท (context) การกระทำ (action) สไตล์ (style) การเคลื่อนกล้อง (camera motion) องค์ประกอบภาพ (composition) และบรรยากาศ (ambiance) โดยสองอย่างหลังเป็นตัวเลือกเสริม ส่วนคู่มือ Gen-4 ของ Runway แนะนำให้เริ่มจาก prompt ง่าย ๆ ที่มีแค่การเคลื่อนไหวหลัก แล้วเพิ่มทีละองค์ประกอบ ได้แก่ การเคลื่อนของตัวแบบ ของกล้อง ของฉาก และคำบรรยายสไตล์
| ส่วน | คุมอะไร | ตัวอย่างคำ |
|---|---|---|
| ขนาดภาพและมุมกล้อง | ตัวแบบใหญ่แค่ไหนในเฟรม มองจากมุมไหน | wide shot, close-up, low angle, overhead |
| ตัวแบบ | ใครหรืออะไรเป็นจุดสนใจ | an old farmer in a straw hat |
| การกระทำ | ตัวแบบทำอะไร ควรมีกริยาหลักเดียว | lifting a pineapple |
| ฉากและบริบท | ที่ไหน เมื่อไร สภาพแวดล้อม | in a pineapple field at dawn |
| การเคลื่อนกล้อง | กล้องเคลื่อนอย่างไร หนึ่งท่าหลักต่อช็อต | slow push in |
| เลนส์และระยะชัด | ส่วนไหนชัด ส่วนไหนเบลอ | shallow depth of field, rack focus |
| แสงและบรรยากาศ | อารมณ์ของภาพ | golden hour, overcast, fog |
| สไตล์ | ภาพลักษณ์โดยรวม | documentary, 35mm film, film grain |
สามวิธีสั่งกล้อง
เครื่องมือแต่ละตัวเปิดให้คุมกล้องต่างกัน แบ่งได้ 3 แบบ และเครื่องมือหนึ่งอาจมีมากกว่าหนึ่งแบบ
- ข้อความใน prompt ใช้ได้กับทุกโมเดล ยืดหยุ่นที่สุด แต่ผลแปรตามโมเดลและถ้อยคำ (eachlabs)
- ไวยากรณ์พิเศษ คำสั่งที่โมเดลถูกฝึกให้รู้จัก เช่น วงเล็บเหลี่ยมของ Hailuo (
[Push in]) หรือการเรียก Camera Motion Concepts ของ Luma ด้วย@คาดเดาผลได้มากกว่า แต่ใช้ได้เฉพาะโมเดลนั้น - เมนู preset หรือแถบเลื่อน กดเลือกท่าหรือปรับทิศและความแรงเป็นตัวเลข เช่น Kling, Runway Gen-3 Alpha Turbo และ Higgsfield แม่นยำแต่จำกัดอยู่ที่ท่าที่มีให้
AI ที่รองรับการคุมกล้อง
ตารางนี้สรุปจากเอกสารของผู้พัฒนาแต่ละราย ณ เดือนตุลาคม 2569 ความสามารถของเครื่องมือเหล่านี้เปลี่ยนเร็ว ควรตรวจหน้าเอกสารล่าสุดก่อนใช้งาน
| AI | ผู้พัฒนา | วิธีคุมกล้อง | รายละเอียด | ระดับการยืนยัน |
|---|---|---|---|---|
| Veo | ข้อความ | คู่มือกำหนด camera motion เป็นหนึ่งใน 7 องค์ประกอบของ prompt | เอกสารทางการ | |
| Sora | OpenAI | ข้อความ | ระบบขยาย prompt สั้นให้ละเอียดขึ้นก่อนสร้าง | รายงานทางการ + บทวิเคราะห์ |
| Runway | Runway | แถบเลื่อน (Gen-3 Alpha Turbo) · ข้อความ (Gen-4 ขึ้นไป) | Gen-3 Alpha Turbo มี 6 แถบ: horizontal, vertical, pan, tilt, zoom, roll ค่า 0–10 และตัวเลือก Static Camera | ข่าว + เอกสารทางการ |
| Kling | Kuaishou | เมนู + ข้อความ | 6 ท่าพื้นฐาน: horizontal, vertical, zoom, pan, tilt, roll และ Master Shots 4 แบบ รุ่น 3.0 กำหนดกล้องรายช็อตในโหมด multi-shot ได้ | เอกสารทางการ |
| Hailuo | MiniMax | ไวยากรณ์ [ ] + ข้อความ | 15 คำสั่ง เช่น [Pan left] [Push in] [Pedestal up] [Shake] [Tracking shot] [Static shot] ใช้พร้อมกันได้ไม่เกิน 3 คำสั่ง (รุ่น Director, Hailuo-02, 2.3) | บล็อกทางการ + แพลตฟอร์มที่ให้บริการโมเดล |
| Luma Dream Machine | Luma AI | Camera Motion Concepts (เมนู / @) + ข้อความ | 15 ท่าขึ้นไป เช่น push in, orbit, crane, pedestal, aerial drone, bolt cam, tiny planet ผสมกันได้ (Ray2) | เอกสารทางการ |
| Higgsfield | Higgsfield | preset | มากกว่า 20 ท่า เช่น crash zoom, dolly zoom, bullet time, FPV drone, whip pan, hyperlapse ใช้ร่วมกับหลายโมเดลบนแพลตฟอร์ม | เอกสารทางการ |
| Pika | Pika | ข้อความ | คำอย่าง camera pan, slow push in รุ่นเก่าเคยมีพารามิเตอร์ -camera | แหล่งรองเท่านั้น ยังไม่ยืนยัน |
เอกสารของ ComfyUI (ผู้พัฒนาภายนอกที่เชื่อมต่อ Kling) นิยาม pan ของ Kling เป็นการหมุนในแนวตั้ง ซึ่งกลับกับความหมายในงานภาพยนตร์ที่ pan คือหมุนซ้าย–ขวา ควรทดลองกับค่าน้อย ๆ ก่อนใช้จริง ส่วน horizontal และ vertical ในเมนูของ Kling และ Runway คือการเลื่อนกล้อง ซึ่งตรงกับ truck และ pedestal ในศัพท์ภาพยนตร์
ข้อจำกัดและข้อผิดพลาดที่พบบ่อย
| ข้อผิดพลาด | ผลที่มักเกิด | ทางแก้ |
|---|---|---|
| ใส่หลายท่ากล้องในคลิปสั้นคลิปเดียว | โมเดลเลือกทำบางท่า หรือภาพสั่นไม่เป็นธรรมชาติ | ใช้ท่าหลักเดียวต่อช็อต แม้แต่ Hailuo ที่รองรับการผสมคำสั่งก็จำกัดไว้ไม่เกิน 3 คำสั่ง (Segmind) |
| คำสั่งขัดกัน เช่น push in กับ pull out | ผลไม่แน่นอน | ตรวจว่าทิศการเคลื่อนไม่ขัดกัน (VEED) |
| เขียน prompt ยาวมากตั้งแต่แรก | ไม่รู้ว่าส่วนไหนทำให้ผลดีหรือเสีย | เริ่มง่าย แล้วเพิ่มทีละองค์ประกอบ (Runway) |
| คาดหวังฟิสิกส์ที่ถูกต้อง | มือ วัตถุ หรือการชนผิดธรรมชาติ | เลือกการกระทำที่เรียบง่าย สร้างหลายครั้งแล้วเลือก |
| ใช้ถ้อยคำเดียวกับทุกโมเดล | ผลต่างกันมาก | ทดสอบถ้อยคำกับโมเดลที่ใช้จริง หรือใช้ไวยากรณ์และ preset ของโมเดลนั้น |
แหล่งอ้างอิง
หลักการของโมเดล
- OpenAI (2024). Video generation models as world simulators
- Peebles, W., & Xie, S. (2023). Scalable Diffusion Models with Transformers. ICCV
- Ho, J., Salimans, T., et al. (2022). Video Diffusion Models
- Rombach, R., et al. (2022). High-Resolution Image Synthesis with Latent Diffusion Models. CVPR
- Betker, J., et al. (2023). Improving Image Generation with Better Captions (DALL·E 3)
- Liu, Y., et al. (2024). Sora: A Review on Background, Technology, Limitations, and Opportunities of Large Vision Models
คู่มือการเขียน prompt
- Google Cloud: Veo on Vertex AI video generation prompt guide
- Runway Help: Gen-4 Video Prompting Guide
- Kling: Prompt Guide
การคุมกล้องของแต่ละเครื่องมือ
- Kling: Camera Movement guide · Kling: Camera Control (2026)
- Hailuo: Camera movement prompt cheatsheet · Replicate: minimax/video-01-director · Segmind: MiniMax AI Director
- Luma: Introducing Camera Motion Concepts · Luma changelog
- PetaPixel: Runway adds precise camera controls (2024)
- Higgsfield: Camera controls · Higgsfield: WAN AI Camera Control
- Tom's Guide: How to make AI videos with Pika Labs
- ComfyUI docs: Kling Camera Controls