🧭
1.3 跨模态的共同逻辑:文、图、视频各在描述什么
把五种生成类型放在同一张坐标里,看清「输入是什么、要控制什么、瓶颈在哪」,避免把某一类的经验硬套到另一类。
本课目标
- 能说清 5 个版块的输入与输出差异
- 知道哪一类最需要控制一致性
- 理解为什么视频类提示词要更克制
一张坐标表
文生文:文本进、文本出,瓶颈是「理解意图」和「遵守格式」;文生图:文本进、单帧图像出,瓶颈是「把抽象词落到具体视觉元素」;文生视频:文本进、连续帧出,多了时间维度,瓶颈是一致性;图生图:图 + 文本进、图出,瓶颈是「改多少」;图生视频:图 + 文本进、连续帧出,瓶颈是「让什么动、动多大」。
- 共同点:都在用条件收窄输出范围
- 差异点:控制维度从「语义」扩展到「空间」再到「时间」
- 维度越多,提示词越要克制,留给模型自发补齐的空间
为什么视频提示词要更短
一帧画面里可以塞下十几个视觉元素,但连续几秒里如果每个元素都在变,模型很难同时维持它们。所以视频提示词通常只写「主体 + 一个主要动作 + 镜头 + 氛围」,把细节交给首帧图或参考图。这也是图生视频往往比纯文生视频更稳的原因。
- 图片提示词:可以堆叠风格、光线、材质
- 视频提示词:优先保证主体与运动连贯
- 想精细控制画面,先出图再让图动起来
同一创意的两种组织方式
Example文生视频(直接):一位穿红裙的女孩在雨中奔跑,霓虹倒影,镜头跟拍,5 秒 更稳的做法:先用文生图定下人物与街景 → 再用图生视频只写「缓慢向前走,裙摆与发丝轻微摆动,镜头缓慢推进」
把视觉细节交给首帧,把时间变化留给视频模型。
动手练
- 挑一个创意,分别按「直接文生视频」和「先图后视频」各做一版,比较稳定性。
常见问题
图生视频和文生视频哪个更容易出好结果?
多数场景下图生视频更稳,因为画面已经确定,模型只需补时间维度。
配套提示词实例
全部实例 →本站相关问答
问答索引 →延伸阅读
返回目录 →文生图文生视频图生图区别