文生图原理解读:AI是怎么把文字变成画面的
关键提示
【重点】文字会形成影响输出的条件。以扩散路线为例,模型在采样过程中逐步形成可解码的图像表示,同一句提示因此常有不同候选。
用「雨后书店窗边一杯热茶」做小实验,固定模型,比较变动文字和改变随机种子的影响。
核心内容
【文字条件怎么来】:模型把文字编码成内部表示。主体、场景、空间关系在生成时共同影响结果;复杂关系或罕见对象仍可能理解偏差。
【扩散模型中的逐步生成】:经典实现从带噪表示出发,按采样步骤生成图像。潜空间扩散将主要过程放在压缩表示中,最后解码成像素。其他图像模型可能采用不同架构或混合流程。
【种子和设置会影响候选】:有些工具可选随机种子、采样步数或参考控制。同种子的可比性取决于模型、设置和运行环境,不能跨工具承诺完全一致。
标准化实操流程
第一步|先写简单场景并留存多张候选。
第二步|只加入「茶杯在窗台左角」。
第三步|比较位置命中。
第四步|支持种子时用相同设置再试。
实操示例
【可复制提示词】 雨后书店窗边,窗台左角一杯热茶,小范围水汽,右侧是模糊书架,深木色与灰蓝窗光,单主体中景。
【交付验收】 分别记录主体是否齐全、空间是否符合、改变词句前后差异。模型可能会画出水汽,但不会因此理解物理条件或核实真实事件。
还可以画一个反例:文字写「茶杯在书的左边,匙子放在杯后」,模型却把两个位置互换。这里的验收应同时检查三个对象及两种位置关系。练习先减少对象,再尝试给参考布局。位置不稳定时改用图像参考或布局工具,而不必从一次失败推断模型没有学过该物件。
常见误区
【文字写得更长就保证命中】:先测试关系
【一次好图证明设置稳定】:多次复测同条件。
常见问题(FAQ)
【所有文生图都用扩散吗?】 不是。本文把潜空间扩散当作一种代表路线。
【为什么图中文字有错?】 文字形状属于复杂视觉约束。重要字样仍可单独排版校对。
延伸阅读
可在助词网参考同类视觉创作提示词。用同一模型观察位置词和随机种子分别怎样改变结果。
参考资料 潜空间扩散论文 https://openaccess.thecvf.com/content/CVPR2022/html/Rombach_High-Resolution_Image_Synthesis_With_Latent_Diffusion_Models_CVPR_2022_paper.html
