在当前的AI视频领域,竞争压力可以说是与日俱增。尽管OpenAI的旗下的Sora模型万众瞩目,但其迟迟未能开放使用,许多竞争对手纷纷抓住机会推出自己的创新产品。近日,旧金山初创公司Luma AI就在这种市场环境下打出一手王牌,推出了名为Dream Machine的新一代AI视频生成模型,人人免费可用,引发业界广泛关注。
什么是Dream Machine
这是一款生成式人工智能产品,主要用于将文本或图片转化为动态视频。得益于Luma AI公司在开源时使用了Transformer模型样本,Dream Machine不仅能够快速理解文本指令,准确识别图片,并且能够生成物理上准确、一致且充满事件的高帧率视频。
免费高效的AI视频生成工具
通过与Runway和Pika 的生成效果进行对比(两者都是当下热门的AI视频生成平台)我们可以更直观地感受到 Dream Machine 的优点。在处理包含人物的场景时,Runway和 Pika生成的动态微小有限,人物动作也很迟缓;而 Dream Machine 的动态则非常明显,处理人物行走姿态时非常流畅自然,甚至还能自动补上一些新的画面。
下面这个黑白色调的仰拍镜头,人物动作自然丝滑、一气呵成,裙摆飞起时的幅度虽然有些夸张,但还在可接受范围内。最重要的是动作符合自然规律,没有出现「手臂融化」、「膝盖外折」
虽然目前的免费试用版本生成视频时长只有5秒,远不及 Sora等模型的60s的长度,但是视频生成速度相当惊人。据官方所称Dream Machine模型能在120秒内创造120帧的视频,而据我们的使用体验来看,一个120帧的视频生成时间在3分钟左右,可以说是相当高效了。
技术优化与挑战
虽然Dream Machine的优点众多,但初创公司Luma AI表示也面临着一些挑战,例如视角转换时的物体变形出错和动物运动的不自然。又或是关键词识别不到位所产生的鬼影....不过Luma AI也是相当坦诚,直接把很多有缺陷的demo放在了官网上,同时也表示他们正在积极优化模型,以便后续提供更加完善的用户体验。
随着AI技术的不断进步,视频生成工具如Dream Machine预示着创意表达和内容生产将变得更加多元和动态,这也为视频创作者提供了一个前所未有的新平台,大大降低了视频制作的技术门槛和成本。不过AI的兴起对于电脑硬件的要求也是与日剧增,拥有一张性能强劲的图形卡自然是再好不过了,所以,影驰在这里向大家推荐——影驰RTX 4070Ti SUPER金属大师!
无光设计,全金属外壳!16GB超大显存轻松满足各大AI应用的使用需求,革命性的TensorRT加速更是能够提升你的战斗力,让你秒变效率战神!