继此前Adobe方面确认,将于年底前推出由Adobe Firefly Video模型驱动的视频生成功能后。在日前举行的Adobe MAX年度大会上,官方宣布已开始对该模型进行公开测试。据Adobe方面介绍,Adobe Firefly Video模型扩展了该公司现有生成式AI模型家族,但目前仅有限提供、以收集部分专业创意人士的初步反馈,并将借助这些反馈对其进行完善和改进。
据了解,Adobe Firefly Video具有文本转视频和图像转视频的能力。具体而言,该模型允许用户上传新的文本,并根据文本提示生成视频内容,还可通过各种摄像机控件(如角度、运动和缩放)对视频进行微调,并参考图像生成B-Roll,从而无缝填补视频时间线中的空白。此外用户还可通过详细的提示,让该模型生成缺少的镜头。
对于预算紧张、项目时间紧迫的团队而言,此前将难以捕捉或高成本镜头的创意意图可视化是一项挑战。但Adobe Firefly Video就支持在补拍前,用户使用该模型对这些镜头可视化和进行规划,以简化制作和降低后期制作中的沟通成本。
同时用户还可在文本提示旁使用参考图像,通过上传视频中的单帧来为现有内容创建补充镜头,例如特写镜头,此外还可通过静态图片来创建新的B-roll。此外,Adobe Firefly Video还支持生成火、水、漏光、烟雾等元素,为视频内容增加视觉深度。据了解,用户可以在黑色或绿色背景下创建这些元素,再通过Premiere Pro或After Effects等Adobe工具,来将这些元素叠加到现有视频上。
据悉,Adobe Firefly Video暂时不会制作涉及儿童或公众人物的内容,所创作的视频也被会打上AI制作的标签。
对此Adobe数字媒体首席技术官Ely Greenfield指出,Adobe的视频工具旨在让创作者能够在日常使用,并特别注重让生成的视频与传统素材融为一体。此外他还表示,“我们真正专注于精细化控制,向模型传授视频编辑和摄像师使用的概念,例如摄像机位置、角度、运动方式等”。
值得一提的是,Adobe Firefly模型此前于2023年3月推出,并应用于Adobe旗下的产品中,可为Creative Cloud和Express中的部分功能提供支持。例如Photoshop的生成式填充、Lightroom的生成式删除、Illustrator的生成式形状填充,以及Express的文本到模板,自推出以来其已生成了超过130亿张图片。
【本文图片来自网络】