可能很多人没想到,悄无声息的快手,却打出一张最有分量的文生视频应用「可灵」。
相比于Sora可望不可及,可灵发布即可用。只不过快手精明地将其置入旗下另一款视频应用「快影」,用户得在快影App申请才能体验。
作为第一批内测用户,猎豹移动、猎户星空董事长傅盛在个人账号给出评价,「这可能是今天在全世界范围内,你能够使用到的最好的文生视频人工智能产品。」
在最长达2分钟的视频生成中,AI创作者德里克文告诉新莓daybreak,「大幅度的合理运动、模拟真实物理特性、概念组合等等,在实际体验中,这些都是达标的。而可灵做不到的,其它软件也做不到。」
就在百度、腾讯、字节、阿里等大厂广泛布局生成式AI,从文生文、文生图、文生视频等等,聚焦于视频主营业务的快手竟然斜杀出来。
只是这美好的开局,是否能持续延续下去?
01 可灵的亮眼和局限
可以说,可灵一经发布就受到AI圈的广泛关注,离不开Sora的功劳。以下是AI创作者创作的一段对比视频:
不是官方发布的演示视频,而是用户使用可灵产品实测得出的结果。创作者卡尔的AI沃茨告诉新莓daybreak,「视频是公平的第三方对比,画面没有任何增强和修改。」
这是大家兴奋的主要原因,可灵的表现并不输于Sora,而Sora目前还停留在PPT阶段,产品并未向公众开放。
知乎科技博主德里克文就是这样被吸引过来的,「效果太好」。他迫不及待地加入了AI的创作。
1个月后,德里克文的AI作品在快手上最多已收获7245的点赞,被快手官方纳入优质创作者行列。这一部分得益于德里克文长期对AI的关注,此前他就有测试过国外的视频生成软件Runway和Luma。
「个人觉得可灵是综合能力最强的一个产品。」德里克文对三个软件进行了对比分析。
Runway的Gen-3只有文生视频功能,没有图生视频,且官方展示的效果和实际的使用效果有差别;Luma的镜头语言、镜头美感都不错,但不具有稳定性,生成时长太长,不可控性太高。
在德里克文看来,可灵恰恰补足了这两款软件的缺陷。一套图放到可灵,基本三两次就能出一个满意的作品,很有稳定性。而可灵目前支持文成图、文生视频、图生视频等功能,可以单独支持一个完整的工作流。
AI创作者娜娜对可灵的印象同样不错。她认为人物一致性是可灵的一大亮点,这是很多AI软件都在努力实现的目标,比如Midjourney的sref random(风格随机)就是为此做的功能优化。
但娜娜也坦言,可灵仍然存在某些局限性。比如在创意表现上,可灵对艺术风格、摄影语言容易把握不准确,「出一个满意的画面要刷好久。」
德里克文也同意娜娜的观点,他认为这跟快手投喂的语料有关。快手更擅长真实画风,不擅长艺术大片。
这也是为什么德里克文和娜娜都感觉,可灵表现比较好的是美女、动物、吃东西等画面生成。
可灵的局限性还表现在准确表达上。B站UP主六道奇收集网友脑洞,进行实测,比如「一个宇航员骑着霸王龙在月球上飞奔」,生成视频一个明显的BUG是,宇航员所在的是蓝色星球。
B站UP主TheEternal永恒习惯用图生视频,同样会遇到类似的问题。他告诉新莓daybreak,「生成准确的结果要看运气,一般利用率能达40%。」
德里克文分析原因,「一方面是快手本身的基础语料不足,另一方面是提示词没有描述到位。」
除此之外,德里克文还指出了专业创作者当前面临的一个问题,无论是复活老照片还是将动物拟人化,都是比较简单的操作,可发挥的空间不大。他们的诉求是创作更高难度、更有表达力的故事片和商业片。
这对可灵和创作者都提出了更高要求,比如镜头美感、分镜、剧情等。目前来说,操作流程并不亚于传统电影拍摄流程的复杂程度,「只是中途拍摄变成了用可灵来制作」。
这或许是视频AI走向更大范围应用,又一处需要突破的地方。
02 可灵的用户增长
上线不到两月,申请内测可灵的用户已经超过了70万。这里面有可灵产品自带的吸引力,也离不开快手背后的努力。
娜娜告诉新莓daybreak,最初接触可灵,是被朋友拉进微信内测群的。群里大多是来自抖音、小红书等社交平台的AI博主。「快手那段时间在私信好多AI博主。」
进到大群的博主们会不定时发出自己的AI作品,如果表现优秀,会被邀请到优质创作者群。
同时,创作者的AI作品会长期收到快手的流量扶持。作品在快手App发布,只要带话题标签#可灵#快手可灵#可灵AI,就会享有这项福利。如果在其它平台,优质作品也会有投流支持。
目前暂未看到可灵的广告宣传,但可以发现可灵当前更看重优质AI创作者池的打造,优质创作者生产优质作品,触达更广人群的同时,也能吸引到更多AI创作者加入。这是利于用户增长的一个正向循环。
为此,可灵举办创作者激励活动进行有意识的引导。6月21日,可灵发布图生视频功能。紧接着,可灵连续发布两个定向话题投稿活动,「复活」古画、让「老照片」动起来。
一时间,蒙娜丽莎转起了圈,戴珍珠耳环的少女摸起了自己的耳环。更出圈的是一名网友用可灵复活了爷爷的老照片,为自己病重的父亲重拾信心。这则视频在可灵AI快手号收获破万的点赞。
7月6日,在2024世界人工智能大会上,可灵官宣首届可灵AI x 快影视频创作大赛,大赛还特别推出「可灵AI x 星芒短剧」创作者孵化计划。
这同样有利于更多人的参与和优质作品的输出,而要在更大范围内提升可灵的知名度以及AI创作的更多可能性,快手官方亲自下场示范。
7月13日,快手首部AIGC原创奇幻微短剧《山海奇镜之劈波斩浪》在快手星芒短剧全网独播。此前,该短剧预告片发布时,就引发不少人讨论。很多人直呼「大片的感觉。」
该剧导演陈坤在前一日的看片会上分享,在传统影视中,奇幻和科幻两大赛道受制于CG特效的高成本和长周期,发展受限。AI的加入,让奇幻短剧的整个创作过程变得十分高效。
在不久前的世界人工智能大会上,快手视觉生成与互动中心负责人万鹏飞介绍,「未来,预计视频生成模型将对游戏、动画、泛视频行业带来新机遇。」
03 可灵的对手们
可灵足够让外界意外,不只在于它最先发布国内首个视频生成产品级应用,还有此前快手的AI大模型几乎无任何水花。
2024北京智源大会上,快手视觉生成与互动中心负责人万鹏飞回答记者提问,「可灵这个事情肯定是一个非常复杂的,重资源投入,多兵种协作的复杂项目。」
事实上,在2023年初,快手就启动了新AI战略。此次战略启动,快手技术副总裁张迪担任负责人,聚焦大语言模型、视觉生成模型、多模态模型等方向。
这一年,也是快手组织架构频繁调整的一年。1月,快手CTO陈定佳卸任,接任者为快手高级副总裁于越和于冰。12月,快手人工智能团队MMU&Y-tech 负责人王仲远卸任。
与此同时,外部的新鲜血液也在输入。快手视觉生成与互动中心高级研究员王鑫涛于去年加入,此前他是腾讯AI实验室的高级研究员。可灵发布前,他曾做过一次《视频生成的初探及其可控性研究》学术分享。
快手「弯道超车」的背后,是快手内部的不断调整和协同作战。但并不能确定,快手能否一直保持第一。赛道里的其它玩家也都在加紧布局。
首先被外界密切关注的是同样深耕短视频社区的字节跳动。据晚点LatePost报道,今年一季度,字节 AI 研发团队将视频生成模型的优先级排在了前面。此外,原Google视频生成模型VideoPoet项目负责人蒋路在今年加入字节跳动。
字节也交出了文生视频的答卷。今年2月,剪映推出名为Dreamina的AI绘画工具。3个月后,剪映Dreamina正式更名为中文「即梦」,全量上线AI作图和AI视频生成功能。
这被认为是张楠执掌剪映后,最重要的一次产品更新。
剪映连通着抖音的内容生态,是视频创作的重要入口。因为与平台运营机制的强关联属性,视频编辑工具承载着平台竞争的使命。对创作入口的争夺,也是对视频发布入口的争夺。
目前,即梦支持文生视频、图生视频两种功能,生成时长支持3-12s。不过,即梦的热度明显不高,有试用过的网友表示,即梦功能有待提升。即梦目前只支持网页版本。
除快手与字节外,文生视频也是大厂集体下注的关键赛道。
腾讯也在紧锣密鼓推进中。5月17日,腾讯云生成式 AI 产业应用峰会上,腾讯集团副总裁蒋杰表示,腾讯混元已支持文生视频、图生视频、图文生视频、视频生视频等多种视频生成能力,且已拥有16s视频生成的能力。
百度也在年初推出一款视频生成模型UniVG,能够处理各种文本和图像的组合输入,不少人认为其效果与Runway Gen-2相当。
没有发令枪,没有终点线。快手也许获得抢跑甚至领跑优势,但这条赛道足够长,雪道足够厚,给出任何结论都为时尚早。