视频生成技术才刚迎来重大突破,OpenAI最新发布的Sora 2模型正在重新界定人工智能创作的上限,这个升级版本不但解决了前代产品违背物理规律的尴尬状况,还增添了多项令人赞叹的创新功能 。
更真实的物理模拟
Sora 2在物理规律模拟这一方面达成了质的跨越,以往AI生成视频常常存在物体飘浮,水流呈现反重力等违背常理的画面,如今这些问题已极大程度减少,该模型历经数亿次物理仿真训练,能够精确预测物体运动轨迹以及相互作用。
篮球与篮板碰撞后,会产生符合力学原理的反弹,水杯在被打翻之时,液体会沿着容器表面自然地流淌。这样的进展,既体现在成功场景的模拟里面,又包含了失败动作的真实还原,例如人物滑倒时失去平衡的过程,亦或是建筑倒塌时结构力学的表现。
多镜头控制能力
以往的传统视频生成模型,通常被局限于单个镜头范畴,可是,Sora 2达成了多个镜头间无缝的切换,此系统具备理解诸如“从特写到全景再到俯拍”这般复杂指令的本事,而且,于不同镜头之间维持场景的一致性,角色的服装、环境的细节、光线的方向,在各个镜头里均会保持统一。
此功能极为适宜故事板创作,此功能极为适宜影视预可视化,用户输入一段文本,该文本描述多个场景,模型会自动分配最佳镜头语言,无论是对话场景的正反打,还是动作场面的多角度呈现,系统皆能够精准执行,系统能够确保情节连贯性。
音画同步生成
Sora 2把视觉跟听觉生成相融合,这是首次,模型拥有生成画面的能力,它会依照场景内容自动配乐,还会添加环境音和人物对话,城市街景会搭配上车流声以及远处人声,森林场景有鸟鸣以及风吹树叶产生的沙沙声 。
其音画同步精度达到了毫秒级别,人物口唇形状与语音实现了完美匹配,系统给予的支持涵盖了包括中文在内的十二种语言,且能够生成带有相应国家特定口音的对话,这项技术致使完全由AI生成的短片拥有了影院级别的视听体验 。
真人植入功能
只需上传一段短视频,Sora 2可将真人毫无缝隙地植入任何生成场景,这项技术会提取人物面部外貌特征,还会提取声音特质:身体动作习惯随后在全新虚拟环境里进行重建,植入后的人物会与生成环境自然展开互动,阴影、反光等极为细微的细节都被处理得毫无瑕疵,完美至极 。
当开展实际测试之际,用户顺利地把自己置身于海底世界,又置身于火星表面。人物于异质环境当中的表情,展现得异常自然,人物于异质环境当中的动作,展现得异常自然,就连声音也会跟着新环境产生相应的改变,像是在嘈杂街道上会自动调高音量 。
社交创作平台
OpenAI推行专有iOS应用Sora App,意图是配合Sora 2发布,该平台连接AI创作与社交网络,在此平台使用者可产出视频,能够分享作品,还能关注其他创作者,其应用内部存有丰富的模板以及风格预设,这致使专业视频制作的门槛被降低了。
有一种平台,它是以兴趣社群作为组织方式的,这种平台能让同类主题的创作者轻松地交流技巧,现在此平台正处于内测阶段,在此阶段,已经有用户借助其合作生成功能共同完成了视频,这个视频展示的是跨越时空对话的内容,通过完成这样的视频进而展现出了社交创作的潜力。
安全与隐私保护
深度伪造技术存在着兴许携带的风险,所以 Sora 2 为此内置了多重安全机制,所有生成的内容都会被添加上隐形水印,系统会自动去拒绝涉及公众人物的植入请求,针对青少年用户平台设置了内容过滤以及时长管理功能。
用户上传的真人视频,在隐私方面,于分析工作完成之后,便会马上被删除,模型仅留存必要的那些特征数据 。OpenAI在2024年5月设立了专门的伦理委员会,该委员会其职是负责审核模型的潜在滥用风险 。
看完Sora 2这些有突破性功能 ,你最想用此项技术创作哪种类型视频作品呢 ,欢迎在评论区分享创意 ,若觉得本文有帮助 ,若能点赞支持 ,请分享给更多朋友 。
