runway悄悄发布了一个新的 AI 视频模型 —— Gen-3 Alpha:用于视频生成的新基础模型。
近期 AI 视频大模型神仙打架,前有国产可灵,后有Luma,现在runway发布gen-3 Alpha测试版本,加速搅局市场,仿佛在跟Sora喊话:你还来吗?
虽然还不能体验,看完效果后,一个字,赞!仿佛告诉我,我可以在 AI 视频领域大展拳脚。
带大家体验体验效果,并把官方的视频整理下来了,方便大家阅读。
一、时间上突破至10秒
Gen-3 Alpha与 Gen-2 相比,它在保真度、一致性和运动方面有了重大改进。同时时间上突破至10秒。
这是一段城市高速行驶的火车窗户上,映出一位女性的微妙倒影的视频。
无论是角色的表情,还是他们的细微神态,都栩栩如生,仿佛是真人在眼前。镜头中,火车在铁轨上飞驰而过,车窗外光影交错,恍如一个快速转动的万花筒,瞬息万变。
整个场景极具动感,给人一种身临其境之感,仿佛是在观看一段真实拍摄的短视频,而非虚构的影像作品。
没有对比就没有伤害,看看同样的prompt,Gen-2的效果吧。
二、更精细地控制结构、风格和运动
简单地说,新的模型能够更精准地理解和生成图像或视频的组成元素,如物体、场景、人物等,使其在创作过程中能够对这些元素进行更细微的调整和控制。
这是一个超快速的迷失方向延时摄影,穿过隧道,进入快速生长的藤蔓迷宫的场景。
目前来说,文生视频能达到这样的水平,真的YYDS!
在捕捉和模拟不同的艺术风格或视觉效果,同样出色,用户能够更轻松、更精确地将特定风格应用到生成的图像或视频中。
这是一段日本女子站在船上,回望镜头的画面的场景,我觉得80%还原日本动漫的风格了
对于文生视频而言,模型能够更好地理解和生成运动信息,如物体的移动轨迹、镜头的移动等,这一点非常重要,用户可以更细致地控制视频中的动态元素,创作出更流畅、更具动感的视频作品。
这段视频的prmopt:手持跟踪镜头,跟随废弃街道上漂浮在地面上的红色气球
视频中无论是光影效果,还是流畅的运镜,创造出一种流畅、动感十足的视觉效果,又一个YYDS。
再看一个示例,场景元素能精准控制到这种程度,是否以后相机都不需要了。
三、出色的艺术表现力
检验一个 AI 视频大模型行不行,仅仅生成逼真的人物形象还远远不够,得驾驭多样化的风格,写实风格到卡通风格,从复古风格到未来主义风格。
正如前几天我让可灵模型生成一一些打斗动作,科幻宇宙的场景,生成了效果无法直视。
Gen-3似乎做到了。
看完这些作品,你有被惊艳到吗?最近AI感觉在过年,SD3开源,Luma发布、Suno开放音频输入,是不是感觉学不完呢。
我整理了一份市面上较为全面的 AI 视频产品,欢迎体验试试。
runway gen-2:https://runwayml.com/
Dream Machine LumaAI :https://lumalabs.ai/dream-machine
快手可灵:https://kling.kuaishou.com/
剪映即梦:https://jimeng.jianying.com/ai-tool/home
最后我把官网与一些网友公布出来的视频整理了一个集合
官网案例
1.Prompt: Subtle reflections of a woman on the window of a train moving at hyper-speed in a Japanese city.
日本某城市高速行驶的火车窗户上,映出一位女性的微妙倒影
2.Prompt: Handheld tracking shot at night, following a dirty blue ballon floating above the ground in abandon old European street.
提示:夜间手持跟踪拍摄,跟随一只脏兮兮的蓝色气球漂浮在废弃的欧洲老街的地面上。
3.Prompt: FPV flying through a colorful coral lined streets of an underwater suburban neighborhood.
提示:FPV 飞行穿过水下郊区色彩斑斓的珊瑚街道。
4.Prompt: An astronaut running through an alley in Rio de Janeiro.
提示:一名宇航员正在里约热内卢的一条小巷里奔跑。
5.Prompt: Close up shot of a living flame wisp darting through a bustling fantasy market at night.
提示:特写镜头:一缕活生生的火焰在夜晚熙熙攘攘的幻想市场中飞过。
6.Prompt: Handheld tracking shot, following a red ballon floating above the ground in abandon street.
提示:手持跟踪镜头,跟随废弃街道上漂浮在地面上的红色气球。
7.Prompt: An empty warehouse dynamically transformed by flora that explode from the ground.
提示:一座空仓库因地面爆发出的植物而发生动态变化。
8.Prompt: A wide symmetrical shot of a painting in a museum. The camera zooms in close to the painting.
提示:博物馆中一幅画作的广角对称镜头。相机拉近镜头,靠近画作。
9.Prompt: Ultra-fast disorienting hyperlapse racing through a tunnel into a labyrinth of rapidly growing vines.
提示:超快速的迷失方向延时摄影,穿过隧道,进入快速生长的藤蔓迷宫。
10.Prompt: FPV, internal locomotive cab of a train moving at hyper-speed in an old European city.
提示: FPV,欧洲古城中高速行驶的火车内部机车驾驶室。
11.Prompt: Zooming in hyper-fast to a dandelion to reveal macro dream-like abstract world.
提示:超快速放大蒲公英,展现宏观梦幻般的抽象世界。
12.Prompt: An extreme close-up shot of an ant emerging from its nest. The camera pulls back revealing a neighborhood beyond the hill.
提示:一只蚂蚁从巢穴中爬出的特写镜头。镜头拉远,露出山丘后面的街区。
13.Prompt: A pencil drawing an architectural plan.
提示:用铅笔画出建筑平面图。
14.Prompt: A first-person POV shot rapidly flies towards a house’s front door at 10x speed.
提示:第一人称视角镜头以 10 倍速度快速飞向房屋的前门。
15.Prompt: A first-person POV shot rapidly flies through open doors to reveal a surreal waterfall cascading in the middle of the living room.
提示:第一人称视角的镜头快速穿过敞开的门,展现出客厅中间飞流直下的超现实瀑布。
16.Prompt: Super fast zoom out from the peak of a frozen mountain where a lonely hiker is arriving to the submit.
提示:镜头从一座冰冻的山顶快速缩小,一位孤独的徒步旅行者正抵达山脚。
17.Prompt: Handheld camera moving fast, flashlight light, in a white old wall in a old alley at night a black graffiti that spells ‘Runway’.
提示:手持相机快速移动,闪光灯亮起,夜晚老巷子里的一面白色老墙上有一幅黑色涂鸦,写着“跑道”。
18.Prompt: Internal window of a train moving at hyper-speed in an old European city.
提示:一列在欧洲古城中高速行驶的火车的内部窗户。
19.Prompt: Internal window of a train moving at hyper-speed in an old European city.
提示:一列在欧洲古城中高速行驶的火车的内部窗户。
20.Prompt: A tsunami coming through an alley in Bulgaria, dynamic movement.
提示:海啸穿过保加利亚的一条小巷,动态十足。
21.Prompt: A middle-aged sad bald man becomes happy as a wig of curly hair and sunglasses fall suddenly on his head.
提示:一个中年悲伤的秃头男人突然变得快乐,因为一顶卷发假发和一副太阳镜突然落在他的头上。
22.Prompt: An astronaut walking between stone buildings.
提示:一名宇航员在石头建筑物之间行走。
23.Prompt: Macro shot to the face freckles of a young woman trying to look for something.
提示:用微距镜头拍摄一位年轻女子脸上的雀斑,她正试图寻找某物。
24.Prompt: An older man playing piano, lit from the side.
提示:一位老男人在弹钢琴,灯光从侧面照来。
25.Prompt: A close up of an older man in a warehouse, camera zoom out.
提示:放大镜头,拍摄坐在空荡荡的学校体育馆中间长凳上的一名年轻女子的脸。
26.Prompt: Zoom in shot to the face of a young woman sitting on a bench in the middle of an empty school gym.
提示:侧面照明下的女人的特写肖像,相机向后拉。
27.Prompt: A close up of an older man in a warehouse, camera zoom out.
提示:特写镜头拍摄仓库中的一位老人,镜头缩小。
28.Prompt: View out a window of a giant strange creature walking in rundown city at night, one single street lamp dimly lighting the area.
提示:从窗户向外看,看到一个巨大的奇怪生物在夜晚破败的城市中行走,一盏路灯昏暗地照亮了整个区域。
29.Prompt: An oil painting of a natural forest environment with colorful maple trees and cinematic parallax animation.
提示:一幅自然森林环境的油画,其中有五颜六色的枫树和电影视差动画。
30.Prompt: Aerial view shot of a cloaked figure elevating in the sky betweem slyscrapers.
提示:从空中拍摄的隐形人物在摩天大楼之间的天空中升起。
31.Prompt: An ultra-wide shot of a giant stone hand reaching out of a pile of rocks at the base of a mountain.
提示:一张超广角镜头,一只巨大的石手从山脚下的一堆岩石中伸出。
32.Prompt: Highly detailed close up of a bacteria.
提示:高度详细的细菌特写。
33.Prompt: A man standing in front of a burning building giving the ‘thumbs up’ sign.
提示:一名男子站在一座燃烧的建筑物前,举起“竖起大拇指”的手势。
34.Prompt: A cyclone of broken glass in an urban alleyway. dynamic movement.
提示:城市小巷中玻璃破碎的旋风。动态运动。
35.Prompt: Zooming through a dark forest with neon light flora lighting up.
提示:穿过一片黑暗的森林,霓虹灯植物亮起。
36.Prompt: A giant humanoid, made of fluffy blue cotton candy, stomping on the ground, and roaring to the sky, clear blue sky behind them.
提示:一个巨大的人形生物,由蓬松的蓝色棉花糖制成,踩踏地面,向天空咆哮,身后是湛蓝的天空。
37.Prompt: A slow cinematic push in on an ostrich standing in a 1980s kitchen.
提示:电影以缓慢的节奏推进,展现了 20 世纪 80 年代厨房里的一只鸵鸟。
38.Prompt: A man made of rocks walking in the forest, full-body shot.
提示:一个由岩石构成的男人在森林中行走,全身照。
39.Prompt: A Japanese animated film of a young woman standing on a ship and looking back at camera.
提示:一部日本动画电影,一位年轻女子站在船上,回望镜头。
40.Prompt: A Japanese animated film of a young woman standing on a ship and looking back at camera.
提示:特写镜头:一位年轻女子开车,若有所思,透过雨中的车窗可以看到模糊的绿色森林。
41.Prompt: Aerial shot of a drone moving fast in a dense green jungle.
提示:从空中拍摄的茂密绿色丛林中快速移动的无人机。
42.Prompt: Hyperlapse shot through a corridor with flashing lights. A silver fabric flies through the entire corridor.
提示:延时摄影拍摄了一条灯光闪烁的走廊。一块银色的织物飞过整个走廊。
43.Prompt: Aerial shot of the ocean. a maelstrom forms in the water swirling around until it reveals the fiery depths below.
提示:从空中拍摄的海洋。水中形成了漩涡,不断旋转,直到露出下方火热的深处。
44.Prompt: A push through an ocean research outpost.
提示:穿过海洋研究前哨。
45.Prompt: A woman singing and standing in a concert stage with a bright light in the background.
提示:一位女士站在音乐会舞台上唱歌,背景是明亮的灯光。
46.Prompt: Over the shoulder shot of a woman running and watching a rocket in the distance.
提示:从肩膀上方拍摄一个女人奔跑并注视远处的火箭的镜头。
47.Prompt: Dragon-toucan walking through the Serengeti.
提示:巨嘴鸟穿过塞伦盖蒂。
48.Prompt: An empty warehouse where flowers start blooming from the concrete.
提示:一个空仓库,鲜花开始从混凝土中绽放。
网友内测案例
1.
2.