【新智元导读】国产Sora来了！这家公司的AI视频已经实现了15秒4K 60帧的超逼真效果。而且，它和小米、快手都已展开战略合作，瞄准了500亿美元的短剧出海市场。

　　不仅Stable Video立马上线了公测，而且Pika也随即拿出了给视频对口型的Lip Sync，以及可以根据内容自动生成声音的音效生成功能。

　　LTX Studio则另辟蹊径，上线了电影制作平台，把视频生成、编辑、剪辑、旁白一条龙全包了。

　　而作为背后工具的Etna，不仅在视频长度上达到了破纪录的15秒，并且还实现了60 FPS的超高帧率，大大提高了视频的流畅性和观看体验。

　　无论是水母、鲸鱼、章鱼、螃蟹、斑马、火烈鸟，还是冲浪者、划潜艇的人、滑雪的人，都做到了细节高清、动作连贯，甚至达到了3840x2160的超高分辨率。

　　这只美丽优雅的维多利亚冠鸽，头上羽冠的羽毛花边精致可见，眼睛栩栩如生，羽毛的质地和颜色都很细腻地还原出来了

　　Etna的问世，意味着现有的国产文生视频技术的一次重大突破。现有的短视频创作模式，很有可能会被彻底颠覆！

　　两只哈士奇开心地戴上泳镜，潜到海底打卡，它们开心地冲着镜头微笑合影，右边那位眼神还透着一股得意。

　　从上图可以看出，相较于市场上的现有模型，Etna在时长、高清晰度、丰富生动细节和强语义理解上，都保持着较大优势。

　　2. 视觉Transformer（ViT）模型会对已经被分词的潜表征进行处理，并输出去除噪声后的潜表征。

　　3. 一个与CLIP模型类似的系统根据用户的指令（已经通过大语言模型进行了增强）和潜视觉提示，引导扩散模型生成具有特定风格或主题的视频。经过多次去噪处理之后，会得到生成视频的潜表征，然后通过相应的映射回像素空间。

　　为此，Etna模型在主干网络上Diffusion架构，同时，在一个更大的数据集上实验和适配与Sora相似的Diffusion+Transform架构。

　　因为融合了Diffusion模型和Transformer模型的优势，通过这种结合，Etna就形成了一种高效且先进的新型模型架构。

　　其次，Etna模型在语言模型和图像模型中插入时空卷积和注意力层，能够处理视频数据，即考虑图像序列中的时间连续性。

　　而这也就意味着，Etna拥有了一定的时空理解能力，从而能够理解并生成具有时间维度的视频内容。

　　文本提示对于指导文本到视频模型，制作既具有视觉冲击力，又能精确满足用户创建视频需求至关重要。

　　以Sora为例，提示中，包含了人物的动作、设定、角色出场，甚至是所期望的情绪，以及场景氛围。

　　借鉴了Sora模型的成功经验，Etna能够更准确地捕捉和转化文本信息为视频内容，使得生成的视频不仅忠实于原文意图，还能丰富展现文本的细微情感和场景。

　　这张维多利亚冠鸽的特写照片展示了它引人注目的蓝色羽毛和红色。它的羽冠是由精致的花边羽毛制成的，而它的眼睛是醒目的红色。鸟的头微微向一侧倾斜，给人一种帝王的威严的印象。背景是模糊的，吸引人们注意到这只鸟引人注目的外表。

　　可以看到，Etna生成的冠鸽不仅非常忠实于prompt，而且鸟首微颔、帝王般的威严感，也都还原得十分到位，表现出了细腻的控制能力。

　　这意味着Etna能够产生高质量的视频内容，每个场景的细节都被精细呈现，为观众带来身临其境的视觉享受。

　　最后，Etna模型特别注重训练数据的质量，采用视频而非静态图片作为主要训练材料，通过高效的处理方法优化了学习效率。

　　通过优化的patch处理方法，Etna模型在训练过程中能更有效地理解和模拟动态场景，从而提升最终视频的自然度和真实感。

　　具体来说，Etna模型在一个大型视频数据集上进行了充分训练，过程采用了先进的深度学习技术策略，包括LDS大规模训练、复杂HPO超参数优化和DPO微调，确保了模型的强大性能和生成能力。

　　现在大家已经切实地感受到，AI多模态大有可为，而七火山已成为头部平台的AI内容战略合作伙伴。

　　从去年初开始，超讯通信就开始寻找AIGC垂类新锐企业进行布局，在跟一系列AI多模态、AI应用落地公司接触后，确定了投资七火山。因此，七火山在算力上也能得到充分支持。

　　首先，七火山已经与小米就AI视频达成合作，发挥自己在短视频创作、短剧出海本地化、剧本创作、视频优化等方面的丰富经验优势。

　　此外，七火山和快手海外SnackVideo也有合作，将通过前沿AI技术，实现内容本地化，为海外用户带来各种琳琅满目的短剧。

　　随着TikTok、Instagram Reels和Snapchat等平台的兴起，短视频近年来人气迅速飙升，成为当今的数字生态系统中最受欢迎、最重要的内容之一。

　　无论是在快节奏的现代生活中，轻松吸引人们注意力的优势，还是病毒式传播的可能性，都让它的影响日渐扩大。

　　许多业内人士公认，短视频就是在线内容的未来。其中短剧这一形态，更是创造了一个又一个爆款奇迹，今年的市场规模将超过500亿。

　　而在去年，中国的出海短剧就已经在海外「杀疯了」，成为掘金蓝海新赛道。根据国海证券的调查，短剧出海的长期空间可达360亿美元。

　　原标题：《国产Sora来了，4K 60帧15秒视频刷新纪录！500亿美元短剧出海市场被撬动》

　　本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。