智谱AI发布视频生成工具清影 可准确理解指令并快速生成
投稿人:丁丁
更新时间: 2024-07-27 11:20
智谱AI发布视频生成工具清影 可准确理解指令并快速生成
【太平洋科技快讯】近日，智谱AI宣布推出其视频生成模型的全新升级版——CogVideoX，在智谱清言的PC端、移动应用端以及小程序端正式上线，所有C端用户均可免费体验AI视频生成服务。清影(基于视频生成大模型CogVideoX打造的视频创作智能体)的功能特点包括：可在30秒内完成6秒视频的生成;能够准确理解和执行复杂prompt;生成的视频能较好地还原物理世界中的运动过程;灵活调度画面，例如，镜头能流畅地跟随画面中的三只狗狗移动。
核心技术突破
针对内容连贯性问题，智谱AI自主研发了高效的三维变分自编码器结构(3D VAE)，大幅降低了视频生成模型的训练成本和难度，并结合3D RoPE位置编码模块，CogVideoX在时间维度上提升了帧间关系的捕捉能力，建立了视频中的长期依赖关系。
增强可控性
智谱AI打造了一款端到端的视频理解模型，提高了模型对文本的理解和对指令的遵循能力，确保生成的视频更符合用户需求。
创新架构设计
CogVideoX采用了将文本、时间、空间三维一体融合的transformer架构，通过Expert Block和Full Attention机制优化模态间的交互效果。
开放平台部署
智谱大模型开放平台bigmodel.cn也部署了清影，企业和开发者可通过API调用体验和使用文本生成视频和图像生成视频功能。
