引言:动漫创作迎来新变革
在动漫内容创作日益火爆的当下,创作者们对于高效、高质量的创作工具需求愈发迫切。近日,Bilibili(B站)宣布其开源动漫视频生成模型AniSora迎来重大更新,正式推出AniSora V3。这一消息犹如一颗重磅炸弹,在动漫创作领域激起了千层浪,为动漫、漫画及VTuber内容创作者们带来了全新的希望和机遇。
AniSora是什么?
Bilibili(B站)的开源动漫视频生成模型AniSora是专为动漫视频生成设计的综合系统,具备海量数据支持、时空掩码技术、专业评估体系三大核心优势,可一键生成多种动漫风格的视频内容,显著降低创作门槛并提升制作效率。
技术升级:
模型基础与框架优化
AniSora V3并非凭空而来,它基于B站此前开源的CogVideoX-5B和Wan2.1-14B模型构建。在此基础上,引入了强化学习与人类反馈(RLHF)框架,这一创新举措极大地提升了生成视频的视觉质量和动作一致性。无论是番剧片段、国创动画,还是漫画视频改编、VTuber内容,它都能轻松应对,支持一键生成多种风格的动漫视频镜头。
核心升级亮点
- 时空掩码模块优化:V3版本在时空控制能力上实现了质的飞跃。它能够支持更复杂的动画任务,像精细的角色表情控制、动态镜头移动以及局部图像引导生成等都不在话下。比如,当给出“五位女孩在镜头放大时起舞,左手上举至头顶再下放至膝盖”这样的提示时,它能生成流畅自然的舞蹈动画,镜头与角色动作完美同步。
- 数据集扩展:数据是模型训练的基石,V3继续依托超过1000万高质量动漫视频片段(从100万原始视频中精心提取)进行训练。同时,新增了数据清洗流水线,确保生成的内容风格一致、细节丰富,让每一个视频都充满质感。
- 硬件优化:为了提升运行效率,V3新增了对华为Ascend910B NPU的原生支持,完全基于国产芯片训练。这一改变使得推理速度提升了约20%,生成4秒高清视频仅需2 - 3分钟,大大节省了创作者的时间成本。
- 多任务学习:V3强化了多任务处理能力,支持从单帧图像生成视频、关键帧插值到唇部同步等多种功能。这对于漫画改编和VTuber内容创作来说,无疑是一场及时雨,让创作变得更加轻松高效。
测试成绩优异
在最新基准测试中,AniSora V3在VBench和双盲主观测试中表现出色,角色一致性和动作流畅度均达到业界顶尖水平(SOTA),尤其在复杂动作(如违反物理规律的夸张动漫动作)上表现突出,为创作者们提供了更可靠的保障。
开源生态:
1.代码与数据开放
AniSora V3的完整训练和推理代码已于2025年7月2日在GitHub上更新,开发者们可以通过Hugging Face访问模型权重及948个动画视频的评估数据集。B站强调,AniSora是“对动漫世界的开源礼物”,鼓励社区开发者们共同协作优化模型,为动漫创作生态注入新的活力。
2.申请与权限获取
用户若想获取V2.0权重和完整数据集访问权限,需填写申请表并发送至指定邮箱(如yangsiqian@bilibili.com)。这一举措既保证了数据的安全性和规范性,又为有需求的开发者提供了便捷的获取途径。
3.RLHF框架引入
V3还引入了首个针对动漫视频生成的RLHF框架,通过AnimeReward和GAPO等工具对模型进行微调,确保输出更符合人类审美和动漫风格需求。目前,社区开发者们已经开始基于V3开发定制化插件,例如增强特定动漫风格(如吉卜力风)的生成效果,让动漫创作更加个性化。
应用场景:
单图转视频
用户只需上传一张高质量动漫图像,再配合文本提示(如“角色在向前行驶的车中挥手,头发随风摆动”),就能生成动态视频,而且角色细节和风格保持一致。这一功能为创作者们提供了更多的创意空间,让静态图像瞬间“活”起来。
漫画改编
从漫画帧生成带唇部同步和动作的动画,AniSora V3让漫画改编变得更加简单快捷。创作者们可以快速制作预告片或短篇动画,吸引更多观众的关注。
VTuber与游戏
对于VTuber和游戏开发者来说,AniSora V3支持实时生成角色动画,助力他们快速测试角色动作,提高创作效率,让虚拟角色更加生动有趣。
高分辨率输出
生成视频支持高达1080p,确保在社交媒体、流媒体平台上的专业呈现。无论是个人创作者还是商业团队,都能借助这一功能提升作品的质量和影响力。
测试反馈良好
小编亲自测试显示,V3在生成复杂场景(如多角色交互、动态背景)时,相比V2减少了约15%的伪影问题,生成时间缩短至平均2.5分钟(4秒视频),为创作者们带来了更流畅、高效的创作体验。
填补市场空白,助力创作升级
AniSora V3的发布,进一步降低了动漫创作门槛,让独立创作者和小型团队能够以低成本实现高质量动画制作。与OpenAI的Sora或Kling等通用视频生成模型相比,AniSora V3专注于动漫领域,填补了市场空白;与字节跳动的EX - 4D相比,它更专注于2D/2.5D动漫风格,展现了不同的技术路线。
相信在未来,AniSora V3将在动漫创作领域发挥更大的作用,推动整个行业不断向前发展。
想了解AITOP100平台其它版块的内容,请点击下方超链接查看
AI创作大赛 | AI活动 | AI工具集 | AI资讯专区
AITOP100平台官方交流社群二维码: