将涂鸦变动画!Meta发布新开源项目「Animated Drawings」,不仅有代码,还有含18 万张带标注的业余绘图新数据集

前几天才给大家介绍了Meta 开源的人工智能模型「Segment Anything(划分万物)」,这两天Meta AI的基础人工智能研究(FAIR)团队发布了首个开源项目「AI动画绘图(Animated Drawings)」,用AI技术轻松让各种人物涂鸦变成动画。Meta AI还非常慷慨的分享了一整套动画的代码和包含近180000张带标注的业余绘图新数据集,以帮助AI研究人员和创作者进一步创新。Meta表示这是第一个以此类艺术为特色的带标注的数据集。

「AI动画绘图(Animated Drawings)」

此开源项目的论文题目为《一种让儿童人物绘图动画化的方法(A Method for Animating Children’s Drawings of the Human Figure)》,已被计算机图形领域国际顶级期刊Transactions on Graphics接收,并将在国际计算机图形顶级会议SIGGRAPH 2023上展示。为了搜集大量的素描来训练AI模型,FAIR团队在2021年时便建立了Animated Drawings Demo,这是个可透过网页存取的示范服务,让创作者可上传他们的素描,检视与校正模型预测,继之收到基于该素描角色而衍生的动画。

项目网站:http://www.fairanimateddrawings.com

论文地址:https://arxiv.org/abs/2303.12741

代码地址:https://github.com/facebookresearch/AnimatedDrawings

数据集地址:https://github.com/facebookresearch/AnimatedDrawings#amateur-drawings-dataset

让涂鸦人物动起来

一、官方演示

虽然可以自己部署,但很多朋友应该根本就看不懂这些论文与代码,其实大家在浏览器登陆Animated Drawings网站就可以轻松体验。

网站地址:https://sketch.metademolab.com

1、打开网站后点击「Get Started」后,上传一张有类人角色的涂鸦,注意涂鸦尽量画在一张没有线条、褶皱的白纸上,确保拍摄光线充足,手臂和腿不要叠放到身体上,不要画版权狂魔的人物(迪士尼、任天堂)

👇上传涂鸦

👇点击同意

2、可以调整角色周围框的大小,确保它正好框柱涂鸦角色

3、将涂鸦角色从背景中分离出来,并突出显示它。如果角色的身体部分没有突出显示,可以使用画笔和橡皮擦工具来修复它;如果手臂或腿粘在一起,可以用橡皮擦工具将它们分开

👇使用画笔和橡皮擦工具来调整

4、检查角色的关节,可以自由调节关节点

5、最后当然就是你的涂鸦人物动起来啦!你还可以任意选择想让这个角色做出的动作,如果不满意关节点还可以点击「Fix」回到上一步重新调节关节点;「Drawing」则是回到第一步

👇动画效果

二、自行部署

如果嫌官方演示太简单,还可以跟着官方的GitHub上的开源项目按照指引步骤进行本地部署。官方目前已经在macOS Ventura 13.2.1和Ubuntu 18.04上进行了测试。如果在其他操作系统上安装,可能会遇到问题。Meta建议先激活Python虚拟环境,比如用Conda的Miniconda,然后按照GitHub上的步骤进行安装部署。

GitHub地址:https://github.com/facebookresearch/AnimatedDrawings

总结

Meta近期已经释出多个开源模型,无论对于开发者还是小白都非常友好,不仅提供了试玩网页,还提供了安装部署的详细步骤,此次开源动画绘画项目的代码和业余绘画数据集,为更多有兴趣参与这类研究及体验的研究人员及创作者们降低开发门槛,使更多人能够更轻松地探索用AI技术补充人类的创造力。

我们将24小时内回复。
取消