【视频】2D转3D新技术 "3-Sweep" 让2D照片直接生成3D模型，超级简单快速！

iCAx开思网 · 发表于 2013-9-17 10:22:54

从18年前的第一部《玩具总动员》到前几天刚刚上映的《蓝精灵2》，诸多的3D动画片已经占据了电影市场的很大份额。不过，制作一部3D动画片的难度绝不亚于拍摄一部真人电影，光是初期的3D建模就有着庞大的工作量。

　　清华大学和以色列特拉维夫大学的研究人员最近开发出一种名为“3-Sweep”的技术，可以实现从单张2D照片直接生成3D模型，让3D建模变得像在Photoshop中建立选区、编辑图像一样简单。

视频部分截图

　　看完这段演示视频，不由让人惊呼，这难道是要抢3D建模师、动画师的饭碗吗?研究论文的第一作者陈韬告诉果壳网：“我们最初的目标是为非专业用户提供简单的交互建模工具，同时减少专业用户的重复劳动，并且提供一个2D-3D的转换途径，以满足巨大的3D建模与图像编辑需求。这个技术还是无法取代原创性的建模的。”

　　“我们支持的建模物体需要能够被分解成广义的立方体、圆柱体或球，然后用户通过‘3-Sweep’将每个分块的三个维度定义出来。但由于2D转3D的不确定性，单一分块的建模并不确定，最终是依靠多个分块之间的垂直、平行等几何约束来确定三维模型的，这也是我们为什么只对人造物体建模。”陈韬向果壳网友介绍原理时说。

　　除了可以生成模型外，3-Sweep还可以直接为模型贴图，并且在编辑3D模型时，还可以自动渲染原来被遮挡住的背景，关于这两个问题，陈韬则表示他们使用的就是前几年已经出现的基于PatchMatch的图像补全算法，就类似于Photoshop的内容自动填充(Content-aware fill)功能，并不属于本技术的创新之处。同时他也很诚恳地表示：“如果仔细观察的话，补全的背景都有些瑕疵。”

　　至于物体背面的贴图，则是研究人员假设了物体的对称性，在此基础上同样利用了PatchMatch，所以这项技术目前还只是用于轴对称的物体。

　　陈韬表示这项技术比较适合成为当前一些大型3D建模软件、图像编辑软件的插件，但是正如视频中所展示的一些失败的例子，这项技术还存在很多限制，比如对模型对称性、复杂性的限制;照片边缘清晰程度的限制等，而且我们还看到在建模的同时没能完善高光与阴影的细节。“这些都可以是今后进行研究完善的方向，”陈韬称，“可能的解决方案是提供更多、更细致的用户交互，或者让用户在此技术生成的模型基础上用其他工具进行更细致的建模”，他在谈到3-Sweep的应用前景时对果壳网说。

　　这项研究参与了今年的 SIGGRAPH ASIA 2013，它是由国际图形图像协会(ACM SIGGRAPH)举办的电脑图像和互动技术展览及会议，是世界上影响最广、规模最大，同时也是最权威的一个集科学、艺术、商业于一身的CG及互动技术展览及会议，今年的SIAGGRAPH ASIA 将在11月19日-22日于香港举办。

2D转3D新技术 "3-Sweep" 让2D照片直接生成3D模型演示视频：
https://v.icax.org/thread-8391-1-1.html

该贴已经同步到 iCAx开思网的微博