胡渊鸣揭示全新创业项目Meshy:一分钟内生成3D游戏资产只需一句话
机器之能报道
编辑:吴昕
它会是3D AIGC领域的Midjourney 吗?
游戏、电影和XR行业对3D模型的需求正在迅速增长。特别是随着苹果Vision Pro、Quest 3等硬件的出货量达到**规模,市场对3D内容的需求可能会大幅增加。这些行业需要高质量的3D模型来创建逼真的虚拟环境、角色和**,以提供更加沉浸式的体验。因此,3D模型的市场前景非常广阔,相关行业也将继续对其投入更多的资源和关注。
遗憾的是目前市场供应侧,专业创作者还困顿于漫长的创作时间,而摩拳擦掌的业余玩家依旧游离在复杂的创作工具之外。
随着生成 AI 技术的兴起,如何打造一款全新的 3D 内容生成工具,加速制作流程,弥合市场供需之间的巨大落差,正成为一些技术大神们关注的方向。
Meshy 就是这样一款在线生成 AI 工具—— 只需一分钟,即可使用 Al 生成 3D 内容(模型),你要做的只是一个简单提示。
这款3D AIGC工具是由一家初创公司Meshy开发的。该公司的联合创始人兼CEO胡渊鸣是计算机图形学领域的知名学者,**于清华大学姚班,并在MIT获得博士学位。他还是“太极”(TaiChi)编程语言的作者,这门语言以**的99行代码创造了《冰雪奇缘》。
Meshy 是胡渊鸣创立的全球独立新品牌。他们的团队成员遍布全球,包括来自 MIT、哈佛大学、英伟达、谷歌、Meta 等知名机构。他们的目标是通过提供一种直观、轻松的方式来创建内容,从而**改变当前的3D内容制作生态系统。
公司联合创始人兼CEO胡渊鸣
目前,Meshy 提供三种很容易上手的使用方式,包括文本转 3D(输入文字——输出 3D 模型)、图像转 3D(提供图片——生成 3D 模型)以及从文本到纹理,透过简单文本描述就能为 3D 内容添加纹理。
三种模式均可快速工作——在 60 秒内输出结果。
我们先体验了文本转 3D。确定生成目标——生日蛋糕——后,我们输入了一些简单提示,比如「经典风格、高质量、宇宙色彩和图案,看起来诱人」。
很快,一块诱人的 3D 蛋糕出现了:
当我们拖曳着蛋糕,360 度无死角欣赏时,不得不说,很满意:
这种文本转 3D 功能非常适合在游戏中生成环境资产或「道具」。于是,我们试试 Meshy 设计宝藏古董的效果。
输入「青铜制品,古董,古代」,得到了**很漂亮的器皿:
加入 Discord ,还可以体验到一些网页版尚未上架的新功能。比如,生成的物体品类更加丰富,避免了多张脸的问题,还可以生成角色和动物等。另外,生成的物体几何质量更高也更完整。
我们在Discord 环境系生成的**古代随葬礼器青铜鼎
值得注意的是,除了 1K、2K,Meshy 现在还提供生成 4K 纹理的选择,将创作细节和清晰度提升到一个新水平。
X 平台 @Edgar_Martin 使用文本转 3D 功能生成了一张 4K 细节的古董桌子:
除了仅需一分钟左右的等待,Meshy 另一个特点是能与 Unity 、Blender 等流行创意工具无缝集成。
X 平台网友 @PurzBeats 使用文本转 3D 生成模型后,又把模型放到 Mixamo (一个为 3D 内容生成动画的平台)里添加了动画效果,然后又用 Blender (一款 3D 动画制作软件)进行照明/渲染,得到了这个既笨拙又可爱的萌物:
Meshy 的下一个亮点是支持图片生成 3D 模型,包括 Midjourney 、Stable Diffusion 生成的图像。
东京 CG 艺术家 Samuel 使用了图像转 3D 的功能生成内容后,接着用 Mixamo 为这些 3D 形象添加了动画效果:
我们也随手找到一张 AI 生成的图片,利用 2D 转 3D 的功能得到一个 3D 猫神巴斯特的模型。
虽然不能称它为非常高质量的作品(可能是因为背景比较复杂,结果嘴部处理的很怪异),但在短短一分多钟内创建 3D 模型仍然令人印象深刻。
吸取教训,换了一个背景干净的图像,生成效果好了一些:
Meshy 的第三个亮点是提供了专用的 AI 纹理功能,通过文本即可为 3D 模型生成高质量的纹理。这是 X 平台@GabRoXR 的漂亮展示:
看看这个,输入「军用 MA-1 夹克」,立刻得到一件质感逼真的夹克:
目前,WebApp 上还支持写实、2.5D卡通、日漫、卡通线稿、写实手绘、东方水墨等 7 种风格,而你要做的就是点击选定某种风格。对于像我这种不善于通过一长串 prompt 控制生成效果和风格的人来说,简直是福音。
**欣赏一下 X 平台网友的纹理生成玩法:
X平台网友 @Yokohara_h的作品
目前,3D 内容的生成方式主要有两种。正如 Meshy 在官方博客中介绍过的。
一个是将 2D 内容提升为 3D,这类方**使用大量 2D 数据制作出高质量 3D 模型,缺点是速度很慢,即使在 RTX 3080 等快速 GPU 上也可能需要几个小时。
另一个办法就是「原生 3D 」——直接在 ShapeNet 等 3D 数据集上训练,这种办法可以将每个模型的生成时间显著缩短至不到 1 分钟。
不过,由于可用的 3D 训练数据不多,这一类方法比较难实现数据多样性,特别是需要生成具有想象力模型的时候,模型质量通常较差。
两种主要手段要么太慢,用户等待时间长,服务器成本也高;要么生成的模型质量不高。Meshy 希望在质量和速度之间取得一个比较好的平衡。
目前,工具还处在 Mesh-1 阶段,新的功能也在开发中。如果你对 3D 内容设计有兴趣,**应该尝试一下,看看它如何满足你的需求。现在加入 Discord,将享受**的免费生成机会。注册 WebApp,每天会有 20 个免费生成机会。
传送门:https://www.meshy.ai/