编者按：随着人工智能（AI）的不断发展，我们相信它将成为推动3D打印技术进步的强大力量。目前，很多团队正在将AI与3D打印深度融合，利用AI的计算和数据分析能力，优化3D打印的设计和制造过程，开拓更多应用领域和商业机会。今天，我们邀请到了魔芯科技创始人陈天润来分享他在该领域的成功经验和思考。

随着高速、多色打印技术的逐步兴起，消费级3D打印机在近两年取得了突破性进展。然而，使用场景受限、学习曲线过长以及缺乏爆款3D模型成为打开家用3D打印机的市场下一个问题点。如何才能实现只需轻点几下鼠标，就能将脑海中的创意和设计，瞬间转化为手中的实体模型？——这一过去难以实现的愿景，我看到了可能。

作为3D计算机视觉和计算机图形学的研究者，并师从3D智能设计领域的资深专家，我在过去几年中参与了多项AI辅助3D建模和3D模型处理的科研工作，也见证了AI 3D建模技术的快速发展。同样，作为一名3D打印机的骨灰级爱好者，我有幸带领魔芯科技团队将这些技术应用于消费级3D打印机的产品，通过多年的研究，我们找到了一种兼顾效率和质量的解决方案，让更多人有机会参与到3D打印的赛道。

陈天润及其团队开发的从图片、草图或文本输入生成3D模型的算法，目前已经落地商用。

01

学术成果到产业落地，距离在哪？

今年6月，我在西雅图参加了全球计算机视觉界最具影响力的学术会议之一的CVPR2024。随着AI的飞速发展，原本小众的学术会议今年涌入了超1.2万来自全世界的学术界的研究人员。其中，在3D生成领域，头部玩家Adobe、英伟达等企业，包括各大高校展示了他们的3D AIGC算法——漂亮的demo，精美的图表，脑洞大开的生成结果，很容易让人有种错觉——仿佛距离3D AIGC的行业落地近在咫尺。

事实上，这些漂亮的生成结果是过去的研究人员难以想象的。早在上世纪末，国内研究人员就开始探索使用计算机自动设计3D内容，我的导师潘云鹤等人提出的CAD知识工程方法中的专家系统AUTOCHAIR（下图）便是代表之一。那个时代的智能内容生成高度依赖人类设定的规则和专家知识，只能生成有限类别的设计。而现在，AI大模型已经可以利用大量2D/3D数据创造出各式各样的创意内容，这很大程度上得益于2D图片生成的突破性进展（如Stable Diffusion）。当研究人员发现通过大量图片训练能够让生成模型学会生成高质量的2D内容时，他们努力将这些知识用于3D内容生成，例如谷歌的DreamFusion就是其中的代表性工作。

图：3D建模系统的古今。左图源潘云鹤著《智能 CAD 方法与模型》（1997年出版）改编，右图来自KOKONI的3D大模型生成的结果（2024年）

然而，即使现在的3D AI生成算法能够生成大量不同的3D内容，但实际落地的公司寥寥无几，尤其在消费级3D打印领域更为少见。这背后的原因在于主流3D生成算法与实际客户需求仍存在较大的偏差。我们研究发现，几何质量和可控生成是目前相关算法遇到的显著挑战。

首先，当前大多3D AIGC方法的生成的几何质量很难令人满意。在3D AIGC领域，很多研究关注的是三维渲染，例如在游戏或影视领域的应用，这些领域中良好的可视化结果非常关键。然而，我们在研究中发现，3D打印更关心的反而是几何形状——几何形状的缺陷可以通过渲染器的打光和精细的多彩纹理得到一定程度的掩盖，但如果没有这些美化，AI生成的3D模型就仿佛“现了原形”，与人类建模的结果差距甚远。

几何质量的背后是生成结果表示的差异。3D打印机使用STL或OBJ等文件格式的实体三维模型，而神经辐射场(NeRF)或高斯喷溅(Gaussian Splatting)等方法的内在数据表示并非3D打印界熟知的实体模型，其优化目标也是对于一个三维场景或物体的表面效果的呈现而非几何特征。因此，需要探索一种“原生3D”的生成方法，直接得到3D实体模型。

此外，当前3D AIGC方法的可控性也存在不足。经常有人问我为什么依赖3D生成而不是直接在模型库中搜索？我的回答通常是：因为对于3D内容而言，可控和定制是关键。3D生成算法如何才能与用户的需求对齐(align)，尤其是面对一些复杂的指令输入时，这仍是一个亟待解决的问题。

图：我和团队在今年CVPR发表论文的生成结果和算法管线，采用“原生3D”的范式，直接通过扩散模型得到3D内容，并通过多种信息编码器实现可控生成。

为此，我们需要需要“另辟蹊径”，找到一种高质量且可控的3D AI建模方法。在今年的CVPR会议上，我和魔芯科技团队与浙江大学等高校的研究人员合作，在会议上展示了我们不一样的科研成果。我们提出了一种在少量数据训练下即可实现可控并生成精细化3D结构的3D生成方法。这一方法背后是一个多阶段训练的3D几何扩散模型——先训练一个通用的生成“底模”，然后在下游任务上微调。通过精心设计的网络结构和训练策略，我们的方法在FID、CD等多个测量指标上取得了领先的结果，因此我们的科研成果被评为本次会议精选论文，入选比例仅为2%。

02

从算法研究到商用落地的3D建模AI大模型

在公司，我有机会利用更多资源将我们发明的系列算法Scale Up，成为真正的“大模型”。近期，我带领魔芯科技团队发布了自研的、基于DiT扩散的3D大模型，并集成在KOKONI 3D App中，与KOKONI EC2系列3D打印机配套使用，为用户提供服务。这是当前唯一一个在消费级3D打印领域引入大模型辅助创意流程的软件工作流。

在KOKONI的3D大模型的加持下，从拿到打印机到用户开始打印的第一个模型，3D建模就可以由AI帮助使用者完成。用户可以在三分钟内，仅用一段文本提示词输入，或是用户手绘草图、导入/拍摄单张图片，都能完成不同品类的3D模型快速构建；系统也支持在10分钟内处理环绕拍摄视频的输入到3D模型的毫米级复原，满足了不同场景下的建模需求。

除了支持不同类型的输入，我和团队还针对3D打印的需求，开发了专利保护的“无支撑快速打印”模式，用户可以选择生成部分类别模型的“无支撑”版本，算法将自动对几何形状进行优化，并通过云端智能切片，得到无需支撑、快速打印的3D模型。结合KOKONI的旗舰级高速FDM 3D打印机KOKONI SOTA，无需调整任何切片设置，即可在数分钟内完成3D模型从概念到打印成品的全过程。

目前，以上建模功能均可在App Store中的KOKONI 3D App中体验。

03

AI 3D大模型助力3D打印行业加速进化

早在2022年，我带领的魔芯科技团队就在小米有品推出了首个支持AI建模的消费级3D打印机KOKONI EC1，支持物品的三维重建和基于单张图片的人像自拍建模。这是行业内首个AI赋能的硬件产品。自发售以来，该产品已经交付给数万名消费者，获得了广泛好评。我相信，只有深厚的3D打印行业根基才能赋予我们对客户需求和市场趋势的独特洞察力。

目前，我和魔芯科技团队仍在训练更大规模、更高分辨率的3D生成模型，并结合KOKONI SOTA等高性能3D打印机为广大消费者带来价值。此外，我们也在与一些行业客户和B端商家合作，将专利的算法引擎和快速3D建模工作流应用到消费级桌面FDM 3D打印机以外的个性化制造3D打印应用场景中，大幅提高3D模型构建的效率和精度。

KOKONI 3D的在线3D建模平台也即将开放。我坚信，AI的引入不仅仅是技术的革新，更是对整个设计和制造流程的彻底重塑。随着技术的不断进步，3D打印将在个性化定制、产品设计、B端快速原型制造等领域发挥更大的作用。我们正站在一个新时代的门槛上，见证着AI如何将3D打印推向一个全新的高度。

作者简介

陈天润，魔芯（湖州）科技有限公司创始人。浙江大学信息与电子工程学院本科，浙江大学计算机学院直博，从事三维视觉内容生成和智能创作学术研究多年，师从中国智能CAD和计算机美术领域的开拓者之一的计算机应用专家。陈天润博士在计算机视觉和计算机图形学顶会CVPR, ICCV, SIGGRAPH和Nature Photonics, IEEE Transactions on Multimedia等顶级期刊发表论文共二十余篇，并任IJCV, TCSVT, NeurIPS等期刊和会议的审稿人。曾获中国青少年科技创新奖。

编者按：随着人工智能（AI）的不断发展，我们相信它将成为推动3D打印技术进步的强大力量。目前，很多团队正在将AI与3D打印深度融合，利用AI的计算和数据分析能力，优化3D打印的设计和制造过程，开拓更多应用领域和商业机会。今天，我们邀请到了魔芯科技创始人陈天润来分享他在该领域的成功经验和思考。

随着高速、多色打印技术的逐步兴起，消费级3D打印机在近两年取得了突破性进展。然而，使用场景受限、学习曲线过长以及缺乏爆款3D模型成为打开家用3D打印机的市场下一个问题点。如何才能实现只需轻点几下鼠标，就能将脑海中的创意和设计，瞬间转化为手中的实体模型？——这一过去难以实现的愿景，我看到了可能。

作为3D计算机视觉和计算机图形学的研究者，并师从3D智能设计领域的资深专家，我在过去几年中参与了多项AI辅助3D建模和3D模型处理的科研工作，也见证了AI 3D建模技术的快速发展。同样，作为一名3D打印机的骨灰级爱好者，我有幸带领魔芯科技团队将这些技术应用于消费级3D打印机的产品，通过多年的研究，我们找到了一种兼顾效率和质量的解决方案，让更多人有机会参与到3D打印的赛道。

陈天润及其团队开发的从图片、草图或文本输入生成3D模型的算法，目前已经落地商用。

01

学术成果到产业落地，距离在哪？

今年6月，我在西雅图参加了全球计算机视觉界最具影响力的学术会议之一的CVPR2024。随着AI的飞速发展，原本小众的学术会议今年涌入了超1.2万来自全世界的学术界的研究人员。其中，在3D生成领域，头部玩家Adobe、英伟达等企业，包括各大高校展示了他们的3D AIGC算法——漂亮的demo，精美的图表，脑洞大开的生成结果，很容易让人有种错觉——仿佛距离3D AIGC的行业落地近在咫尺。

事实上，这些漂亮的生成结果是过去的研究人员难以想象的。早在上世纪末，国内研究人员就开始探索使用计算机自动设计3D内容，我的导师潘云鹤等人提出的CAD知识工程方法中的专家系统AUTOCHAIR（下图）便是代表之一。那个时代的智能内容生成高度依赖人类设定的规则和专家知识，只能生成有限类别的设计。而现在，AI大模型已经可以利用大量2D/3D数据创造出各式各样的创意内容，这很大程度上得益于2D图片生成的突破性进展（如Stable Diffusion）。当研究人员发现通过大量图片训练能够让生成模型学会生成高质量的2D内容时，他们努力将这些知识用于3D内容生成，例如谷歌的DreamFusion就是其中的代表性工作。

图：3D建模系统的古今。左图源潘云鹤著《智能 CAD 方法与模型》（1997年出版）改编，右图来自KOKONI的3D大模型生成的结果（2024年）

然而，即使现在的3D AI生成算法能够生成大量不同的3D内容，但实际落地的公司寥寥无几，尤其在消费级3D打印领域更为少见。这背后的原因在于主流3D生成算法与实际客户需求仍存在较大的偏差。我们研究发现，几何质量和可控生成是目前相关算法遇到的显著挑战。

首先，当前大多3D AIGC方法的生成的几何质量很难令人满意。在3D AIGC领域，很多研究关注的是三维渲染，例如在游戏或影视领域的应用，这些领域中良好的可视化结果非常关键。然而，我们在研究中发现，3D打印更关心的反而是几何形状——几何形状的缺陷可以通过渲染器的打光和精细的多彩纹理得到一定程度的掩盖，但如果没有这些美化，AI生成的3D模型就仿佛“现了原形”，与人类建模的结果差距甚远。

几何质量的背后是生成结果表示的差异。3D打印机使用STL或OBJ等文件格式的实体三维模型，而神经辐射场(NeRF)或高斯喷溅(Gaussian Splatting)等方法的内在数据表示并非3D打印界熟知的实体模型，其优化目标也是对于一个三维场景或物体的表面效果的呈现而非几何特征。因此，需要探索一种“原生3D”的生成方法，直接得到3D实体模型。

此外，当前3D AIGC方法的可控性也存在不足。经常有人问我为什么依赖3D生成而不是直接在模型库中搜索？我的回答通常是：因为对于3D内容而言，可控和定制是关键。3D生成算法如何才能与用户的需求对齐(align)，尤其是面对一些复杂的指令输入时，这仍是一个亟待解决的问题。

图：我和团队在今年CVPR发表论文的生成结果和算法管线，采用“原生3D”的范式，直接通过扩散模型得到3D内容，并通过多种信息编码器实现可控生成。

为此，我们需要需要“另辟蹊径”，找到一种高质量且可控的3D AI建模方法。在今年的CVPR会议上，我和魔芯科技团队与浙江大学等高校的研究人员合作，在会议上展示了我们不一样的科研成果。我们提出了一种在少量数据训练下即可实现可控并生成精细化3D结构的3D生成方法。这一方法背后是一个多阶段训练的3D几何扩散模型——先训练一个通用的生成“底模”，然后在下游任务上微调。通过精心设计的网络结构和训练策略，我们的方法在FID、CD等多个测量指标上取得了领先的结果，因此我们的科研成果被评为本次会议精选论文，入选比例仅为2%。

02

从算法研究到商用落地的3D建模AI大模型

在公司，我有机会利用更多资源将我们发明的系列算法Scale Up，成为真正的“大模型”。近期，我带领魔芯科技团队发布了自研的、基于DiT扩散的3D大模型，并集成在KOKONI 3D App中，与KOKONI EC2系列3D打印机配套使用，为用户提供服务。这是当前唯一一个在消费级3D打印领域引入大模型辅助创意流程的软件工作流。

在KOKONI的3D大模型的加持下，从拿到打印机到用户开始打印的第一个模型，3D建模就可以由AI帮助使用者完成。用户可以在三分钟内，仅用一段文本提示词输入，或是用户手绘草图、导入/拍摄单张图片，都能完成不同品类的3D模型快速构建；系统也支持在10分钟内处理环绕拍摄视频的输入到3D模型的毫米级复原，满足了不同场景下的建模需求。

除了支持不同类型的输入，我和团队还针对3D打印的需求，开发了专利保护的“无支撑快速打印”模式，用户可以选择生成部分类别模型的“无支撑”版本，算法将自动对几何形状进行优化，并通过云端智能切片，得到无需支撑、快速打印的3D模型。结合KOKONI的旗舰级高速FDM 3D打印机KOKONI SOTA，无需调整任何切片设置，即可在数分钟内完成3D模型从概念到打印成品的全过程。

目前，以上建模功能均可在App Store中的KOKONI 3D App中体验。

03

AI 3D大模型助力3D打印行业加速进化

早在2022年，我带领的魔芯科技团队就在小米有品推出了首个支持AI建模的消费级3D打印机KOKONI EC1，支持物品的三维重建和基于单张图片的人像自拍建模。这是行业内首个AI赋能的硬件产品。自发售以来，该产品已经交付给数万名消费者，获得了广泛好评。我相信，只有深厚的3D打印行业根基才能赋予我们对客户需求和市场趋势的独特洞察力。

目前，我和魔芯科技团队仍在训练更大规模、更高分辨率的3D生成模型，并结合KOKONI SOTA等高性能3D打印机为广大消费者带来价值。此外，我们也在与一些行业客户和B端商家合作，将专利的算法引擎和快速3D建模工作流应用到消费级桌面FDM 3D打印机以外的个性化制造3D打印应用场景中，大幅提高3D模型构建的效率和精度。

KOKONI 3D的在线3D建模平台也即将开放。我坚信，AI的引入不仅仅是技术的革新，更是对整个设计和制造流程的彻底重塑。随着技术的不断进步，3D打印将在个性化定制、产品设计、B端快速原型制造等领域发挥更大的作用。我们正站在一个新时代的门槛上，见证着AI如何将3D打印推向一个全新的高度。

作者简介

陈天润，魔芯（湖州）科技有限公司创始人。浙江大学信息与电子工程学院本科，浙江大学计算机学院直博，从事三维视觉内容生成和智能创作学术研究多年，师从中国智能CAD和计算机美术领域的开拓者之一的计算机应用专家。陈天润博士在计算机视觉和计算机图形学顶会CVPR, ICCV, SIGGRAPH和Nature Photonics, IEEE Transactions on Multimedia等顶级期刊发表论文共二十余篇，并任IJCV, TCSVT, NeurIPS等期刊和会议的审稿人。曾获中国青少年科技创新奖。