3月份入选CVPR 2022，8月份入选ECCV 2022，如今群核科技(酷家乐)的研究成果又完成了一项新突破。这项工作将实现拍一张照片便能实现三维建模，同时模拟更逼真的光照效果。
近日，素有计算机图形学届的"奥斯卡"盛会之称的Siggraph Asia公布录取论文。群核科技攻克三维场景重建与渲染技术一项成果入选。这是继Siggraph Asia 2019后，群核科技再度入选这项代表计算机图形学最高水平的国际性重量级 CG 盛会。公开资料显示，中国企业鲜有论文入选SIGGRAPH会议体系。
本次入选的论文由群核科技和浙江大学计算机辅助设计与图形学(CAD&CG)国家重点实验室等机构合作完成，题为《Learning-based Inverse Rendering of Complex Indoor Scenes with Differentiable Monte Carlo Raytracing》。
其实，群核科技与浙江大学之间的科研合作早已开启。2019年，为了更好地实现产学研实践，浙江大学-酷家乐联合实验室正式成立，在计算机图形学和人工智能领域开展长期科研合作。而上文提及的入选Siggraph Asia 2019的那篇论文，便是该联合实验室落地的一项重点研究成果。
而本次研究，简单来说其研究重点是将单张复杂室内场景的图片自动恢复三维场景的算法，核心目的是提升建模效率，降低设计门槛。未来它将实现的效果是用户拍一张照片，便可以完成三维建模，同时用户还能修改场景中的模型和材质，并且得到真实感光照的反馈。由于该研究使用了屏幕空间光线追踪技术，因此会大幅提升高光泽的材质的重建效果，例如镜面。
复杂室内场景的逆向渲染一直是图形学和图像处理的长期难题。渲染过程不仅要体现阴影、反射高光、漫反射辉映等全局光照效果，此外还需要同时还原场景几何、随空间变化的物体表面反射，以及任意的未知光源。传统研究方法过度依赖模型简化和约束，导致现实世界的场景的重建失效，基于监督学习的方法则非常依赖训练数据集的生成和标记，以及神经网络的设计。
本论文提出了一种新的基于蒙特卡洛重要性采样的可微渲染网络层，来模拟室内场景的物理光线传播。同时，利用论文中的逆向渲染框架，可以将单张复杂室内场景的图片，形成三维场景，且实现可对场景中的模型和材质进行编辑。
为了给本次研究提供足够多且有效的场景信息，本论文引入了一个高质量的、基于物理真实的复杂室内场景数据集INTERIORVERSE。值得一提的是，该数据集是基于群核科技Coohom Cloud（KoolAI）产品创建的一个大规模、逼真的室内场景数据集， 其中包含具备更丰富细节的复杂家具和逼真装饰品等，并通过基于物理真实的GGX 光照模型和基于现代GPU 的光线追踪引擎渲染得到。
Coohom Cloud 是群核科技推出的智能体仿真及数据云服务PaaS平台,通过高性能渲染、多元化仿真及海量三维数据,为室内智能体(图形智能、人工智能及机器人仿真)提供高效的解决方案。目前已推出KoolAI和RoboWizard两大解决方案。
KoolAI是面向室内智能体认知与图形智能的AI训练合成数据平台,依托酷家乐全球最大的真实三维场景数据资源,背靠群核科技前沿实验室,提供室内场景的多样性合成数据,让智能体更智能。RoboWizard是针对机器人尤其是室内智能机器人行业推出的云服务解决方案。基于海量室内3D虚拟场景、云计算及云服务能力,通过真实感绘制、大规模云端计算集群及云端机器人应用程序部署及管理模块,重定义云端机器人开发和仿真流程。
从2017年开始，群核科技累计已有十余篇论文入选SIGGRAPH Asia、CVPR、ECCV、BMVC等国际学术顶会，围绕真实感绘制以及三维建模相关图形智能技术打造坚实科技基座，并迅速在相关产业应用场景中纷纷落地。
(来源：新视线)
