NUS研究团队提出X-Ray：全新3D表示

　　如今的生成式AI在人工智能领域迅猛发展，在计算机视觉中，图像和视频生成技术已日渐成熟，如Midjourney、Stable Video Diffusion 等模型广泛应用。然而，三维视觉领域的生成模型仍面临挑战。目前的3D模型生成技术通常基于多角度视频生成和重建，如SV3D模型，通过生成多角度视频并结合神经辐射场(NeRF)或者3D高斯渲染模型(3D Gaussian Splatting技术逐步构建3D物体。这种方法主要限制在只能生成简单的、无自遮挡的三维物体，且无法呈现物体内部结构，使得整个生成过程复杂而且不完美，显示出该技术的复杂性和局限性。究其原因，在于目前缺乏灵活高效且容易泛化的3D Representation (3D表示)。

　　我们知道X射线能够穿透并记录关键物体内外表面信息，受到这个启发，NUS研究团队胡涛博士等人近期发布了一种全新的3D表示—X-Ray，它能够序列化地表示从相机摄像角度看过去的物体的逐层次的物体表面形状和纹理，可以充分利用视频生成模型的优势来生成3D物体，可以同时生成物体的内外3D结构。

　　技术革新：物体内外表面的3D表示方法

　　X-Ray表示：从相机中心开始朝向物体方向的HxW个矩阵点发射射线。在每条射线方向上, 逐个记录与物体的表面相交点的 个包含深度、法向量和颜色等的三维属性数据, 然后将这些数据组织成LxHxW的形式, 实现任意3D模型的张量表示, 这就是我们提出的X-Ray表示方法, 值得注意的是, 该表示形式与视频格式一样, 因此我们可以用视频生成模型做3D生成模型。

　　编码过程: 3D模型转X-Ray_X-Ray转3D模型

　　基于X-Ray表示的3D模型生成

　　为了生成高分辨率的多样3D X-Ray模型，我们的团队使用了与视频格式相似的视频扩散模型架构。这个架构可以处理连续的3D信息，并通过上采样模块来提高X-Ray的质量，生成高精度的3D输出。扩散模型负责从噪声数据逐步生成细节丰富的3D图像，上采样模块则增强图像分辨率和细节，以达到高质量标准。

　　1. X-Ray 扩散生成模型

　　扩散模型在X-Ray生成中使用潜在空间，通常需要自定义开发向量量化-变分自编码器(VQ-VAE)[3] 进行数据压缩，这一缺少现成模型的过程增加了训练负担。为有效训练高分辨率生成器，我们采用了级联合成策略，通过技术如Imagen和Stable Cascaded，从低到高分辨率逐步训练，以适应有限的计算资源并提高X-Ray图像质量。

　　具体而言，我们使用Stable Video Diffusion中的3D U-Net架构作为扩散模型，生成低分辨率X-Ray，并通过时空注意机制从2D帧和1D时间序列中提取特征，增强处理和解释X-Ray能力，这对高质量结果至关重要。

　　2. X-Ray 上采样模型

　　前一阶段的扩散模型仅能从文本或其他图像生成低分辨率的X-Ray图像。在随后的阶段，我们着重提升这些低分辨率X-Ray至更高分辨率。我们探索了两种主要方法：点云上采样和视频上采样。由于我们已经获得了形状和外观的粗糙表示，将这些数据编码成带有颜色和法线的点云是一个很直接的过程。然而，点云表示结构过于松散，不适合进行密集预测，传统的点云上采样技术通常只是简单增加点的数量，这对于提升诸如纹理和颜色等属性可能不够有效。为了简化我们的流程并确保整个管道的一致性，我们选择使用视频上采样模型。这个模型改编自Stable Video Diffusion(SVD)的时空VAE解码器，专门从头开始训练，以4倍的因子上采样合成的X-Ray帧，同时保持原始的层数。解码器能够在帧级和层级上独立进行注意力操作。这种双层注意力机制不仅提高了分辨率，还显著改善了图像的整体质量。这些功能使得视频上采样模型成为我们在高分辨率X-Ray生成中更加协调和有效的解决方案。

　　未来展望：新表示带来无限可能

　　随着机器学习和图像处理技术的不断进步，X-Ray的应用前景无限广阔。未来，这种技术可能会与增强现实(AR)和虚拟现实(VR)技术结合，为用户创造出完全沉浸式的3D体验。教育和训练领域也可以从中受益，例如通过3D重建提供更为直观的学习材料和模拟实验。此外，X-Ray技术在医疗影像和生物技术领域的应用，可能改变我们对复杂生物结构的理解和研究方法。我们期待它如何改变我们与三维世界的互动方式。

　　以上是关于NUS研究团队提出X-Ray的全部新闻，如果您对新加坡留学感兴趣，欢迎您在线咨询托普仕留学老师。托普仕留学采用5v1服务模式，21步精细服务流程，硬性四维标准+六维背景提升等留学服务体系，为学生出国留学申请名校提供保障。