三维高斯泼溅（3D Gaussian Splatting）使得实时高质地渲染成为可能自拍偷拍]藝校兩女生自慰裸聊視頻，是刻下 3D 视觉畛域最常用的算法之一。

问题在于，基于清楚高斯单位的暗示神态，尽管不错高效溅射和光栅化，其密集化和优化经过却往往会生成冗余的高斯点，导致单个重建场景可能包含数百万个高斯点。

这不仅裁减了考试和渲染速率（本可能更快），还导致显赫的内存耗尽。

面前，来自上海 AI Lab 的询查团队提议MaskGaussian，将掩码交融进光栅化经过，初度为被使用和未被使用的高斯同期保留梯度，在剪枝高斯的同期，MaskGaussian 极大功令地保捏了重建质地，提高了考试速率和减小内存需求。

△与 3DGS 比较，MaskGaussian 在不影响重建质地的情况下减少高斯点数

该责任既撑捏重新开动的考试，也撑捏对现存的高斯进行微调。

△MaskGaussian 使用更少的高斯更优秀的地还原出藤蔓的"细枝小节"

实验扫尾清楚，MaskGaussian 在Mip-NeRF360、Tanks & Temples和Deep Blending三个数据集上分手剪枝了62.4%、67.7%和75.3%的高斯点，且性能亏蚀不错忽略不计。

对冗余高斯点进行剪枝，面前主要有两种措施：

第一类措施基于手工缠绵的进攻性评分，移除评分低于预设阈值的高斯点。这类措施时常需要扫描整个考试图像以计较进攻性评分，因此剪枝只可在考试时分引申一次或两次。

第二类措施使用可学习的掩码，将其与高斯点的属性相乘以罗致梯度。尽管这种措施允许通过掩码慢慢移除高斯点，但渲染的场景恒久依赖于疏通的高斯点子集 : 要是一个高斯点未被移除，它会一直存在到刻下迭代； 一朝被移除 ， 它将被长期舍弃。这种笃定性的掩码生成未能洽商剪枝后场景的演化，可能导致一些刻下孝顺较小但在考试后期可能关节且难以收复的高斯点被移除。这导致次优的重建遵守，尤其是细节或小物体的丢失。

询查团队以为，刻下存在的掩码剪枝战略发达受限的主要原因在于：掩码与高斯的透明度等属性相乘后，CUDA 渲染器无法产生来自未使用高斯的梯度。

看成类比，在传统的 Transformer 的掩码剪枝中，未被使用的 token 会以零值参与计较并取得梯度，使 token 无论是否被使用王人能取得更新，幸免优化经过朝着单一景况发展；而在 3DGS 中，CUDA 渲染器会径直跳过溅射到 2D 上透明度为 0 的高斯，不进行梯度计较，使得未被用的高斯无法得到更新。

针对这些问题，MaskGaussian 旨在为每个高斯点学习一个掩码散布。通过从该散布中采样，不错生成一个二值掩码，指引该高斯点的存在或不存在。然后，整个高斯点在不受掩码禁止的情况下进行范例溅射，并和掩码通盘参加渲染计较。

掩码为 1 和 0 的高斯王人不错通过革新后的 CUDA 渲染器取得正确梯度，计较其存在 / 不存在两种情况下对刻下场景的孝顺影响。

如下图所示，渴望的心计更接近掩码为 0 的高斯点，而不是后来面的积贮心计，取得的梯度便会使增多其存在概率，以便在后续迭代中被使用。提神该经过中并无东说念主工缠绵，完满由梯度信息指引。

掩码光栅化：前向经过

CUDA 渲染器中的原始渲染公式如下：

其中，，，分手是像素点的心计，第 i 个高斯的心计，透明度和透光率。

为了剪枝不进攻的高斯点，MaskGaussian 添加了掩码，该掩码不错与其他高斯点属性通盘进行优化，以评估高斯点的孝顺。

掩码的生成视为一个两类采样经过。具体来说，MaskGaussian 为每个高斯点分派两个可学习的掩码分数，并诓骗 Gumbel-Softmax 从两个分数中采样一个可微分的类别，记为

。通过幸免将掩码径直诓骗于高斯点属性，MaskGaussian 保留了溅射的 α 的齐备性，使高斯的计较不会被跳过，简略完满参与光栅化。

然后，论文在光栅化框架中径直集成掩码，修改两行 CUDA 代码，如下公式所示：

掩码被诓骗于心计积贮和透射率衰减经过。那时，高斯点正常对心计孝顺并把柄其耗尽透射率；那时，高斯点的心计孝顺被掩码，其透射率耗尽被跳过。

这种公式确保了在处理被掩码高斯点缺失机，前向光栅化扫尾的正确性。需要提神的是，被掩码的高斯点仍然参与前向计较，并简略招揽有道理的梯度。

掩码光栅化：反向经过

为了讲明梯度公式，MaskGaussian 界说为从第 i+1 个高斯点到终末一个高斯点渲染的心计，即 :

其中，，分手是第 j 个高斯点的心计、散射密度和透射率。接着，掩码的梯度暗示如下，解释详见论文附录：

其中是总亏蚀函数，是指引高斯点存在或不存在的二值掩码，是像素 x 的最终输出心计，和分手为第 i 个高斯点的心计和后来的心计累计值。

梯度公式不错分为两部分相识：

对心计的权重：决定了该高斯点对最终心计的影响进度，也辗转决定了该点对梯度的孝顺大小。较大的权重意味着该点对渲染扫尾的进攻性更高。

心计优化想法：

中，暗示亏蚀函数对输出心计的优化想法，而

暗示使用第 i 个高斯点的心计相较于布景心计的上风。举例，要是两者的点积为正，则讲明使用该高斯点是成心的，掩码会招揽到正梯度，从而增多该高斯点的存在概率，即便它刻下未被采样和使用。

真理真理的是，这个梯度公式也曾包含了，即基于分数的剪枝措施所使用的进攻性范例。

此外，这一公式还捕捉了所需心计与被掩码高斯点心计之间的关系，这是分数剪枝措施无法测量且容易忽略的现实。

与通过高斯点的不透明度和范例与掩码相乘的措施比较，本文的措施并未将掩码梯度与这些属性绑定，从而幸免了对微型高斯点的不利影响。此外，该措施还允许被掩码的高斯点招揽梯度，以更新其掩码散布。

这一翻新使得被掩码的高斯点，即使未被径直采样，在优化经过中依然简略对场景作念出潜在孝顺的调遣。这贬责了传统剪枝措施中未被采样点慢慢失效的"死亡螺旋"问题，从而有用提高了剪枝遵守和渲染质地。

考试与剪枝

MaskGaussian 使用平方损毁胁制高斯点的平均数目，其界说如下，并在实验中考据其优于亏蚀：

其中是高斯点的总和，是第 i 个高斯点的掩码值（取值为 0 或 1）。最终的亏蚀函数为：

其中，是渲染的图像亏蚀（时常是感知亏蚀或像素级亏蚀），是均衡超参数，用于驾驭掩码胁制的强度。

为了剪枝掉采样概率接近零的高斯点，论文对每个高斯点进行 10 次采样，并移除那些从未被采样的点。该剪枝经过在每次密集化身手后以及每 1000 次迭代中引申一次。

通过平方的实验扫尾和分析，询查团队解释了 MaskGaussian 的有用性。

在 Mip-NeRF360、Tanks & Temples 和 Deep Blending 三个数据集上，MaskGaussian 分手剪枝了 62.4%、67.7% 和 75.3% 的高斯点，且性能亏蚀不错忽略不计。

形貌地址：https://maskgaussian.github.io/

代码贯穿：https://github.com/kaikai23/maskgaussian

一键三连「点赞」「转发」「防范心」

接待在评述区留住你的念念法！

—  完  —

学术投稿请于责任日发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿现实‍

附上论文 / 形貌主页贯穿，以及关系神态哦

咱们会（尽量）实时复兴你

� � 点亮星标 � �

科技前沿进展逐日见自拍偷拍]藝校兩女生自慰裸聊視頻