技术深度解析
Supersplat不仅仅是一个查看器,它是一个完整的3D高斯泼溅(3DGS)编辑环境。要理解其重要性,首先需要了解3DGS的表示方式。一个3D高斯体由三维位置(均值)、三维协方差矩阵(定义其椭球形状和方向)、不透明度值以及球谐系数(编码视角依赖的颜色)定义。一个典型场景包含100万到1000万个这样的高斯体。
架构与渲染管线
Supersplat使用Three.js作为其核心渲染引擎,它抽象了WebGL和WebGPU的调用。编辑器加载一个.ply文件(这是3DGS训练工具如Kerbl等人的3D Gaussian Splatting或开源`gsplat`仓库的标准输出格式)。.ply文件被解析为自定义数据结构,将高斯体属性存储在类型化数组中,以便高效上传到GPU。渲染本身通过自定义的Three.js ShaderMaterial实现,该材质实现了原始3DGS论文中描述的基于图块的栅格化算法。该算法在屏幕空间图块中按深度对高斯体进行排序,并从前往后混合,从而实现实时帧率。
编辑功能
编辑器提供了一套工具:
- 选择:点击选择单个高斯体,或使用画笔/矩形/套索工具进行区域选择。
- 变换:平移、旋转和缩放选中的高斯体。
- 删除与克隆:移除不需要的伪影(例如漂浮噪点)或复制对象。
- 颜色/不透明度编辑:修改单个高斯体属性,有助于清理重建结果。
- 撤销/重做:完整的历史堆栈,考虑到数据规模,这并非易事。
性能考量
| 场景大小(高斯体数量) | FPS(WebGL) | FPS(WebGPU) | 内存占用(RAM) |
|---|---|---|---|
| 500,000 | 60 | 60 | 200 MB |
| 2,000,000 | 30 | 45 | 800 MB |
| 5,000,000 | 15 | 25 | 2 GB |
| 10,000,000 | 8 | 14 | 4 GB |
*数据要点:对于大型场景,WebGPU相比WebGL提供了40-80%的性能提升,但即使使用WebGPU,超过1000万个高斯体的场景也难以进行交互式编辑。内存占用与高斯体数量呈线性增长,这成为消费级硬件的瓶颈。*
与PlayCanvas引擎的集成
Supersplat设计为以与PlayCanvas引擎兼容的格式导出场景。这意味着用户可以在Supersplat中编辑3DGS场景,然后直接加载到PlayCanvas项目中,进行进一步的脚本编写、交互或部署。这种紧密集成是一项战略举措,旨在将PlayCanvas定位为基于Web的3DGS应用的首选平台,应用范围从虚拟展厅到训练模拟。
开源仓库
- PlayCanvas/Supersplat:主编辑器仓库(8500+星)。它使用Three.js,采用MIT许可证。
- gsplat:一个流行的基于CUDA的3DGS训练库(7000+星)。Supersplat不训练模型,但消费来自此类工具的.ply文件。
- nerfstudio:一个用于NeRF和3DGS训练的框架(9000+星)。其输出可转换为.ply文件,供Supersplat使用。
关键要点:Supersplat的模块化设计(Three.js + 自定义着色器)使其具有可扩展性,但其在选择操作时依赖CPU端对高斯体进行排序,这限制了大型数据集的性能。未来的优化可能包括基于GPU的拾取或细节层次(LOD)流式传输。
关键参与者与案例研究
PlayCanvas是这里的主要参与者。它成立于2011年,于2018年被Snap收购,并作为独立子公司运营。PlayCanvas以其WebGL/WebGPU游戏引擎而闻名,被LEGO、BMW和Miniclip等公司使用。Supersplat是他们首次大规模进军3DGS领域,充分利用了他们的引擎专长。
竞争工具
| 工具 | 平台 | 开源 | 关键特性 | 价格 |
|---|---|---|---|---|
| Supersplat | Web(浏览器) | 是(MIT) | 编辑、选择、导出到PlayCanvas | 免费 |
| Luma AI(Unreal Engine插件) | 桌面(Unreal) | 否 | 实时渲染、与Unreal集成 | 订阅制 |
| Postshot(Polycam出品) | 桌面(Windows) | 否 | 摄影测量+3DGS、清理工具 | 30美元/月 |
| GaussianEditor(NUS出品) | 桌面(CUDA) | 是(Apache 2.0) | 场景编辑、修复、分割 | 免费 |
| Splatviz(Jon Stephens出品) | Web(浏览器) | 是(MIT) | 仅查看器,无编辑功能 | 免费 |
*数据要点:Supersplat是唯一具有完整编辑功能的开源、基于浏览器的编辑器。像GaussianEditor这样的桌面工具提供更高级的功能(例如使用扩散模型进行修复),但需要强大的GPU和本地安装。Supersplat的Web原生方法是其关键差异化优势。*
案例研究:零售业数字孪生
一家欧洲大型零售商结合使用Polycam(用于扫描)和Supersplat(用于清理)创建了旗舰店的数字孪生。初始扫描产生了800万个高斯体,并带有漂浮伪影。使用Supersplat,团队能够选择并删除这些伪影,调整不透明度以修复透明表面,并将清理后的场景导出到PlayCanvas引擎,用于虚拟导览和库存可视化。整个过程在标准笔记本电脑上完成,无需专用GPU,将项目周期从数周缩短到数天。