「把纹理表示换了个底层逻辑」
目录
01 现有纹理方案躲不开的现实麻烦
1.1 传统UV贴图
1.2 神经隐式纹理、顶点色方案
1.3 高斯溅射衍生纹理方案(ImageGS/MeshGS)
02 流形之上的热核:位置、形态、自适应增删全套流形感知
2.1 连续各向异性热核求值:突破网格顶点离散束缚
2.2 黎曼测地线优化:从根源阻止基元飘离曲面
2.3 流形感知的核剪枝与加密
2.4 对接可微物理渲染,支持两条优化链路
03 拆解实验:看懂数字背后的能力边界
3.1 UV纹理压缩任务
3.2 多视图逆渲染重建纹理
3.3 开销层面现实取舍
04 写在最后
ECCV 2026于9月8‑12日在瑞典马尔默举办,本届有效投稿10473篇,接收2834篇,接收率27.1%,仅163篇入选Oral,占比1.6%。
本届最佳论文被伦敦帝国学院《Heat Kernel Textures -- the Geodesic Gaussians That Do Not Splat》 摘得,用非欧几里得流形上基于热扩散的测地高斯,取代了标准的 UV 映射和高斯泼溅。 HKTex(Heat‑Kernel Textures,热核纹理)跳出两套成熟范式的局限,完全摒弃UV参数化,直接在三角网格流形表面定义各向异性热核,充当测地意义下的“流形版高斯”。 全部基元的位置更新、形态调整、自适应增删剪枝,全部在黎曼几何约束下完成,天然绑定在物体曲面上。整套框架可以无缝接入可微PBR物理渲染管线,既能对现有UV纹理做高压缩比的纹理烘焙,也可以仅依靠多视图图像完成逆渲染重建纹理。 将三维曲面摊开到二维图像平面存储色彩信息。 优势:工业工具链极度成熟,渲染速度快;短板:UV展开本身是繁琐预处理工序,会带来接缝 artifact、纹理拉伸、局部分辨率不均;为处理接缝必须复制顶点,UV空白区域造成存储浪费;网格拓扑越复杂,UV展开的难度越高。 代表包括NeuTex、Intrinsic Neural Fields等隐式网络,以及网格顶点色表达。 优势:一定程度绕开手动UV展开;短板:MLP类隐式网络推理开销大;顶点色的纹理细节上限完全由网格顶点密度决定,想要精细外观就必须加密网格,存储开销随之暴涨。 把二维/三维高斯基元用于纹理表达,分为欧氏空间、UV域两条路线。 图| HKTex:基于热核的无UV本征纹理表达。左:黎曼框架约束核运动保持在曲面之上,流形感知控制器管理核形状与密度,在可微光线追踪管线内完成求值。右:最终基于物理渲染结果 HKTex给出了不一样的解法:既不依赖二维UV平面,也不在三维欧氏空间放置基元;直接在流形曲面之上定义热核,热扩散沿着测地线在物体表面传播,基元的定义本身就依附网格几何。 HKTex由大量可优化热核基元构成。每一枚热核包含源点位置、各向异性旋转角度、扩散尺度、边界锐度、RGB颜色等可学习参数。整套技术链路包含:热核连续求值、黎曼测地线位置更新、流形感知剪枝‑加密策略,对接Mitsuba3可微PBR渲染。 通俗理解:热核相当于只能贴着物体表面扩散的“椭圆光斑”,光斑不会飘出或者穿透网格;光斑形态可以顺着曲面曲率旋转拉伸;多个热核加权叠加,就可以计算出曲面上任意一点的最终颜色。 论文基于拉普拉斯‑贝尔特拉米算子(LBO)谱分解计算热核,支持对网格表面任意点 求值,不局限于原始网格顶点。为了控制计算复杂度,引入双调和距离KNN近邻裁剪:每个着色点,只评估周边有限数量热核的贡献,把计算复杂度控制在工程可接受的区间。 图| 各向异性拉普拉斯‑贝尔特拉米算子局部参考框架示意图 数值层面做归一化稳定优化,搭配锐度参数调节光斑软硬过渡。曲面上任意点的最终颜色,由邻近热核做加权混合得到。本文不展开复杂谱展开公式;本质上,热核就是流形测地版本的高斯函数,描述热量从源点沿着曲面向外扩散的过程。 普通欧氏梯度下降直接更新三维坐标,很容易把热核源点拽到网格外部。HKTex采用黎曼梯度下降策略: 图| HKTex 方法整体流水线示意图 所有位置更新运算都约束在流形表面,从底层机制上避免热核脱离网格,不需要靠额外正则损失做“事后补救”。 借鉴高斯溅射自适应密度控制思路,但所有增删分裂操作全部适配流形几何约束。 HKTex完整接入Mitsuba3+Dr.Jit可微光线追踪框架,提供两种使用模式: 实验筛选Objaverse数据集高质量三角网格,过滤非流形、无法做LBO谱分解的模型,保留约3000个物体;评测两大任务:UV纹理资产压缩、多视图逆渲染重建。 评测指标包含PSNR、MS‑SSIM、LPIPS感知相似度、MSE,同时重点统计存储占用、渲染耗时。 在存储预算对齐条件下横向对比。HKTex平均使用约4.8k枚热核,平均存储占用96.6KB。定量结果上HKTex拿到最优MS‑SSIM、MSE;LPIPS感知质量仅次于高分辨率顶点色。MLP位置编码、InstantNGP等神经基线往往需要数百KB甚至MB级存储,高频细节容易糊化。ImageGS受UV坐标固定开销拖累,稠密顶点网格上性能退化明显。 从定性渲染样例可见,青蛙、树莓这类高频细节,神经基线普遍存在过度平滑,ImageGS出现色块伪影,HKTex可以保留锐利色彩边界。 图| 与SOTA方法定性对比图。除真值UV纹理外其余方法存储大小相近;图中仅展示恒定环境光下反照率纹理渲染效果 不使用任何UV真值,仅以多视角图像作为监督,在162个Objaverse物体上开展测试。 表| 162个Objaverse网格多视图渲染定量评估表 注意:全部为仿真数据集实验。真实拍摄照片会带入镜头噪声、几何配准偏差,重建质量会出现下降。 测试中HKTex渲染耗时784.7ms,明显高于UV、顶点色、哈希神经网格。性能瓶颈来自光线求交点后的KNN近邻检索、谱基插值求值。训练依托Mitsuba可微管线可以正常工作,但距离游戏实时渲染,还有大量工程优化要完成。 作为ECCV2026的最佳论文,HKTex最打动人的地方不是某一项指标暴力刷榜,而是思路层面的简洁优雅 。 工业界主流要么把外观摊到UV二维平面,要么放到三维欧氏空间处理;而这篇工作选择回归物体本身的曲面几何,直接在流形本征空间构建热核纹理基元。热扩散天然沿着测地线传播,位置更新、分裂剪枝全部遵循黎曼几何规则,不需要复杂的事后约束。 图| 两个三角面片上图像拟合示例图 当然这不代表UV贴图会被快速替代,UV拥有极其成熟的工具链与实时渲染性能,生产管线中依旧占据主导地位。评审评语提到该工作潜力远超论文本身,也指向后续拓展方向:拓展全套PBR材质、加速求值实现实时渲染、适配复杂非流形资产、开发美术交互编辑工具。 现阶段HKTex更适合离线资产烘焙、多视图逆渲染等科研与半生产场景,但它给三维网格纹理表示,开辟了一条不依赖UV、不依赖欧氏空间溅射的可行路线。 参考论文: 论文标题:Heat Kernel Textures -- the Geodesic Gaussians That Do Not Splat 会议:ECCV 2026(最佳论文) 论文链接:https://arxiv.org/pdf/2392.pdf 项目主页:circlegroup.github.io/research/HeatKernelTextures01 现有纹理方案躲不开的现实麻烦
1.1 传统UV贴图
1.2 神经隐式纹理、顶点色方案
1.3 高斯溅射衍生纹理方案(ImageGS/MeshGS)
02 流形之上的热核:位置、形态、自适应增删全套流形感知
2.1 连续各向异性热核求值:突破网格顶点离散束缚
2.2 黎曼测地线优化:从根源阻止基元飘离曲面
2.3 流形感知的核剪枝与加密
2.4 对接可微物理渲染,支持两条优化链路
03 拆解实验:看懂数字背后的能力边界
3.1 UV纹理压缩任务
3.2 多视图逆渲染重建纹理
3.3 开销层面现实取舍
04 写在最后