提供云渲染服务

用户通过网络输入：
单一场景的几张图片（甚至可以只要一张图片！）

云端：
训练，得到radiance field(nerf)，生成2d feature map?

可以在云端用CNN渲染器根据视角和2d feature map渲染出一张图片，传到客户端；
或者在客户端用CNN渲染器根据视角和2d feature map渲染出画面。

这里的CNN渲染器，可以是我们提供，也可以接入three.js等引擎？

只支持静态场景，支持风格/光照变换！

refer to:
https://cloud.tencent.com/developer/article/1950416?from=article.detail.1961326
https://www.birentech.com/news/120.html
https://cloud.tencent.com/developer/article/1961326?from=article.detail.1972906
https://alexyu.net/pixelnerf/

升级

  • 加速

refer to:
神经渲染最新进展与算法（二）：NeRF及其演化 -> NeRF的加速
不可思议！英伟达新技术训练NeRF模型最快只需5秒

  • block nerf

用户通过网络输入：
大型场景（如整个房间、城市）的不同区域的图片

refer to:
Block-NeRF: Scalable Large Scene Neural View Synthesis

用户通过网络输入：
体素场景数据

  • nerf + transparent object

支持透明渲染！

refer to:
Dex-NeRF: Using a Neural Radiance Field to Grasp Transparent Objects

  • 编辑场景内容

NeRF方法**仅能从已有的固定的场景生成渲染图像，无法直接按照主观意图编辑场景内容**

refer to:
神经渲染最新进展与算法（二）：NeRF及其演化 -> Generative Radiance Fields , GIRAFFE

  • nefr用于黑暗中的高光？

refer to:
NeRF in the Dark: High Dynamic Range View Synthesis from Noisy Raw Images

  • nefr用于降噪？

refer to:
NAN: Noise-Aware NeRFs for Burst-Denoising

其它

本科生新算法打败NeRF，不用神经网络照片也能动起来，提速100倍

开发一个体素游戏，既可以建造又可以真实渲染

refer to:
我的世界
voxel farm

分成两种模式：

  • 建造模式

像“我的世界”一样，使用大块的体素进行建造和渲染

  • 渲染模式

使用 https://www.birentech.com/news/120.html -> GANcraft 神经网络，将建造模式的截图转换为 真实渲染！！！