关于计算成像中的一些概念的思考

dawnlh

光线的角度调制，像面的强度调制和光圈的孔径调制

光线的角度调制、像面的强度调制和光场的孔径调制是编码成像的常见编码方式，但是要注意，这几种编码调制有不同的研究对象和场景，概念上不要混淆。具体如下（以下不考虑光线传播的衰减）：

光线的角度调制：
研究对象：场景中不同角度传播的光线（多组方向不同的平行线，如图1中红线对和绿线对是两组不同方向传播的光线），
调制目的：对场景不同角度传播的光线产生不同的调制，
应用场景：光谱成像中，在彩虹面进行编码，进行角度调制，完成编码光谱成像
调制方法：在透镜像空间的傅里叶面（后焦面）上放置调制器件（LOCS，DMD，掩模胶片等），给特定的pattern就可以对特定方向传播的光线产生特定调制
调制原理：根据几何光学原理知，“平行光线经过透镜后会在透镜后焦面上汇聚到一点”，故透镜后焦面上的每一点实际上是来自物方的一个特定方向的光线的合集。通过对后焦面上的不同点进行编码，就相当于对该点所对应的物方某一方向（角度）的所有光线的全体进行了编码，即光线的角度调制。

图 1 光线的角度调制（这个光圈面是指4f整个系统光圈面，和L1后焦面重合）

图 2 编码光谱采集 [1]

像面的强度调制：
研究对象：场景中不同物点发出的光线（多组从不同的点发出的射线，如图中不同颜色的光线是多组来着不同物点的光线），
调制目的：对场景不同物点发出的光线产生不同的调制，从而对像面产生强度调制
应用场景：压缩感知高速成像中，在像面进行编码调制和积分采集得到snapshot，然后利用压缩感知算法反解出耦合视频帧
调制方法：在物面和像面之间的非透镜面（光圈面）上放置调制器件（LOCS，DMD，掩模胶片等），给特定的pattern就可以对不同物点发出的光线进行调制，从而对像面产生强度调制。（注意，可调制面包括物面，像面；不包括透镜面）
调制原理：根据几何光学原理知，在理想成像时，“点物成点像”，即从一个物点发出的光线先向前传播并发散成一个斑，然后经过透镜后开始汇聚，并最终在像面上汇聚到一点。如果在传播光路中加入调制器件，光斑受到调制器件的遮挡，会有光的能量损失，从而强度产生变化（强度变为：光斑覆盖区域的dmd的透过率*原始强度）。所以要对不同物点发出的光线的强度进行不同的调制来产生对像面的强度调制，就需要使不同物点发出的光线经过dmd时具有不同的透过率，也即需要使不同物点发出的光线形成的光斑打在dmd上的不同区域上（且dmd 不同区域具有不同的透过率）。 此外需要注意的是，调制器件不能放在透镜面上，因为从下图可以看到，不同物点发出的光线形成的光斑在透镜面上是相同的，都是整个透镜面，所以透过率相同，其最终效果是像面相当于是物面做了一个整体衰减，不具有不同物点不同调制的作用。（注意，“在透镜面放置调制器件时，像面无强度调制”的前提假设是“不同物点射到光圈面上形成的光斑具有相同分布（允许有整体亮度差异），即不同物点指向光圈面不同位置的光线具有相同的组成成分，如物点A指向光圈顶点, 1/4点，底点...的光线强度比为=1:2:3..., 那么其他物点也应该满足这个比例”，一个满足该条件的特例是“物点往各个角度发射的光是均匀的，即不同角度光线强度相同，所有物点射在光圈面的光斑都是一个亮度均匀的圆斑”。如果不满足上述假设，也会对像面产生强度调制。如假设物空间发出的光是与光轴平行的平行光，则光圈面dmd全开时，像面是一个圆斑；如果光圈面dmd只开下半区域，则像面不是会变成半个圆斑，即像面强度被调制）

图 3 光线的强度调制

图 4 编码像面压缩感知高速成像 [2]

光圈的孔径（视角）调制：
研究对象：通过成像透镜光圈不同子孔径（即透镜不同位置）的光线
调制目的：对不同子孔径（即不同视角）成的像进行编码
应用场景：光场成像中，在光圈面（成像透镜中心面）进行编码，从而进行压缩感知光场成像（光圈开不同的孔，对应不同子光圈，即光圈的分辨率对应光场角度分辨率）
调制方法：在光圈面或者光圈的等效面放置调制器件（LOCS，DMD，掩模胶片等）即可对光场通过不同子光圈（即不同视角的像）的光线进行编码
调制原理：光场的采集可以看做对物面发出的光线的几何信息的"全采集"，比普通成像的2D空间信息多了两维角度信息。根据光场采集模型，为了确定一条光线的角度信息可以定义两个面（比如物面和光圈面），一条光线在这两个面相交的交点即可以确定这条光线。所以光圈面的引入相当于引入了角度分辨率。从另一角度看，当光圈开不同的孔的时候，相当于我们在像方从不同的视角对物体进行观察，也对应着光场的不同视角的像。所以对光圈进行编码就相当于对不同角度的视场图像进行编码。

图 5 光线的孔径（视角调制）暨光场编码采集系统 [3]

图5中，左图是直接在光圈面进行的子孔径调制，由于有时候光圈面很难直接放置调制器件，所以有了右图的设计，即在主透镜的像面后面加一对4f中继系统，这个4f可以看成一个整体，即第二个成像透镜，而它的等效光圈面就是在4f的中心面上（准确来说是 4f系统 等效的单透镜的中心面上）。

几点注意
1. 当调制器件，如dmd，放在下图所示的傅里叶面（后焦面）位置时，物体所成的像的强度有什么特点（光线角度调制和像面强度调制辨析）？

• 根据上述”光线的角度调制“可知，像面上的每一个点都是不同方向的光线的合集，这些不同方向的光学受到了不同的调制，即有光线的角度调制。假设所有像点（或者物面，光路可逆，本质一样）处的光线的角度组成相同（即不同像点处包含的各个方向的光线的强度具有相同的比例，比如A2点只包含0°，5°和10°三个方向的光线，强度分别为1,2,4； B2点也只包含0°，5°和10°三个方向的光线，强度分别为0.1, 0.2, 0.4），那么此时像面相当于物面整体进行了一个衰减。（类似于dmd放在透镜面上的效果）。但是实际上，受到透镜的有限孔径限制，上述假设是不成立的。用下图3举例，显然像面的上方像点（黄色光线汇聚点）和下方物点（红色光线汇聚点）的光线的角度组成不同，上方物点只含有左下方过来的光线，下方物点只有左上方过来的的光线。所以这两个物点所成的像的强度也会受到调制，从而像点强度的比值，不等于物点强度的比值，则此时也会产生对像面的强度调制。
• 
  

图 6 傅里叶面调制示意图

2. 当调制器件，如dmd，放光圈面（即成像透镜中心）位置时，物体所成的像的强度有什么特点（光场的孔径调制与像面的强度调制辨析）？

• 首先明确一点，上面说的“当调制器件放在光圈面时，没有光线的强度调制”的前提假设是，“不同物点射到光圈面上形成的光斑具有相同分布，即不同物点指向光圈面不同位置的光线具有相同的组成成分”，而光场的孔径调制无此假设
• 在上述假设下（比如物点各个角度光强一致时），不同子孔径下成的像（不同视角下的像）只有整体亮度差异，也即不同视角的图像都是相同的，此时研究光场没有意义
• 但是自然场景下，一般上述假设都是不成立的（但是一般建模时，根据任务需要，有时会近似认为成立，比如拿一幅2D图像作为场景时可能就默认这个假设成立）。这个假设自然场景下很难严格成立是因为，场景由于存在深度和遮挡，以及不同材质和反射特性等原因，不同物点射在光圈面的光斑分布一般不同（比如Lambert光照下，物点法线正对区域的亮度比斜射区域强），这时不同视角信息是不同的，所以我们日常看到的不同观察角度下，同一物体具有不同的样子，也就是光场信息。
  

3. 总结一下，单透镜系统中

• 只有当调制器件放在傅里叶面时，才能实现对不同角度光线的调制
• 只有当调制器件放在光圈面（即透镜面）时，才能实现对不同孔径（视角）光场的调制，也即对不同视角光场投影的像的调制。
• 只有当调制器件不放在透镜面时（可放在物面、像面和其之间非透镜的面），才能实现对不同像点强度的调制
  

Ref：
[1] A. Mohan, R. Raskar, and J. Tumblin, “Agile Spectrum Imaging: Programmable Wavelength Modulation for Cameras and Projectors,” p. 9, 2008.
[2] Yang Liu, “Rank Minimization for Snapshot Compressive Imaging,” TPAMI.
[3] Y. Inagaki, Y. Kobayashi, K. Takahashi, T. Fujii, and H. Nagahara, “Learning to Capture Light Fields Through a Coded Aperture Camera,” in Computer Vision – ECCV 2018, vol. 11211, V. Ferrari, M. Hebert, C. Sminchisescu, and Y. Weiss, Eds. Cham: Springer International Publishing, 2018, pp. 431–448.