主题:通过一篇SONY论文分析SONY传感器DXO暗部信噪比很高的原因
正序浏览
主题图片汇总
主题内检索
浏览:28453 回帖:697
游客没有回帖权限
陈年泡菜
泡网分: 33.646
主题: 47
帖子: 4121
注册: 2002年8月
markinon 发表于 2013-2-14 08:26
瞎说
raw降噪应当是针对模式噪声的。任何raw都应当有这部分过程 。


这是DXO网站上引用的原文,连接我刚才给过了,你可以自己看看去。

DXO对A900的RAW分析证明,A900在红、蓝通道都作了相当强烈的降噪处理。

DXO专门对比了A900绿色通道和红色通道,绿色通道在ISO6400都没有降噪迹象,红色通道在ISO1600就有明显的额外降噪,像素跟周围有明显相关性。
登录后可直接显示原图
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
泡菜
泡网分: 1.609
主题: 18
帖子: 1615
注册: 2012年12月
瞎说
raw降噪应当是针对模式噪声的。任何raw都应当有这部分过程 。
spot 发表于 2013-2-14 08:22
我认为这个算法还是不错的,不能说没有意义,基本不损失太多细节,而且对用户更方便,在外面也很难找到这类的专门对暗部降噪的工具。

这篇论文只介绍了技术框架,没有涉及具体电路实现,我倾向于认为这个应该是内置在传感器里,因此读出的RAW就已经是处理过之后,并且无法关闭。毕竟SONY传感器直接在RAW里降噪是有前科的。

下面这段文字也是来自DXO的,原文连接是http://www_dxomark_com/index.php/Publications/DxOMark-Insights/Half-cooked-RAW/Noise-reduction

其中用红线标出的那句话意思是,有些相机直接在RAW文件上降噪(比如绝大部分SONY单反)。
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
陈年泡菜
泡网分: 33.646
主题: 47
帖子: 4121
注册: 2002年8月
白云飞过 发表于 2013-2-14 08:07
论文的算法必须明确是从RAW数据读出处理再写回RAW, 还是读出RAW处理后输出JPG.

不过如轮如何, 都是后期降噪, 即便是在感应器硬件内执行也是属于软降噪的方式, 没有太大的实际降噪意义.


我认为这个算法还是不错的,不能说没有意义,基本不损失太多细节,而且对用户更方便,在外面也很难找到这类的专门对暗部降噪的工具。

这篇论文只介绍了技术框架,没有涉及具体电路实现,我倾向于认为这个应该是内置在传感器里,因此读出的RAW就已经是处理过之后,并且无法关闭。毕竟SONY传感器直接在RAW里降噪是有前科的。

下面这段文字也是来自DXO的,原文连接是http://www_dxomark_com/index.php/Publications/DxOMark-Insights/Half-cooked-RAW/Noise-reduction

其中用红线标出的那句话意思是,有些相机直接在RAW文件上降噪(比如绝大部分SONY单反)。

登录后可直接显示原图
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
泡菜
泡网分: 6.008
主题: 58
帖子: 9576
注册: 2012年8月
DXO 的测试印象里都是基于RAW的测试, 如果Sony那套降噪只是jpg输出而没有写回RAW数据, 那应该和DXO的测试无关.

白云飞过 发表于 2013-2-14 08:07
论文的算法必须明确是从RAW数据读出处理再写回RAW, 还是读出RAW处理后输出JPG.

不过如轮如何, 都是后期降噪, 即便是在感应器硬件内执行也是属于软降噪的方式, 没有太大的实际降噪意义.
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
泡菜
泡网分: 10.249
主题: 45
帖子: 5697
注册: 2011年1月
个人更看重低感
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
泡菜
泡网分: 6.008
主题: 58
帖子: 9576
注册: 2012年8月
论文的算法必须明确是从RAW数据读出处理再写回RAW, 还是读出RAW处理后输出JPG.

不过如轮如何, 都是后期降噪, 即便是在感应器硬件内执行也是属于软降噪的方式, 没有太大的实际降噪意义.
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
泡菜
泡网分: 13.248
主题: 180
帖子: 5810
注册: 2011年2月
第二作者显示了dxo果然和索尼有一腿啊。
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
泡菜
泡网分: 26.188
主题: 145
帖子: 17366
注册: 2012年5月
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
陈年泡菜
泡网分: 33.646
主题: 47
帖子: 4121
注册: 2002年8月
在DXO的数据中,暗部信噪比(用于计算动态范围指标)是非常重要的。正常情况下,暗部信噪比反映的应该是传感器读出噪声水平,而低感时的暗部,高感下是将相同的光电信号进行线性放大,比如ISO100下1%灰度比例,在ISO1600下将表现为16%灰度比例。因此读出噪声低的传感器,其低感暗部信噪比高,高感时的信噪比应该同样表现良好。

然而,根据DXO的测试结果,这个关系对于SONY传感器似乎是不存在的。几乎所有SONY传感器都具有类似的特点,那就是在低感下具有极好的暗部信噪比,但在高感下却表现平平甚至很差。

一个最典型的例子比如SONY RX100和佳能5D3的对比。

RX100在1寸传感器(13.2mmX8.8mm)上作了2000万像素,单个像素大小是2.4um,而5D3在全幅传感器(36mmX24mm)上作了2200万像素,单个像素大小是6um。

在传感器半导体技术水平基本接近的前提下(Sensorgen根据DXO数据推算的RX100量子效率QE是52%,5D3是49%),5D3的单个像素面积是RX100的6倍多,D3的信噪比指标理所当然远超RX100。同等技术下像素面积每增大一倍,信噪比理论上能提高3dB,6倍多相当于2.5档,也就是提高7.5dB。下图左边DXO提供的SNR 18%指标也完全证明了这一点,5D3几乎在每档ISO上信噪比都比RX100高8dB左右。
然而,图中右边的DXO动态范围数据对比,则给出十分有趣的结果。5D3在ISO100和ISO200动态范围甚至低于RX100,一直到ISO800左右才恢复正常对比关系。也就是说,RX100和5D3在低感下,暗部信噪比的对比关系完全反过来了。究竟是什么技术,能够让像素面积不到1/6的RX100,偏偏在低感下暗部有如此良好的表现,到高感反而又不行了呢?

很多人认为,这是由于SONY的半导体技术水平高,像素的读出噪声低,因此暗部表现良好。然而,如果真是这样,为什么这个先进的半导体技术,到高感下,相同的暗光曝光量,反而就不行了呢?

SONY传感器这种在相同暗光下,低感高感完全不同的表现,其中必然有内在的技术因素。
这是DXO网站提供的噪声模型,原文连接是http://www_dxomark_com/index.php/Publications/DxOMark-Insights/Noise-characterization/Summary

这个模型把噪声分为读出噪声(电路噪声)、光量子噪声和固定模式噪声,这也是比较常见的一种传感器噪声模型。按这个模型,在暗部,决定信噪比的主要因素是读出噪声,这个噪声水平只随曝光时间变化,其信噪比在暗部的估算模型是每增加一倍曝光量,信噪比提高6dB(图中红线标出部分)。在中等亮度区域,决定因素是光量子噪声,估算模型是每增加一倍曝光量,信噪比提高3dB(图中绿线标出部分)。

上图DXO给出了用直线模拟的信噪比随曝光量变化的趋势。在最暗部,信噪比按每增加一倍曝光量提高6dB快速上升,然后在逐渐转为每增加一倍曝光量提高3dB,直到基本保持恒定不再提高。

用这个模型衡量一下RX100和5D3的暗部信噪比曲线。

下图是根据DXO提供的RX100的ISO80和5D3的ISO100实际暗部信噪比数据的放大对比。图中横坐标是灰度比例(相当于照片输出亮度)的对数比例坐标,只取2%以下的暗部,纵坐标是信噪比分贝数dB。红色实线是5D3的信噪比曲线,蓝色实线是RX100的信噪比曲线,绿色虚线是每增加一倍曝光量信噪比提高3dB的理想中等亮度区域信噪比曲线,紫色虚线是每增加一倍曝光量信噪比提高6dB的理想暗部区域信噪比曲线。
可以清楚看到,5D3(红色实线)在暗部符合典型的暗部信噪比上升曲线,几乎完全拟合了每增加一倍曝光量信噪比提高6dB的理想模型。然而,RX100(蓝色实线)在暗部完全无法符合6dB这个曲线,反而非常接近3dB这条中等亮度区域的信噪比曲线。

很明显,这说明RX100采用了一种抑制暗部噪声的技术措施,而这个措施只对暗部生效,对更高的输出亮度(即使原始光信号是同样的暗光,仅仅因为ISO放大的原因提高了输出数值),这个措施不起作用。很显然,这措施与传感器的读出噪声无关,只能是一种针对AD转换后的数字图像处理方法。从实际暗部照片的对比来说,也并没有发现明显的暗部细节增加。同时,这个措施也不是简单的平滑降噪,因为在实际的照片中,暗部也没有明显的涂抹损失细节迹象。

那么,SONY究竟是采用了什么样的技术措施呢?

最近,找到了一篇SONY公司相关研究人员在2007年11月发表的论文,论文标题如下:
论文第一作者在SONY图像传感器事业部工作,第二作者同时为SONY计算机科学实验室和一家法国公司工作。第三作者来自早稻田大学。

这篇论文的主题是关于降低实时图像随机噪声的方法。其中提出了一个具有通用性,适用于静止图像的降噪算法框架,流程图如下:
这个算法的要点是:

1、只检测亮度低(阈值可以设置)的像素,因此对高一些的输出亮度像素不起作用

2、只针对跟相关性低(阈值可以设置)的相邻像素(低频周期性信号,相当于跟相邻像素有连续关系),不破坏明显的突变也就是物体的边界

3、采用像素平滑方式降噪(leveling filter)

下面是几张与这篇论文配套的演示:

这张清楚说明了降噪处理的效果,目标是降低像素随机噪声,由于没有对较亮的像素处理,不会影响分辨率。
这张形象说明了算法的工作过程,首先找亮度低于10(显然这个参数可以设置),然后找相关性低于0.8(也是可设置参数),然后在不破坏边界的情况下平滑降噪。
这个算法框架符合前述全部特点。

1、只对暗部降噪,因此在高ISO时,同样的曝光量,放大后输出提高了,超过降噪范围,因此不起作用。

2、采用了相关性检测算法,能较好地保护明显的物体边界(但对暗部低反差纹理将失效,因此CPIQ新的低反差纹理清晰度检测标准将直接克制这个算法)

3、降噪后的效果是让暗部的连续渐变区域更平滑,但并不增加暗部细节

这个算法的另一个特点是,可以根据不同机型的需求调整不同的参数,像RX100这样的机型,可能会降噪效果更强烈一些,而DSLR则可以使用较轻微的参数。

SONY没有公布过相关传感器的具体设计资料,因此,没有直接的技术证据来证明。但从实际效果来看,SONY传感器应该是内置了类似的暗部降噪处理,只不过有的机型明显,有的机型轻微。

通过这种方法,SONY传感器获得了更光滑的暗部,有效降低了按输出平均值/标准差定义的信噪比,而这恰好是DXO计算动态范围的主要依据,因此SONY传感器(以及采用类似技术的其它可能的产品)都具有类似的特点,低感暗部信噪比高,优势极其明显,高感表现优势不大或更差。

以下内容由 spot 于 2013-2-14 14:12 补充
为防止有些人误解,特加说明:

这帖子里大量引用DXO的动态范围指标,仅仅是为了直观展示DXO的暗部信噪比数据,并不代表我支持DXO的动态范围概念。

以下内容由 spot 于 2013-2-16 00:53 补充
我再从另一个角度分析一下SONY传感器暗部信噪比的性质。

首先需要说明一个背景资料。

DXO采用了一个独特的度量单位灰度比例(Grey Scale),这个数值对应的是传感器RAW文件的线性输出,而并不是直接对应EV,要根据不同ISO的饱和上限的变化而乘以不同系数,才能对应实际曝光量。也就是说,提高ISO导致的饱和容量下降,在DXO的数据里体现为灰度比例对应的曝光量系数减小。由于ISO数值就定义为饱和的速度,因此ISO的提高,对应的饱和上限是线性下降的,也就是DXO的单位灰度比例对应的曝光量系数随ISO放大倍数提高而线性减少的。

举个例子来说,假设ISO100时灰度比例0.01%对应的是一个像素获得的某个曝光量,那么ISO200时的0.02%,ISO400时的0.04%,...,ISO3200时的0.32%...,对应的都是同一个曝光量。

DXO的动态范围定义成1/d,其中d是达到某个输出信噪比下限(DXO取0dB)对应的灰度比例,比如D800是0.01%,那么就是1/0.0001=10000,换算成Ev为单位也就是13.3档。

以下内容由 spot 于 2013-2-16 00:55 补充
SONY传感器在DXO上的动态范围曲线形状,是直线下降的,这说明其暗部对应噪声底的曝光量基本上是固定的,不随ISO放大倍数改变。

比如,假设某个SONY传感器在ISO100时的0.01%对应一个曝光量,这时输出信噪比为0dB,那么,在ISO200、400、...25600等等,这个曝光量对应的输出信噪比都是0dB,只不过对应的灰度比例相应变为0.02%,0.04%...,2.56%,相应的DXO动态范围数据就成比例减小。每提高一档ISO,减少一档动态范围。

查看DXO数据可知,所有SONY传感器动态范围基本上都是这个1:1的直线下降模式。

显然,这意味着传感器的暗部ISO放大是数字的,因为如果ISO放大是模拟电路,那么随着放大倍数的改变,相同曝光量对应的输出信噪比将会提高。(这也是非SONY传感器的共同特点,ISO放大可以改善更暗的曝光量对应的输出信噪比,因此动态范围是以更缓慢的陡度下降)

以下内容由 spot 于 2013-2-16 00:56 补充
然而,从另一个方面,考虑中等亮度。

举个例子来说,ISO3200的18%灰度比例(标准中等亮度),对应的曝光量相当于ISO100的0.56%(0.18/32=0.0056),也就是说,ISO3200的标准曝光,对应的是ISO100的比标准曝光欠5档的曝光量。如果简单的把ISO100的输出,全都做数字放大,提亮32倍,就变成ISO3200的输出,由于数字提亮不会改变信噪比(信号和噪声都同比例放大了),很显然,这时ISO3200对应的18%根本就没法看。

只要对比一下相同光圈快门,相同物体在ISO100和ISO3200的画质表现,任何人都可以用自己的相机轻易验证这个概念。

因此,ISO放大必须以模拟放大为基础,这样才能提高更暗的曝光量对应的输出信噪比。数字放大最多是在模拟放大的基础上,增加1-2档的范围。(比如,ISO800是模拟放大,ISO1600在此基础上提亮一档,ISO3200又是模拟放大,ISO6400再数字提亮一档,等等)

常识告诉我们,ISO放大是传感器的基本设计,不可能同一个像素,一会数字放大,一会又模拟放大。

因此,结论就是,SONY传感器在ISO模拟放大的基础上,对暗部专门做了数字图像处理,从而得到一个与ISO无关的,稳定的暗部噪声底。

以下内容由 spot 于 2013-2-16 00:57 补充
下面是DXO上尼康D3S、D4(均为非SONY传感器)和D800(SONY传感器)的对比。从中可以清楚看到两种不同模式曲线形状的区别。
以下内容由 spot 于 2013-2-17 08:03 补充
贴几个SONY自己提供的传感器资料。这些资料还有很多,当然也有一些传感器SONY并没有公布资料,比如D800那个据说就是被尼康买断的。然而,已经公布的这些信息足以证明,除了那些小摄像头、小DC等ISO功能聊胜于无的设备,凡是SONY宣传具有高画质、高SNR的传感器,统统都内置了PGA(模拟放大电路)。

因此,SONY传感器同样使用了模拟放大电路,但在暗部信噪比(最典型的比较就是上面的D800和D4,D4同样使用了内置ADC)没有表现出使用模拟放大电路的正常特征,这也从一个侧面说明其在暗部使用了数字降噪手段。

以下内容由 spot 于 2013-2-17 08:04 补充
SONY在2008年发布的它第一个全幅CMOS传感器(A900用的那个)新闻稿http://www_sony_net/SonyInfo/News/Press/200801/08-010E/index.html
SONY在2011年发布的IMX078CQK(Pentax Q和其它一些DC用的)技术资料http://www_sony_net/Products/SC-HP/cx_news/vol63/pdf/imx078cqk.pdf
SONY的IMX076技术资料http://www_sony_net/Products/SC-HP/cx_news/vol62/pdf/imx076lqz_cqz.pdf,其中提到模拟放大+数字放大混合的ISO增益效果。
SONY的IMX122LQJ技术资料http://www_sony_net/Products/SC-HP/cx_news/vol65/pdf/imx122lqj.pdf#page=2
以下内容由 spot 于 2013-2-17 11:10 补充
IMX021是SONY在2007年发布的APS-C传感器,根据SONY提供的技术资料http://www_sony_net/Products/SC-HP/cx_news/vol50/pdf/imx021.pdf,同样采用了内置PGA,最大增益24dB(相当于最大放大倍数是16倍)。
该传感器被用在尼康D300相机上。以下是D300在DXO上的动态范围曲线,具有典型的SONY传感器风格,全程动态范围呈直线下降。
下面是SONY在IMX021技术资料里介绍的内置数字降噪框图。可以很清楚的看到,在AD转换之后,SONY在传感器里内置了数字降噪处理,这个处理可以抑制AD转换的量化误差。
这个资料与前面的分析结论完全吻合。SONY传感器正是在模拟放大电路的基础上,通过数字降噪处理抑制最小的暗部噪声,从而改善暗部信噪比。

以下内容由 spot 于 2013-2-17 11:20 补充
SONY的IMX021后续型(传感器结构相同)也被用在尼康D300S上,D300S略微改进了ISO100的实现(D300的ISO100完全是数字增益实现,D300S微调了模拟增益),同样在DXO上具有完全类似的SONY传感器动态范围曲线形状。
以下内容由 spot 于 2013-2-18 15:32 补充
我再整理一下这个帖子到目前为止的内容:

SONY传感器在暗部使用了数字降噪处理,因此在DXO上得到了超高的动态范围评分

针对这个观点,我的帖子里分析了以下内容:

1、SONY传感器的DXO动态范围曲线(也就是最暗部信噪比曲线)模式与其它传感器有很大不同,其直线下降的模式很像数字放大

2、根据部分SONY传感器资料,SONY传感器也使用了PGA模拟放大电路实现ISO增益

3、SONY传感器在AD转换后内置了数字降噪处理

4、SONY公司2007年的一篇论文具体介绍了一种数字降噪算法,非常匹配有关的现象

5、通过对一张实际测试照片的处理说明,5D3的暗部经过降噪处理可以大大改善画质,其细节表现非常接近于DXO上动态范围指标高2档的D3X(当然还有差距)

以下内容由 spot 于 2013-2-20 07:38 补充
首先感谢hybupt2005网友提供的SONY技术资料连接http://pro_sony_com/bbsccms/assets/files/cat/camsec/solutions/E_CMOS_Sensor_WP_110427.pdf以及http://www_vodtech_eng_br/Baixar/Catalogos%20Diversos%20part%201/part%201/CCD_CMOS_WhitePaper.pdf

其中提到的CMOS数字降噪处理框图如下,其核心是数字CDS处理。
在SONY官方网站上又找到了稍微详细一些的技术介绍,http://www_sony_net/SonyInfo/technology/technology/theme/cmos_01.html,其中对数字CDS的介绍如下:
这篇资料进一步明确了SONY传感器的数字降噪处理方法,大致的过程是,在像素复位以后,下次感光之前,先读取像素中的数据,然后在正常拍摄之后,减去这个数据,以此消除像素的复位噪声和列读取电路存在的固有噪声。

以下内容由 spot 于 2013-2-20 07:38 补充
然而,在上述资料的描述中,存在一些含糊和矛盾之处。

一个很明显的问题是,像素的复位噪声(复位后仍残留的电荷)的已经通过AD转换前的模拟CDS电路消除了。事实上,模拟CDS才是消除这个干扰因素的正确方法。

举个例子来说,假设某个相机AD转换的最小单位是1mV,复位后某个像素残留电荷转换的电压信号是0.8mV,正式拍摄后该像素的读出信号是1.2mV。如果用数字CDS处理,第一次读出的0.8V不足最小单位,转换为0,第二次读出的像素值超过最小单位,转换为1,两个值相减仍然等于1,复位电荷的干扰仍然保留了。而如果通过模拟CDS电路处理,第二次读出的电压减去第一次读出的保持电压信号后,只有0.4V,AD转换后数值为0,干扰消除了。

由此可见,对于复位电荷的干扰,模拟CDS电路才能更好的消除,数字CDS由于AD转换存在最小精度,因此反而不能很好的消除该噪声。

所以,一是没必要(AD前的模拟CDS已处理了),二是效果不好(数字CDS要受到最小精度的影响),用数字CDS来消除复位噪声,并不是一个有效的方法。

以下内容由 spot 于 2013-2-20 07:39 补充
这样看来,SONY的数字CDS更有效的作用应该是消除像素和列存在的固定模式噪声,在前面hybupt2005网友提供的第二个连接里,说到这个数字CDS的功能,也是只提到了对固定模式噪声的消除。
不管这部分电路的具体功能及其实现方式,从目前得到的资料来看,基本已经可以肯定前面的结论:

SONY传感器在暗部使用了数字降噪处理,因此在DXO上得到了超高的动态范围评分

以下内容由 spot 于 2013-2-23 23:08 补充
新贴:动态范围指标的实用化--数码相机宽容度的理论和实践
相关标签: 尼康 D3s Sony D800 DxO
(0)
(0)
只看该作者
不看该作者
加入黑名单
举报
返回顶部
个人图文集
个人作品集
回复主题: 通过一篇SONY论文分析SONY传感器DXO暗部信噪比很高的原因
功能受限
游客无回复权限,请登录后再试