绪论
一幅图像可以定义为一个二维函数f(x,y),其中x,y是空间坐标,而在任何一对空间坐标(x,y)处的幅值f称为图像在该点的强度、灰度。当x,y和灰度值f是有限的离散数值时,我们称该图像为数字图像。
数字图像：数字图像是由有限数量单元的元素组成,每个元素都有一个特定的位置或者幅值。这些元素称为图画元素、图像元素、像素。
数字图像处理：借助于数字计算机来处理图像。
低级处理：涉及初级操作,如降低噪声的图像预处理、对比图增强和图像锐化。低级处理以输入、输出都是图像为特征。
中级处理：涉及诸多任务,如分割(把一幅图像分割为不同区域或则目标),减少这些目标物的描述,以使其更适合计算机处理以及对不同目标的的分类(识别)。中级处理以输入为图像但是输出为从这些图像中提取的特征(边缘、轮廓及各类标识)为特征。
高级处理：涉及”理解”已识别目标的总体,就像图像分析一般,以及连续统一体的远端执行与视觉相关的功能。
数字图像处理基础
眼睛：三层膜包括。角膜、巩膜外层 脉络膜 视网膜。
亮度适应级别：对于任何条件,视觉系统当前灵敏度级别称为亮度适应级别。原因：视觉系统不能同时在一个范围内工作被称为亮度适应。
对于不同的强度的边界区域会出现下冲,上冲现象。
没有颜色的光被称为单色光,无色光。唯一属性强度或大小。单色光的强度从黑色到灰色变化,最后到白色。灰度级用来描述单色光的强度。
灰度级：从黑色(0)到白色(L-1)的单色光的度量范围。
灰度图像：单色光图像。
三个基本量描述彩色光源的质量：发光强度(从光流出的能量总量用瓦特W来度量)、光通量(流明数lm度量。给出了观察者从光源感受到能量)、亮度(主观描绘子,具体体现了强度的无色概念)。
一副图像的x和y坐标及幅值都可能是连续的。为将他们转换为数字形式,必须对坐标和幅值进行取样操作。对坐标进行数字化称为取取样。对幅值数字化称为量化。
由一幅图像的坐标张成的实平面部分称为空间域。x,y被称为空间变量或者空间坐标。
处于储存和量化硬件考虑,灰度级数通常取为2的整数次幂。
动态范围：灰度跨越的值域非正式的称为动态范围。系统的最大可度量灰度(取决于饱和度。饱和度：超过这个值就要被剪掉的最高值)与最小可检测灰度(取决于噪声)之比。
灰度分辨率：灰度级中可分辨的最小变化。
内插
内插：用已知数据来估计未知位置的数值的处理。
图像内插：为了覆盖每个点赋以灰度值。
- 最邻近插值
- 双线性插值
- 双三次插值
双线性插值：$v(x,y)=ax+by+cxy+d$使用四个点为基准点。
双三次插值：$v(x,y)$ = $\sum{i=0}^3\sum{j=0}^3a_{ij}x^iy^j$使用16个点为基准点。
邻接&&邻域
- 四邻域：$(x+1,y), (x,y+1), (x-1,y), (x,y-1)被称为N_4(p)$
- D邻域：$(x+1,y+1), (x+1,y-1) ,(x-1,y+1) ,(x-1,y-1)被称为N_D(p)$
- 8邻域：$包含N_4(p)和N_D(p)被称为N_8(p)$
- m邻接/混合邻接：$设p在N_4(q)或者p在N_D(q)中(p,q在v中),且N_4(p) \bigcap N_D(q) \bigcap v = \emptyset 称v中的数值p,q是m邻接的$
前两种邻域称为4邻接,8领域称为8邻接。
连通性、边界、区域
设$S$为一个像素子集。如果$S$的全部像素之间存在一个通路则称两个像素$p,q$是连通的。对于$S$中任何像素$p,S$中连通到该像素的像素集称为$S$的连通分量。如果$S$中只有一个连通分量则称,集合$S$为连通集。
如果$R$是图像的一个像素子集,且为连通集则称$R$为一个区域。两个区域将他们联合成一个连通集则称他们为邻接区域。不邻接区域称为不邻接区域。
设一幅图像中有$K$个不连接的区域,即$R_k,k=1,2,3…..,K$且他们都不接触图像的边界。令$R_u$为$K$个区域的并集,$(R_u)^c$为补集。则我们称$R_u$为图像前景。$(R_u)^c$为图像背景。
区域$R$的边界：与$R$的补集用的点邻接。一个区域及其背景的邻接要根据8连通定义。此为内边界。
距离
欧式距离：$D_e(p,q)=[(x-s)^2+(y-t)^2]^{1/2}$
城市区间距离$D_4$距离：$D_4=|x-s|-|y-t|$
$D_8$距离棋盘距离：$D_8(p,q)=max(||x-s,|y-t|)$
$D_m$：最短m通路距离。
工具介绍
- 针对降噪的带噪音图像的相加
- 增强差别图片的相减
- 使用图像相除或者相乘来校正阴影
灰度变换和空间滤波
空间域：空间域是包含图像像素的简单平面。
空间域技术：直接操作图像的像素。
灰度变换：指根据某种目标条件按一定变换关系逐点改变源图像中每一个像素灰度值的方法。目的是为了改善画质，使图像的显示效果更加清晰。
滤波
空间滤波
考虑一个式子
$g(x,y)=T[f(x,y)]$
其中$f(x,y)$是输入图像。$g(x,y)$是处理后的图像。$T$是在点$(x,y)$处领域上定义的关于$f$的一种算子。
- 设有一个算子$T$
- 邻域原点从一个像素到另一个像素移动。
- 对领域中的像素应用算子$T$,并在该位置输出
- 对于任意指定位置$(x,y)$,输出图像$g$在这些坐标出的值,等于对$f$中以$(x,y)$为原点的邻域应用算子$T$的结果。
- 当该邻域的原点位于图像的边界上时,部分领域将位于图像外部,此时不是用$T$做指定的计算时忽略外侧邻点就是使用0或者其他的指定灰度值进行填充。
以上的操作为空间滤波,其中邻域与预定义的操作一起被称为空间滤波器。
基本的灰度变换函数
图像反转
将得到的图像的灰度图反转。
得到的灰度级范围$[0,L-1]$。反转公式$s=L-1-r$。
对数变换
变换公式为$s=clog(l+r)$。其中$c$为常数,假设$r\geq0$。变换输入的$r$可达到输出的$s$的图像。
对于对数变换来说。我们可以从图中看出,对数变换将输入范围内较窄的灰度值映射到到较宽的的灰度值,或者将范围较宽的灰度值映射到范围较窄的灰度值。反对数与此相反。
幂律(伽马)变换
考虑公式。
$s=cr^\gamma$。其中$r,\gamma$为常数,式子可以写成$s=c(r+\varepsilon)^\gamma$。但是其中的$\varepsilon$可以忽略不记。对于不同的$r和c$可以得到以下图像。
和对数变换不同的是随着$\gamma$的变换我们可以得到一族可能的变换曲线,可以看到当$c,r$不变时,$\gamma 和 \gamma<1 $ 生成的曲线完全相反。
$c=\gamma=1$时变成了恒等变换。
用于图像获取、打印和显示各种设备根据幂律来产生响应。用于校正这些幂律现象的处理方式被称为伽马校正。
伽马校正不会改变图片的亮度但是会改变彩色图片中的红、绿、蓝的比率。
分段线性变换函数
对比度拉伸动
低对比度图像由于照明不足、成像传感器态范围太小、图像获取过程中镜头光圈设置错误引起。对比度拉伸是扩展图像灰度级动态范围的处理,因此可以跨越记录介质和显示装置的全部灰度范围。
灰度级分层
将感兴趣的灰度范围突出出来。
- 使用二值函数,将感兴趣设为一个值其他的设为另外一个值
- 将感兴趣的变亮或者变暗。其他不变。
比特位分层
例如在256灰度图中(灰度级范围$[0-255]$)每个像素灰度由8个比特组成。
用于突出特定比特来突出图像的外观。
直方图处理
直方图均衡
是一种增强图像对比度的方法,其主要思想是将一副图像的直方图分布变成近似均匀分布,从而增强图像的对比度。直方图均衡化是输入图像中各灰度级别通过式子映射到输出图像中，该灰度级别对应的Y值不变。通过这样处理能达到图像中灰度级别均衡分布的目的
直方图匹配
又称直方图规定化。是指将一幅图像的直方图变成规定形状的直方图而进行的图像增强方法。有时我们希望处理后的图像具有规定的直方图形状可能更有用。这种于产生处理后有特殊直方图的方法称为直方图匹配。
空间滤波基础
空间滤波机理
空间滤波器组成
- 一个邻域(通常是一个小矩形)
- 对该邻域所包围的图像像素执行的预定义操作组成。
滤波产生新的像素,新的像素坐标等于邻域中心的坐标,像素的值是滤波操作的结果。
如果滤波器在图像像素上执行的是线性操作则该滤波器被称为线性滤波器。否则为非线性滤波器。
相关：滤波器模板移过图像并计算每个位置乘积之和的处理,是滤波器位移的函数。
卷积：与相关相似,但是将滤波模板反转了$180^。$
离散单位冲激：包含单个1而其余都是0的函数称为离散单位冲激。
某个函数与单位冲激相关,则会在改冲激位置产生该函数的一个翻转。
卷积的一个基本特性：某个函数与某个离散单位冲激卷积,得到该函数在该冲激出的一个副本。
线性滤波：实现乘积求和操作。
二维高斯函数具有钟型,标准差控制钟的”紧度”。
平滑空间滤波器
平滑线性滤波器
输出(响应)：包含在滤波器模板邻域内的像素的简单平均值也被称为均值滤波器。可以把他归为低通滤波器。
所有系数都相等的空间均值滤波器被称为盒装滤波器。
统计排序滤波器(非线性)
是一种非线性空间滤波器。
中值滤波器：处理椒盐噪声很有效。使拥有不同的灰度的点看起来更接近他的相邻点。
其他：最大值滤波器、最小值滤波器等。
锐化空间滤波器
主要目的：突出灰度的过度部分也就是细节。
一维函数$f(x)$的一维积分基本定义是差。
$\frac{\partial f}{\partial x}=f(x+1)-f(x)$
二阶微积分定义为差分也就是细节。
$\frac{\partial^2 f}{\partial x^2}=f(x+1)+f(x-1)-2f(x)$
扩展到x,y方向上。
x方向上
$\frac{\partial^2 f}{\partial x^2}=f(x+1,y)+f(x-1,y)-2f(x,y)$
y方向上
$\frac{\partial^2 f}{\partial x^2}=f(x,y+1)+f(x,y-1)-2f(x,y)$
拉普拉斯算子
定义
$\nabla ^2f(x,y)=\frac{\partial^2 f}{\partial x^2} + \frac{\partial^2 f}{\partial y^2}$
公式
$\nabla^2 f(x,y)=f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)+4f(x,y)$
非锐化掩蔽和高提升滤波
印刷业和出版业使用。
- 模糊原图
- 从原图中减去模糊图像得到模板
- 将模板加到原图上
设$\overline{f}(x,y)$为模糊图像则我们得到模板$g_{mask}(x,y)$则
当$k>1$称该处理为高提升滤波。当$k<1$不强调非锐化模板的贡献。
$k=1$则称为非锐化遮掩。
使用一阶微分锐化(非线性)图像——梯度
梯度：指出了在位置$(x,y)$处$f$的最大变化率方向。
sobel算子：使用X方向的梯度和Y方向的梯度的绝对值之和作为该点的输出像素值。
频率与滤波
傅里叶变换
对于任意周期函数都可以表示为不同频率的正弦/余弦之和的形式。每个正弦/余弦都乘以不同的系数。对于非周期性函数也可用正弦/余弦乘以加权的函数积分来表示。这种公式就是傅里叶变换。
特征：用傅里叶技术或者变换得来的函数特征完全可以通过傅里叶反变换来重建且不会丢失任何信息。
离散冲激是一个普通函数。
卷积定理：频率域的卷积等于空间域的相乘。空间域的相乘等于频率域的卷积。
带限函数：对于中心点为原点的有限区间(带宽)之外的频率,其傅里叶变换为零的函数。
取样定理：如果以超过函数最高频率两倍的取样率来获得样本,连续带限函数能完全由样本集恢复。
$\frac{1}{\Delta T}>2\mu_{max}$。
完全等于最高频率的两倍的采样率称为奈奎斯特取样率。
三种取样：过取样、欠取样、临界取样。
低通滤波器：消除所有较高的频率,让低频率通过。
高通滤波器：消除较低的频率,让高频率通过。
使用低于奈奎斯特取样率的频率取样会导致周期重叠。这就是频率混淆,或简称混淆。
波尔模式(波纹)：两个近似登间隔的光栅之间产生的差拍模式。
图像的空间域是指图像平面所在的二维平面，对于空间域的图像处理主要是对像元灰度值的改变，其位置不变。
图像的频率域是图像像元的灰度值随位置变化的空间频率，以频谱表示信息分布特征，傅立叶变换能把遥感图像从空间域变换到只包含不同频率信息的频率域，原图像上的灰度突变部位、图像结构复杂的区域、图像细节及干扰噪声等信息集中在高频区，，而原图像上灰度变化平缓部位的信息集中在低频区。
空间域的旋转与频率旋转等效。
任意函数都可以表示为一个奇函数部分和一个偶函数部分的和(都可以含有虚部和实部)。
对频谱图翻转：将低频信息集中到中心点,更好得进行滤波。
高频信息：尖锐过度造成。
低频信息：缓慢变化的灰度成分。
使用频率滤波器平滑图像
理想低通滤波器
布特沃斯低通滤波器
高斯低通滤波器
其他低通滤波器
使用频率滤波锐化图像
理想高通滤波器
布特沃斯高通滤波器
高斯高通滤波器
频率域拉普拉斯滤波器
选择性滤波
处理指定频率段或频率矩形的小区域
- 带阻滤波器/带通滤波器
- 陷波滤波器
带阻滤波器
- 理想带阻滤波器
- 布特沃斯带阻滤波器
- 高斯带阻滤波器
陷波滤波器
可以用中心已被平移到陷波滤波器中心的高通滤波器的乘积来构造。
使用n阶布特沃斯带阻滤波器。
图像复原与重建
图像的退化/复原过程模型
退化过程：被建模为一个退化函数和一个加性噪音。
图像复原的目的就是获得原始图像的一个估计$\hat{f}(x,y)$。我们希望这一估计能尽可能的接近原始输入图像。
噪声模型
主要来源于图像的获取和传输过程。
频率特性：指的是傅里叶域中噪声的频率内容。
一些重要的噪声概率密度函数
- 高斯噪声
- 爱尔兰(伽马)噪声
- 指数噪声
- 均匀噪声
- 瑞利噪声
- 脉冲(椒盐)噪声
周期噪声
周期噪声可通过频率域滤波显著减少。
噪声参数估计
周期噪声趋于产生频率尖峰。
只存在噪声的复原——空间滤波
均值滤波器
- 几何均值滤波器
- 算数均值滤波器
- 谐波均值滤波器
- 逆谐波均值滤波器
统计排序滤波器
- 中值滤波器
- 最大值和最小值滤波器
- 中点滤波器
- 修正的阿尔法均值滤波器
自适应滤波器
- 自适应局部降低噪声滤波器
- 自适应中值滤波器
使用频率域滤波消除周期噪声
带阻滤波器
带通滤波器
陷波滤波器
最佳陷波滤波器
彩色图像处理
彩色基础
光的三原色：蓝色、绿色、红色。
颜料(印刷业)三原色：深红色、青色、黄色。
前者颜色叠加可以生成各种颜色。后者则是减去另一种颜色,其原色定义为减去或者吸收光的一种原色,并反射或传输另外两种原色。
灰度级仅提供一个亮度标量度量,他的范围是从黑色到灰色最终到白色。
描述光源质量的三个基本量：辐射、光强、亮度。
辐射：从光源流出的能量总量。从光流出的能量总量用瓦特W来度量。
光强：流明数lm度量。给出了观察者从光源感受到能量。
亮度：主观描绘子,具体体现了无色的强度概念。
通常用于区别不同颜色特性：亮度、色调、饱和度。
亮度：主观描绘子,具体体现了无色强度概念。
色调：波长混合中主波长有关的属性。表示感知者感知的主要颜色。
饱和度：相对纯净度,一个光混合白光的量。混合的越多饱和度越低。
色调和饱和度一起称为色度。
所以颜色可以用亮度、色度来表征。
颜色模型
颜色模型(彩色空间\彩色系统)目的：某些标准下用通常可以接受的方式方便对颜色加以说明。
RBG 模型
红色、蓝色、绿色
面向硬件,用于彩色监视和一大类彩色视频摄像机。
各个系统的颜色不同,所以有一个通用色色彩集,独立于硬件。被称为稳定RGB色集合,或者称为全系统稳定色集合。互联网中这种结合被称为Web色或者稳定浏览器色。
216色中每个颜色只可区：0、51、102、153、204、255。
CMY CMY(K)模型
用于打色打印机。
等量的CMY三原色可以生成黑色但是不纯于是出现了CMYK,其中K为黑色。
CMY：青色、深红色、黄色
CMYK：青色、深红色、黄色、黑色
HSI 模型
便于人来描述图像的工具。
色调、饱和度、强度
伪彩色处理
灰度分层
如果一副图像被描述成三维函数,则分层的方法可视为放置一些平行于该图像的的坐标平面的平面。然后在这个平面相交的区域中”切割“函数图像,平面上方设置为一种彩色,下方设置为另一种彩色。
灰度到彩色变换
- 对像素的灰度进行三个独立变换(RGB)。
- 将变换结果分别送到彩色监视器的红、绿、蓝通道。
- 合成一幅图像。
全彩色图像处理
分为两类。1. 分别处理每一幅分量图像,然后由分别处理过的分量图像来形成一副处理过的合成彩色图像。2. 直接处理像素。
对于第一种情况要满足两种情况。
- 处理必须对向量和标量都可用
- 对向量的每个分量的操作杜宇其他分量都必须独立。
公式
$g(x,y)=T[f(x,y)]$
补色
在色彩环上,与色调直接相对的另一端被称为补色。补色对于增强嵌在彩色图像暗区的细节很有用。
彩色分层
把不感兴趣的之外的彩色设为中性色。
色调和颜色校正
与数字摄像机、平板扫描仪和喷墨打印机相连,个人计算机就成了数字暗室,从而允许我们对图像进行色调调整和彩色校正。
平滑和锐化
彩色图像平滑
如灰度图像平滑一样,但是使用分量向量代替灰度标量值。
彩色图像锐化
可使用laplas。
基于彩色的图像分割
基于HSI彩色空间的分割
RGB向量空间中的分割
彩色边缘检测
彩色图像中的噪声
使用中值操作时需要找到一种有意义的向量排序方式。
彩色图像压缩
对象：每个彩色像素的分量。