数字图像处理与应用

第一讲 数字图像与数字图像处理概述（学什么，有什么用）

1.1 数字图像与数字图像处理（是什么）

图：

是物体反射或者透射电磁波的分布。

像：

是人的视觉系统对接收的图信息在大脑中形成的印象。

图像：

是“图”和“像”的结合。
具体来说，就是用各种观测系统以不同形式和手段观测客观世界而获得的、可以直接或间接作用于人的视觉系统而产生的视知觉实体。

图像处理：

是对图像信息进行加工以满足人的视觉或应用需求的行为。
处理方法通常有：

1.模拟图像处理：它是利用光学透镜或光学照相方法对模拟图像进行的处理，其实时性强、速度快、处理信息量大、分辨率高，但是处理精度差，难有判断功能
2.数字图像处理
3.光电结合处理：用光学方法完成运算量巨大的处理(如频谱变换等)，而用计算机对光学处理结果(如频谱)进行分析判断等处理。该方法是前两种方法的有机给音，它集结了二者的优点。

数字图像处理:

就是利用计算机技术或其他数字技术，对图像信息进行某些数学运算和各种加工处理，以改善图像的视觉效果和提高图像实用性的技术。
流程：图像一—>图像处理系统—>图像二

数字图像处理的优点

1.精度高：对于一幅图像而言，数字化时不管是用4比特、8比特还是其它比特表示，只需改变计算机中程序的参数，处理方法不变。所以从原理上讲不管对多高精度的数字图像进行处理都是可能的。而在模拟图像处理中，要想使精度提高一个数量级，就必须对装置进行大幅度改进。
2.再现性好：不管是什么数字图像，均用数组或数组集合表示。在传送和复制图像时，只在计算机内部进行处理，这样数据就不会丢失或遭破坏，保持了完好的再现性。而在模拟图像处理过程中，就会因为各种干扰因素而无法保持图像的再现性。
3.通用性、灵活性强：对可见图像和不可见光图像(如x光图像、热红外图像和超声波图像等)，尽管这些图像生成所用设备规模和精度各不相同，但当把这些图像数字化后对于计算机来说，都可同样进行处理，这就是数字处理图像的通用性。另外，改变处理图像的计算机程序，可对图像进行各种各样的处理，如上下滚动、漫游、拼接、合成、变换、放大、缩小和各种逻捐运算等，所以灵活性很高。

图像分析：

通过对图像中不同对象进行分割来对图像中目标进行分类和识别的技术

1.图像分析是比图像处理更高一级的计算处理过程。(高级)
2.图像分析的目的：分类。是缩减对图像的描述，以使其更适合于计算机处理及对不同目标的分类。
3.图像分析的基本特征：输入是图像，输出是对输入图像进行描述的信息。
流程：图像--->图像分析系统--->对图像进行描述的信息

图像处理与图像分析的关系

1.2 数字图像处理系统组成及研究内容（后面上课的概述）

基本图像处理系统的结构

输入设备一般为相机、扫描仪等
处理设备和储存设备一般为手机、电脑等
输出设备一般为打印机、印刷机等

图像处理技术研究的内容

图像变换

是简化图像处理过程和提高图像处理效果的基本技术，最典型的图像变换主要有傅里叶变换、离散余弦变换和小波变换等。

图像增强

是或简单地突出图像中感兴趣的特征，或想方法显现图像中那些模糊了的细节，以使图像更清晰地被显示或更适合于人或机器的处理与分析的一种技术。

图像恢复

是一种从图像退化的数学或概率模型出发，研究改进图像外观，从而使恢复以后的图像尽可能地反映原始图像的本来面目的一种技术，其目的是获得与景物真实面貌相像的图像。

图像压缩编码

是在不损失图像质量或少损失图像质量的前提下,尽可能地减少图像的存储量，以满足图像存储和实时传输应用需求的一种技术。

彩色图像处理

颜色是一个强有力的描绘子，它常常可简化目标物的识别和提取。人可以辫别几千种不同的颜色，但只能区分出几十种灰度级，这使得颜色在人工图像分析中显得特别重要。

图像的三维重建

由物体截面投影来重建截面图像的一种图像处理技术。最典型的应用是医学上的计算机断层摄影技术(CT)。它用于人体头部、腹部等内部器官的无损伤诊断，其基本方法就是根据人体截面投影，经过计算机处理来重建截面图像。

图像分割

是图像处理技术中最为困难的任务之一，其基本思路是把一幅图像划分成背景和目标，从而提取感兴趣的目标来。

图像的表示和描述

基本思路是通过对图像中感兴趣的特征的定性和定量描述，从而赋予识别出的目标以符号标识和解释。

1.3 *数字图像处理技术应用领域（了解）

图像处理技术的主要应用领域有：
生物医学、遥感技术、工业生产、军事技术、通信技术、侦缉破案、气象预报、宇宙探索、考古等，已经遍布国民经济的各个领域。

发展历史

20世纪20年代：报纸业

Bartlane电缆图片传输系统:大幅提高传输速度；色调质量和分辨率改善
1921年，电报打印机，5个灰度级；1922年，穿孔纸带，5个灰度级；1929年，15级灰度

1964年：航天技术

图像增强和复原技术；美国JPL（喷气推进）实验室处理卫星发射回来的月球表

20世纪70年代：遥感卫星和医学

·图像增强和图像识别
·利用遥感图片，进行地质资源探测，农作物估产，水文气象监测等
·图像重构
·X光断层图像重构技术，英国G.N.Hounsfield 第一台脑断层摄像仪应用

80年代末到90年代：多媒体技术

高速计算机和大规模集成电路的发展：图像压缩和多媒体技术；文本图像的分析和理解，文字的识别取得重大的进展；图像通讯和传输的广泛应用

应用领域

医学

通过CT及核磁共振、超声波、 X射线成像的分析等，可提供医学诊断依据。

气象预报

获取气象云图进行测绘、判读等

遥感

农、林等资源的调查，农作物长势监测，自然灾害监测、预报，地势、地貌测绘以及地质构造解译、找矿，环境污染检测等等。

工业生产

无损探伤，石油勘探，生产过程自动化（识别零件，装配质量检查），工业机器人研制等

军事

航空及卫星侦察照片的测绘、判读，雷达、 声纳图像处理，导弹制导，军事仿真等

通信

图像传真，数字电视、网络可视聊天、可视电话网页动画等。

公安

指纹识别，印签、伪钞识别，安检，手迹、印记鉴别分析等。

其他

广告设计和计算机合成图像（sora）

第二讲 数字图像处理的基础

2.1 电磁波谱与可见光谱

电磁辐射波

1.在实际的图像处理应用中，最主要的图像来源于电磁辐射成像。
2.电磁辐射波包括无线电波、微波、红外线、可见光、紫外线、X射线、γ射线。
3.电磁辐射波的波谱范围很广，波长最长的是无线电波为3×10^2m，其波长是可见光波长的几十亿倍；波长最短的是γ射线，波长为3×10^-17m，其波长比可见光小几百万倍。

太阳的电磁辐射波

1.太阳的电磁辐射波恰好主要占据整个可见光谱范围。
2.可见光随波长的不同依次呈现出紫、蓝、绿、黄、橙(橘红)、红六种颜色，白光是由不同颜色的可见光线混合而成的。
3.人从一个物体感受到的颜色是由物体反射的可见光的特性决定的，若一个物体反射的光在所有可见光波长范围内是平衡的，则对观察者来说显示的是白色；若一个物体只反射可见光谱中有限范围的光，则物体就呈现某种颜色

相关概念（比较重要）

单色光：仅有单一波长成份的光
复合光：含有两种以上波长成份的光
有色光：有色彩的光。单色光和复合光都是有色彩的光。
消色光：没有色彩的光
消色光就是观察者看到的黑白电视的光，所以消色指白色、黑色和各种深浅程度不同的灰色。
☆消色光的属性仅有亮度或强度，通常用灰度级描述这种光的强度。

电磁辐射波的成像方法及其应用领域

不同的电磁辐射波有各自的成像方式，其应用领域也不近相同。
紫外线验钞、γ射线扫描骨骼········

2.2 人眼的视觉特性

*视觉系统基本构造

*眼球结构

平均直径：20mm
虹膜： 2mm~8mm控制入光量
视网膜：图像视觉
视锥体：颜色和细节识别
600万~ 700万
视杆体：亮度敏感，分辨物体的明暗
7500万~15000万

视觉过程

包括：光学过程；化学过程；神经处理过程
光学过程:物体在视网膜上成像

亮度适应能力

实验表明：主观亮度，人的视觉系统感觉到的亮度与进入人眼的光的强度成对数关系。
特点1：人眼亮度适应总的动态范围相当大
特点2：外界光强确定后人眼亮度适应的动态范围并不大
特点3：当外界光强变化时，人眼亮度又适应另一个小的动态范围。
所以有如下发现：

明亮->较暗
逐渐能够看清物体暗光适应(2030s)
较暗->明亮
逐渐能够看清物体亮光适应(12s)

人眼对从亮突变到暗环境的适应能力称为暗适应性。
人眼对亮度变化跟踪滞后的性质称为视觉惰性（短暂的记忆特性）。

同时对比度

亮度对比：背景亮度不同，人眼所感受的主观亮度值也不一样。
亮背景下显得暗、暗背景下显得亮。这种效应就叫同时对比度。

*亮度区分能力

假设一个平面如磨砂玻璃一样散光，被1个强度为I且可以变化的光源从背后照亮，1个照度增量为△I，像短促闪光一样加在均匀照明的平面上，可使人感到平面中间像1个圆形亮点。
如果△I不够亮，实验者没有感知上的变化，当△I逐步增强，感知上发生变化。如果50％的机会感知亮度变化，则量△I/I为韦伯率，小的韦伯率表示可区分强度的小变化，有较好的亮度区分能力；大的韦伯率表示只有大的强度变化才能区分，有较差的亮度区分能力。

*马赫带

实际亮度永远比视觉亮度要高

视觉错觉

长度与透视、曲线正方形等···

2.3 图像的采样和量化（数字化）

☆图像成像模型（不知道入射分量和反射分量是什么东西）

f (x,y) 与 i (x, y ) 和 r (x, y ) 都成正比
入射分量 i (x, y)的值是由光源决定的
反射分量 r (x, y)的值是由场景中的目标特性所决定的
{典型值：黑天鹅绒0.01;不绣钢0.65; 粉刷的白墙平面0.80;白雪0.93}

*主要技术:

1.成像：光信息－>电信号
2.模数转换（A/D Converter ）

*关键部件：固体成像设备

1.电荷耦合器件CCD
利用电荷存储、传送和读取方式进行工作
特点：精确、尺寸小、灵敏度高、分辨率高
主要设备：摄象机、扫描仪、数码相机
2.互补型金属氧化物半导体CMOS
特点：集成性好，体积更小
主要设备：可摄像手机
3.电荷注射器件CID
对光的灵敏度低，随机访问像

采样（确定坐标）

空间坐标的离散化称为空间采样，简称采样，确定了图像的空间分辨率
即用空间上部分点的灰度值代表图像。这些点称为采样点
采样时一般取2的整数次幂的值

量化(把灰度值分成多少部分)

对采样点亮度（灰度）值的离散化过程。确定了图像的灰（幅）度分辨率

两种量化：
均匀量化: 将样点灰度级值等间隔分档取整，称为均匀量化
非均匀量化: 将样点灰度级值不等间隔分档取整

量化时一般取2的整数次幂的值

数字图像表示

下图的mnk只是想表示MNG为2的整数次幂，没什么别的意思

例如：

存储1幅32 * 32，16个灰度级的图需要 4,096 bit
存储1幅128 * 128，64个灰度级的图需要 98,304 bit
存储1幅512 * 512，256个灰度级的图需要 2,097,152 bit

分辨率变化所产生的效果

空间分辨率

在抽样时，若横向的像素数（列数）为M ，纵向的像素数（行数）为N，则图像总像素数为M*N个像素。

结论:
采样间隔越大，所得图像像素数越少，空间分辨率低，质量差，严重时出现马赛克效应；
采样间隔越小，所得图像像素数越多，空间分辨率高，图像质量好，但数据量大。

灰度分辨率

随着灰度分辨率的降低，图像的细节信息在逐渐损失，伪轮廓信息在逐渐增加。
由此也说明：灰度分辨率（k）越低，图像的视觉效果越差

空间和灰度分辨率同时变化

量化等级越多，所得图像层次越丰富，灰度分辨率高，图像质量好，但数据量大；
量化等级越少，图像层次欠丰富，灰度分辨率低，会出现假轮廓现象，图像质量变差，但数据量小。

2.4 像素间的关系（空间）

图像由像素组成，像素在图像空间上按规律排列，相互之间有一定的联系。

像素的邻域与连接
连通性
距离度量

像素的邻域-邻接关系

邻接仅考虑像素间的空间关系

像素的连接

空间上邻接且像素灰度值相似（条件更苛刻）

判断两个像素是否连接
① 是否接触（邻接）
② 灰度值是否满足某个特定的相似准则。灰度值相等 或 同在一个灰度值集合中

注意在4连接和8连接同时存在时忽略8连接

像素的连通

反映两个像素间的空间关系

通路（邻接）

像素p(x, y)到像素q(s, t)的一条通路由一系列具有坐标
(x0, y0), (x1, y1) ,…,(xi, yi) ,…,(xn, yn)的独立像素组成。这
里 (x, y)= (x0, y0), (xn, yn) = (s, t),且 (xi, yi)与 (xi-1, yi-1)邻
接。其中1≤i≤n，n为通路长度
• 通路种类：4-通路；8-通路

连通（连接）

通路上的所有像素灰度值满足相似准则即 ：(xi, yi)与 (xi-1, yi-1)连接
• 种类：4-连通；8-连通；m-连通

距离度量

• 定义：对于像素 p, q和 z, 分别具有坐标(x, y), (s, t ), (u, v)

如果：
D (p, q)≥0 [D (p, q)= 0, 当且仅当 p=q ]
D (p, q)= D (q, p)
D (p, z) ≤ D (p, q) + D (q, z)
则D 是距离函数或度量

2.5 图像文件类型

分类：
按照图像的动态特性：静止图像和运动图像
按照图像的色彩：灰度图像和彩色图像
按照图像的维数：二维图像，三维图像和多维图像。

位图:
位图是通过许多像素点表示一幅图像，每个像素具有颜色属性和位置属性。
位图分成如下四种：二值图像、亮度图像、索引图像和RGB图像

二值图像

二值图像只有黑白两种颜色，一个像素仅占1，0表示黑，1表示白，或相反

亮度图像

在亮度图像中，像素灰度级用8 表示，所以每个像素都是介于黑色和白色之间的256（=256）种灰度中的一种。

索引图像

颜色是预先定义的（索引颜色）。索引颜色的图像最多只能显示256种颜色。
由数据矩阵X和色彩映射矩阵map组成。X是一个整数的数据矩阵。矩阵map是一个大小为L×3，取值在[0，1]的double类的数组，其长度L同它所定义的颜色数目相等。

RGB图像

一幅RGB图像就是彩色像素有一个M×N×3数组, 其中每一个彩色像素点都是在特定空间位置的彩色图像对应的红, 绿, 蓝三个分量。“真彩色”是RGB颜色的另一种叫法。在真彩色图像中，每一个像素由红、绿和蓝三个字节组成，每个字节为8 ，表示0到255之间的不同的亮度值，这三个字节组合可以产生1670万种不同的颜色。

第三讲 图像基本运算

3.1 图像基本运算概述型