1、第六讲 图像分割,6.1概述 图像处理有两大类目的：1改善象质（增强、恢复）2图像分析：对图像内容作出描述,图像分析：（也叫景物分析）图像分析主要是对图像中感兴趣的目标进行检测和测量， 以获得它们的客观信息，从而建立对图像的描述。如果说图像处理是一个从图像到图像的过程，则图像分析就是一个从图像到数据的过程。图像分割的目标：把图像分成互不重叠的区域并提取出感兴趣的目标。 简单而又难于实现的最基础的识别工作。,图像分割的基本思路,从简到难，逐级分割； 控制背景环境，降低分割难度； 把焦点放在增强感兴趣对象，缩小不相干图像成分的干扰上,例如：下图的分割过程：,1.从简到难，逐级分割分割矩形区域；定位
2、牌照；定位文字 2.控制背景环境，降低分割难度背景环境:路面、天空 3.焦点放在增强感兴趣对象，缩小不相干图像成分的干扰.感兴趣的对象：汽车牌照不相干图像成分： 非矩形区域,图像分割的基本策略分割算法基于灰度值的两个基本特性： 不连续性-区域之间 相似性-区域内部1、检测图像像素灰度级的不连续性：找到点、线(宽度为1)、边(不定宽度)确定区域,2、检测图像区域像素的灰度值的相似性： 通过选择阈值，找到灰度值相似的区域 区域的外轮廓就是对象的边,不连续性 边界分割法；边缘连接分割法 相似性 阈值分割法； 面向区域的分割；数学形态学图像处理,1、基于边缘的分割方法：先提取区域边界，再确定边界限定的
3、区域。 2、区域分割：确定每个像素的归属区域，从而形成一个区域图。 3、区域生长：将属性接近的连通像素聚集成区域。 4、分裂合并分割:综合利用前两种方法，既存在图像的划分，又有 图像的合并。 5、其他方法：基于彩色分量分割、纹理图像分割,图像分割的方法,6.2 阈值分割,阈值分割法的基本思想：首先，确定一个合适的阈值T（阈值选定的好坏是此方法成败的关键）；其次，将大于等于阈值的像素作为物体或背景，生成一个二值图像。If f(x,y) T set 255 Else set 0,阈值分割法的特点： 适用于物体与背景有较强对比的情况，重要的是背景或物体的灰度比较单一。（可通过先求背景，然后求反得到物
4、体） 这种方法总可以得到封闭且连通区域的边界。,图像二值化,1、设原始图像f(x,y)，以一定的准则在f(x,y)中找出一个合适的灰度值， 作为阈值t，则分割后的图像g(x,y)，可由下式表示：,或,2、将阈值设置为一个灰度范围t1,t2，凡是灰度在 t1,t2范 围内的象素都变为1，否则皆变为0，即：,3、某种特殊情况下，高于阈值t的象素保持原灰度级，其它象素都 变为0，称为半阈值法，分割后的图像可表示为：,阈值分割图像的基本原理，可用下式表示：,阈值的选取时阈值分割技术得关键，如果过高，则过多的目标点被 误归为背景；如果阈值过低，则会出现相反的情况。由此可见，阈值化分割算法主要有两个步骤：
5、,确定需要的分割阈值； 将分割阈值与象素值比较以划分象素。在利用阈值方法来分割灰度图像时一般都对图像有一定的假设。是基于一定的图像模型的。最常用的模型：假设图像由具有单峰灰度分布的目标和背景组成，处于目标或背景内 部相邻象素间的灰度值是高度相关的，但处于目标和背景交界处两边的象素在灰度值上有很大的差别。,双峰法阈值,60年代中期，Prewitt提出了直方图双峰法，即如果灰度级直方图呈明显的双峰状，则选取两峰之间的谷底所对应的灰度级作为阈值。,基本思想： 如果直方图的各个波峰很高、很窄、对称，且被很深的波谷分开时，有利于选择阈值。 为了改善直方图的波峰形状，我们只把区域边缘的像素绘入直方图，而不
6、考虑区域中间的像素。 用微分算子处理图像，使图像只剩下边界中心两边的值。,通过边界特性选择阈值,通过边界特性选择阈值优点：1、在前景和背景所占区域面积差别很大时，不会造一 个灰度级的波峰过高，而另一个过低； 2、边缘上的点在区域内还是区域外的概率是相等的， 因此可以增加波峰的对称性； 3、基于梯度和拉普拉斯算子选择的像素，可以增加波峰的高度。,算法的实现： 1、对图像进行梯度计算，得到梯度图像。 2、得到梯度值最大的那一部分（比如10%）的像素直方图。 3、通过直方图的谷底，得到阈值T。,另外，也可以用拉普拉斯算子不通过直方图，直接得到 阈值，方法是使用拉普拉斯算子过滤图像，将0跨越点 对应的
7、灰度值为阈值T。,自适应阈值,自适应阈值是一种基于区域统计特征 的分块域值方法。其算法原理是：将一幅图像划分为35*35或65*65的互不重叠的图像块，求出每个子图像块的直方图及阈值，子图像的中心像素点就使用求出的阈值，而区域内的其它像素点的阈值通过插值的方法“自适应”地确定。,把灰度阈值取成一个随图像中位置缓慢变化的函数值。,简单全局阈值分割 基本思想：用前述方法获得阈值T，并产生一个二值图，区分出前景对象和背景 算法实现： 规定一个阈值T，逐行扫描图像。 凡灰度级大于T的，颜色置为255；凡灰度级小于T的，颜色置为0 适用场合：明度图像是可以控制的情况，例如用于工业监测系统中,6.3边缘检
8、测法,边缘是图像的最重要的特征。 边缘是指周围像素灰度有阶跃变化或屋顶变化的那些像素的集合。 边缘的分类：阶梯形边缘(Step-edge)屋顶型边缘(Roof-edge)线性边缘(Line-edge),边缘检测“主要是(图像的)灰度变化的度量、检测和定位”,一阶微分：用梯度算子来计算特点：对于亮的边，边的变化起点是正的，结束是负的。 对于暗边，结论相反。常数部分为零。用途：用于检测图像中边的存在,基于一阶导数法的边缘检测 1、基本思想：检测图像一阶导数的峰值或者谷值确定边缘。可用一阶微分算子和图像卷积实现。一阶微分算子有：梯度算子，Roberts算子，Prewitt算 子，Sobel算子等。,
9、2、点的检测用空域的高通滤波器来检测孤立点 例：R = (-1 * 8 * 8 + 128 * 8) / 9 = (120 * 8) / 9 = 960 / 9 = 设 ：阈值：T = 64 R T,106,模板系数之和为零表示在灰度级为常数的区域，模板响应为零。,点的检测算法描述 设定阈值 T，如T = 32、64、128等,并计算高通滤波值R 如果R值等于0，说明当前检测点的灰度值与周围点的相同 当R的值足够大时，说明该点的值与周围的点非常不同，是孤立点。通过阈值T来判断|R| T 检测到一个孤立点,由于这类检测是基于单像素间断，并且检测器模板的区域有一个均匀的背景， 所以这个检测过程是相
10、当有专用性的。,3、线的检测通过比较典型模板的计算值，确定一个点是否在某个方向的线上,用4种模板分别计算R水平 = -6 + 30 = 24R45度 = -14 + 14 = 0R垂直 = -14 + 14 = 0 R135度 = -14 + 14 = 0,例：,算法描述 依次计算4个方向的典型检测模板，得到Ri i=1,2,3,4 如 |Ri| |Rj| 对于所有的j i，那么这个点被称为在Ri 方向上更接近模板i 所代表的线设计任意方向的检测模板 可能大于3x3 模板系数和为0 感兴趣的方向的系数大。,4、边的检测 边界的定义：是两个具有相对不同灰度值特性的区域的边界线 适用于：假定区域内
11、的像素是非常类似的，两个区域之间的过渡，仅仅根据灰度的不连续性便可确定 不适用于：当假定不成立时，阈值分割技术一般来说比边缘检测更加实用,理想的边缘和实际的边缘,实际上，光学系统、取样和其他图像采集的不完善性使得到的边缘是模糊的，模糊的程度取决于诸如图像采集、统的性能、取样率和获得图像的照明条件等因素。结果，边缘被更精确地模拟成具有“类斜面”的剖面。,当我们沿着剖面线从左到右经过时，在进入和离开斜面的变化点，一阶导数为正。在灰度级不变的区域一阶导数为零。 在边缘与黑色一边相关的跃变点二阶导数为正，在边缘与亮色一边相关的跃变点二阶导数为负，沿着斜坡和灰度为常数的区域为零。,图像中的边缘点定义 为
12、它的二阶导数的零 交叉点。,导数对于噪声的敏感性,基本思想：计算局部微分算子,边界图像,二阶微分：通过拉普拉斯来计算特点：二阶微分在亮的一边是正的，在暗的一边是负的。常数部分为零。 用途：1）二次导数的符号，用于确定边上的像素是在亮的一边，还是暗的一边。2）0跨越，确定边的准确位置,常用的微分算子 梯度算子 Roberts算子 Prewitt算子 Sobel算子 Kirsch算子 Laplacian算子 Marr算子,1）梯度算子 函数f(x,y)在(x,y)处的梯度为一个向量： f = f / x , f / y 计算这个向量的大小为：G=f = mag(f ) = (f / x)2 +(f
13、 / y)21/2近似为: G= f |x| + |y| 梯度的方向角为： (x,y) = tan-1(y / x),可用下图所示的模板表示：,为了检测边缘点，选取适当的阈值T，对梯度图像进行 二值化，则有：,这样形成了一幅边缘二值图像g(x,y)。特点：仅计算相邻像素的灰度差，对噪声比较敏感， 无法抑止噪声的影响。,2）Roberts交叉梯度算子,公式：,f |z5 - z9| + |z6 - z8| 梯度计算由两个模板组成，第一个求得梯度的第一项，第二个求得梯度的第二项，然后求和，得到梯度。,两个模板称为Roberts 交叉梯度算子,特点：与梯度算子检测边缘的方法类似，对噪声敏感， 但效果
14、较梯度算子略好，适用于边缘明显且噪声较少 的图像分割。 。,3）Sobel算子,公式：,特点：对4邻域采用带权方法计算差分；能进一步抑止噪声； 但检测的边缘较宽。,模板：,4) Prewitt算子,公式：,特点：在检测边缘的同时，能抑止噪声的影响.,模板：,5）拉普拉斯算子,定义： 二维函数f(x,y)的拉普拉斯是一个二阶的微分定义为：,2f = 2f / x2 , 2f / y2,离散形式：,定义数字形式的拉普拉斯的基本要求是： 作用于中心像素的数不为0 而且其周围像素的系数与中间系数符号相反 系数之和必为0 系数中心对称,拉普拉斯算子的分析：, 优点： 各向同性、线性和位移不变的； 对细线
15、和孤立点检测效果较好。 缺点： 对噪音的敏感，对噪声有双倍加强作用； 不能检测出边的方向； 常产生双像素的边缘。 由于梯度算子和Laplace算子都对噪声敏感，因此一般在用它们检测边缘前要先对图像进行平滑。,边缘连接法 边缘连接的意义边检测算法的后处理 由于噪音的原因，边界的特征很少能够被完整地描述，在亮度不一致的地方会中断 因此典型的边检测算法后面总要跟随着连接过程和其它边界检测过程，用来归整边像素，成为有意义的边连接处理的时机和目的：时机：对做过边界检测的图像进行目的：连接间断的边,局部连接处理 连接处理的原理： 对做过边检测的图像的每个点(x,y)的特性进行分析 分析在一个小的邻域（3x
16、3或5x5）中进行 所有相似的点被连接，形成一个享有共同特性象素的边界 用比较梯度算子的响应强度和梯度方向确定两个点是否同属一条边,局部连接处理 连接处理的原理：通过比较梯度，确定两个点的连接性： 对于点(x,y)，判断其是否与邻域内的点 (x,y)相似，当：|f (x,y) f (x,y)| T 其中T是一个非负的阈值比较梯度向量的方向角 对于点(x,y)，判断其是否与邻域内的点 (x,y)的方向角相似，当： | (x,y) (x,y)| A 其中A是一个角度阈值 当梯度值和方向角都是相似的，则点(x,y)，与边点界(x,y)是连接的。,连接算法描述：1）设定A、T的阈值大小，确定邻域的大小
17、 2）对图像上每一个像素的邻域点进行分析， 判断是否需要连接。 3）记录像素连接的情况，另开一个空间， 给不同的边以不同的标记。 4）最后，删除孤立线段，连接断开的线段。,区域分割：利用的是图像的空间性质，认为分割出来的属于同一区域的像素应具有相似的性质.,6.4 生长法,原图,T=3时的生长结果,1、 区域生长法： 算法实现： 1）根据图像的不同应用选择一个或一组种子，它或者是最亮或最暗的点，或者是位于点簇中心的点; 2）选择一个描述符（条件）； 3）从该种子开始向外扩张，首先把种子像素加入结果集合，然后不断将与集合中各个像素连通、且满足描述符的像素加入集合 4）上一过程进行到不再有满足条件
18、的新结点加入集合为止。,区域生长法是先从单个种子像素开始通过不断接纳新像素最后得到整个区域。分裂合并法是先从整幅图像开始通过不断分裂得到各个区域。实际中常先把图像分成任意大小且不重叠的区域，然后再合并或分裂这些区域以满足分割的要求,2 、分裂合并法,算法实现：1）使用阈值集合将图像分割为R1,R2,Rm；2）从图像的分割描述中生成区域邻接图（RAG）；3）对于每个Ri，i=1,2,m，从RAG中确定所有Rj, j i ,Ri与Rj邻 接；4）对于所有的i和j，计算在Ri和Rj之间合适的相似性度量Sij；5）如果SijT，那么合并Ri和Rj；6）根据相似性标准，重复步骤3步骤5，直到没有合并的区
19、域 为止。,Hough变换问题的提出 在找出边界点集之后，需要连接，形成完整的边界图形描述,6.5 hough变换,Hough变换的基本思想对于边界上的n个点的点集，找出共线的点集和直线方程。 对于任意两点的直线方程：y = ax + b，构造一个参数a，b的平面，从而有如下结论：,xy平面上的任意一条直线y = ax + b ，对应在参数ab平面上都有一个点；过xy平面一个点(x,y)的所有直线，构成参数ab平面上的一条直线。,如果点(x1,y1)与点(x2,y2)共线，那么这两点在参数ab平面上的直线将有一个交点在参数ab平面上相交直线最多的点，对应的xy平面上的直线就是我们的解,解决方法
20、： 1、初始化一块缓冲区，对应于参数平面，将其所有数据置为0. 2、对于图像上每一前景点，求出参数平面对应的直线，把这直线上的所有点的值都加。 3、找到参数平面上最大点的位置，这个位置就是原图像上直线的参数。,Hough变换算法实现 由于垂直直线a为无穷大，我们改用极坐标形式：xcos + ysin = 参数平面为, ，对应的不是直线而是正弦曲线； 使用交点累加器，或交点统计直方图，找出相交线段最多的参数空间的点； 然后找出该点对应的xy平面的直线线段。,原图,Hough变换进行边缘检测,Hough变换的优点：抗噪声能力强，能够在信噪比较低的条件下，检测出直线或解析曲线。 缺点：需要首先做二值化以及边缘检测等图像预处理工作，损失掉原始图像中的许多信息，给它的应用带来了一定的局限性。,Hough变换检测二次曲线-以圆为例圆的方程:,作业,图像增强与图像复原的相同点以及区别是什么？ 图像分割的目的 常用的图像分割方法,
