• 微信公众号:美女很有趣。 工作之余,放松一下,关注即送10G+美女照片!

halcon——缺陷检测常用方法总结(频域空间域结合)

开发技术 开发技术 5小时前 3次浏览

摘要

缺陷检测是视觉需求中难度最大一类需求,主要是其稳定性和精度的保证。首先常见缺陷:凹凸、污点瑕疵、划痕、裂缝、探伤等。 缺陷检测算法不同于尺寸、二维码、OCR等算法。后者应用场景比较单一,基本都是套用一些成熟的算子,所以门槛较低,比较容易做成标准化的工具。而缺陷检测极具行业特点,不同行业的缺陷算法迥然不同。随着缺陷检测要求的提高,机器学习和深度学习也成了缺陷领域一个不可或缺的技术难点。

总的来说,机器视觉中缺陷检测分为一下几种:

  • blob+特征(官方示例surface_scratch.hdev)
  • blob+差分+特征(官方示例pcb_inspection.hdev)
  • 光度立体
  • 特征训练
  • 测量拟合
  • 频域+空间域结合
  • 深度学习

 频域+空间域结合法

 频域结合空间,其实频域就是用波动观点看世界,看问题角度变了,光经过镜头其实发生的是傅立叶变换,此思想在傅立叶光学上有所阐述,就像光经棱镜分光,而光进入计算机内部,进行了采样和量化,然后我们用函数f(x,y)来表示这些数据描述。图像处理应用傅里叶变换就是将空间域(图像本身)转换至频率域。傅里叶变换可以将一个信号函数,分解一个一个三角函数的线性组合。由于任何周期函数都可以由多个正弦函数构成,那么按照这个思想,图像由f(x,y)来表示,那么这时你就可以拆成多个正弦函数构成,这样每个正弦函数都有一个自己的频率。

关于傅里叶的讲解,可以详看:傅里叶分析之掐死教程(完整版)更新于2014.06.06 – 知乎 (zhihu.com)

频率特征是图像的灰度变化特征,低频特征是灰度变化不明显,例如图像整体轮廓,高频特征是图像灰度变化剧烈,如图像边缘和噪声。一个重要的经验结论:低频代表图像整体轮廓,高频代表了图像噪声,中频代表图像边缘、纹理等细节。

💚那么什么时候使用傅里叶变换进行频域分析?

1)具有一定纹理特征的图像,纹理可以理解为条纹,如布匹、木板、纸张等材质容易出现。 
2)需要提取对比度低或者信噪比低的特征。 
3)图像尺寸较大或者需要与大尺寸滤波器进行计算,此时转换至频域计算,具有速度优势。因为空间域滤波为卷积过程(加权求和),频域计算直接相乘。
💛一般对于频域处理的方法有三种:

  • 直接手画ROI区域,然后paint_regio(喷黑)
  • 用滤波器(高通,低通,带通),然后进行滤波处理
  • 调用power_real,对其进行blob分析。

💜halcon相关案例分析:


 1,脏污检测(低通滤波,差分,线提取)


如下图,在塑料薄膜上有一些线条型的脏污,在空间域中向提取脏污的区域是比较困难的(方格会影响空间域的二值化),所以我们就想到了在频域中去处理它。

思路:

  • 用calculate_lines_gauss_parameters函数计算Sigma和高低阈值(为后续lines_gauss提取脏污线痕做准备)
  • 读入图片,将B空间转到频域
  • 用高斯滤波器(低通滤波)进行滤波(即得到背景图像)
  • 差分(原图——背景图),锐化图像
  • 用lines_gauss提取脏污线痕

halcon——缺陷检测常用方法总结(频域空间域结合)

* 根据要提取的线的最大宽度和对比度,计算Sigma和高低阈值
calculate_lines_gauss_parameters (43.5, [25,5], Sigma, Low, High)
read_image (Image, 'D:/1.png')
       * 这种脏污的提取可以考虑在频域中处理
       * 让前景和背景分离,然后再提取脏污的区域     
       * 彩色图转灰度 这里拆通道更好,因为方格会影响脏污的提取
       decompose3 (Image, R, G, B)
       get_image_size(B, Width, Height)
       * 空间域转频域
       fft_generic (B, ImageFFT, 'to_freq', -1, 'none', 'dc_center', 'complex')
       * 创建一个高斯滤波器/sigma越小滤波器越小,通过的信号更加的集中在低频,这样做的目的是得到背景
       gen_gauss_filter (ImageGauss, 100, 100, 0, 'n', 'dc_center', Width, Height)
       * 频域的乘法相当于空间域的卷积
       convol_fft (ImageFFT, ImageGauss, ImageConvol)
       * 频域转空间域
       fft_generic (ImageConvol, ImageFFT1, 'from_freq', 1, 'none', 'dc_center', 'byte')
       * 差分(原图 — 背景)
       sub_image (B, ImageFFT1, ImageSub, 2, 100)
       * 提取脏污的中心线      
       lines_gauss (ImageSub, Lines, Sigma, Low, High, 'dark', 'true', 'gaussian', 'true')
       dev_display (B)
       dev_display (Lines)

halcon——缺陷检测常用方法总结(频域空间域结合)

 🙄 相关API参数

  •  calculate_lines_gauss_parameters(根据线的最大宽度以及对比度计算出lines_gauss算子输入的Sigma、Low、High值)
calculate_lines_gauss_parameters( : : MaxLineWidth, Contrast : Sigma, Low, High)

  MaxLineWidth (input_control) // lines_gauss要提取线条的最大宽度
  Contrast (input_control)     //lines_gauss要提取线的对比度。
  Sigma (output_control)       //获取用于lines_gauss输入的Sigma值
  Low (output_control)         //获取用于lines_gauss输入的Low 值
  High (output_control)        //获取用于lines_gauss输入的High 值

关于Contrast 参数详解:

Contrast 值不仅可以一个,也可以为两个:

当只选择一个值时,最小对比度将会默认为最大对比度的1/3,最小对比度越小,线条将会延伸到对比度较低的区域,即线条越长。反之,值越高,线条越短,但越突出。

当值为两个时,数组中的第二个值是要提取线的最小对比度,并且其值不能大于第一个值。比如:[20,10]

  • lines_gauss(提取图像上的线条,提取的结果属于亚像素精度的XLD轮廓)

lines_gauss(Image , Lines ,Sigma, Low, High, LightDark, ExtractWidth, LineModel, CompleteJunctions  )
Image (input_object)     //输入图像
Lines (output_object)    //检测线条(XLD)
Sigma (input_control)    //高斯滤波值
Low (input_control)      //滞后阈值分割的低阈值
High (input_control)     //滞后阈值分割的高阈值
LightDark (input_control)//提取线条的类型,暗色还是亮色,(’dark’, ‘light’)
ExtractWidth (input_control)      //是否提取线宽(‘false’,‘true’)
LineModel (input_control)         //用来调整线条位置和宽度的线模型(‘bar-shaped’, ‘gaussian’, ‘none’, ‘parabolic’)
CompleteJunctions (input_control) //在断连的部分是否添加节点使线条连续(‘false’, ‘true’)

2,检测表面微小凸起(高斯差分,灰度差,二值化)


如图,对于处理这种细微的缺陷,也可使用频域处理。

思路:

  • 使用两个低通滤波器,进行相减后构造了一个带阻滤波器来提取缺陷分量
  • 读入图像,灰度化,转频域,进行滤波,转回空间域
  • 在空间域上blob分析
  • 显示

关键点:该例程的关键就是使用两个低通滤波器,进行相减后构造了一个带阻滤波器来提取缺陷分量。通过带阻滤波后获得的频率成分对背景中的纹理要有明显的抑制,并且突出缺陷成分,在频域处理完成转会空间域之后,又用了一个能扩大亮点区域的函数:gray_range_rect 辅助后面的二值化,最终完成了缺陷的检测,这个函数可以说是点睛之笔。

halcon——缺陷检测常用方法总结(频域空间域结合)

dev_close_window ()
*1采集图像
read_image (Image, 'D:/1.png')
get_image_size (Image, Width, Height)
dev_open_window (0, 0, Width, Height, 'black', WindowHandle)
set_display_font (WindowHandle, 14, 'mono', 'true', 'false')
dev_set_draw ('margin')
dev_set_line_width (3)
dev_set_color ('red')
* 根据具体宽高,优化该图像的傅里叶变换速度(有此函数)
optimize_rft_speed (Width, Height, 'standard')
Sigma1 := 10.0
Sigma2 := 3.0
*形成高斯滤波器
gen_gauss_filter (GaussFilter1, Sigma1, Sigma1, 0.0, 'none', 'dc_center', Width, Height)
gen_gauss_filter (GaussFilter2, Sigma2, Sigma2, 0.0, 'none', 'dc_center', Width, Height)
*第一个滤波器减去第二个滤波器(形成带通滤波器)
sub_image (GaussFilter1, GaussFilter2, Filter, 1, 0)
*2进行频域滤波
    rgb1_to_gray (Image, Image)
    * 转到频域
    fft_generic (Image, ImageFFT, 'to_freq', -1, 'none', 'dc_center', 'complex')
    *滤波
    convol_fft (ImageFFT, Filter, ImageConvol)
    *返回空间域(实部)
   fft_generic (ImageConvol, ImageFiltered, 'from_freq',1, 'n', 'dc_center', 'real')
   *3空间域上的blob图像分割
    *原图矩形内的灰度值范围(max-min)作为输出图像像素值,扩大了亮的部分
    gray_range_rect (ImageFiltered, ImageResult, 10, 10)
    * 获得图像最大灰度值和最小灰度值
    min_max_gray (ImageResult, ImageResult, 0, Min, Max, Range)
    *二值化提取( 5.55是经验值,在调试中得到)
    threshold (ImageResult, RegionDynThresh, max([5.55,Max * 0.8]), 255)
    select_shape (RegionDynThresh, SelectedRegions, 'area', 'and', 1, 99999)
    connection (SelectedRegions, ConnectedRegions)
    dev_display (Image)
    count_obj (ConnectedRegions, Number)
       for Index1 := 1 to Number by 1
              select_obj (ConnectedRegions, ObjectSelected, Index1)
              area_center (ObjectSelected, Area, Row, Column)
              gen_circle_contour_xld (ContCircle, Row, Column, 20, 0, 6.28318, 'positive', 1)   
              dev_display (ContCircle)
       endfor

halcon——缺陷检测常用方法总结(频域空间域结合)

 🙄 相关API参数

  • gray_range_rect(用一个矩形掩膜计算图像中最大最小灰度的差,并体现到每个图像点)
gray_range_rect( Image , ImageResult , MaskHeight, MaskWidth: )

参数列表:
Image(in//被计算灰度值的图像
ImageResult(out//包含灰度值的图像
MaskHeight(in//滤波器掩模的高度
MaskWidth(in//滤波器掩模的宽度

 效果如图:在滤波后对图像进行 gray_range_rect (ImageFiltered, ImageResult, 10, 10)处理后(增强对比度,即亮部分):

halcon——缺陷检测常用方法总结(频域空间域结合)halcon——缺陷检测常用方法总结(频域空间域结合)

  • min_max_gray(得到区域的最小值最大值及灰度值范围)
min_max_gray( Regions, Image ,Percent , Min, Max, Range)

参数列表:
Regions(in//输入区域
Image(in//灰度图像
Percent(in//小于(大于)绝对最大(最小)值的分数
Min(out)      //最小灰度值
Max(out//最大灰度值
Range(out//最小值与最大值的差
  •  gen_circle_contour_xld(创建圆或圆弧的XLD轮廓) 
gen_circle_contour_xld(ContCircle ,Row, Column, Radius, StartPhi, EndPhi, PointOrder, Resolution)

参数列表:
ContCircle(out//输出轮廓
Row, Column(in//圆弧或圆的中心坐标
Radius(in//圆弧或圆的半径
StartPhi(in//圆或圆弧的起始角度
EndPhi(in//圆或圆弧的终止角度
PointOrder(in//输入沿边界的点序( 'negative'负序, 'positive'正序)
Resolution(in//相邻轮廓点之间的距离(Resolution >= 0.00001)
  •  gen_gauss_filter(形成高斯滤波器(低通))
gen_gauss_filter(  GaussFilter,Sigma1, Sigma2, Phi, Norm, Mode, Width, Height )
参数列表: GaussFilter(
in/out//生成的高斯滤波器的句柄 Sigma1(in//空域中高斯在主方向上的标准差 Sigma2(in//空域中高斯在垂直于主方向的方向上的标准差 Phi(in//滤波器主方向的角度(0.0) Norm(in//滤波器的规范(’none’) Mode(in// 直流项在频域的位置(’rft’) Width, Height (in// 图片的宽高

 👀 该例程通过两个高斯滤波器相减,构建一个带通滤波器,其函数GenGaussFilter为:,常用于纹理缺陷检测

构建函数:GenGaussFilter(ImageFilter, Sigma1, Sigma2, Width, Height)

 gen_gauss_filter (GaussFilter1, Sigma1, Sigma1, 0.0, 'none', 'rft', Width, Height)
 gen_gauss_filter (GaussFilter2, Sigma2, Sigma2, 0.0, 'none', 'rft', Width, Height)
 sub_image (GaussFilter1, GaussFilter2, ImageFilter, 1, 0)
 return ()

 GenGaussFilter (ImageFilter, 2, 10, Width, Height)则是一个带通滤波器(或者说“带阻滤波器”)——先通过高反差保留让中高频通过,然后通过高斯模糊抑制高频,最终的结果是让中频通过。


3,检测磨砂表面的缺陷(高斯滤波差分,分水岭,灰度共生矩阵)


 由于磨砂表面粗糙(噪点很多,影响二值化) 因此该例程使用了频域高斯滤波差分后,在空间域的blob分析用了分水岭域分割滤波后的图像,计算每个区域灰度共生矩阵,通过能量筛选缺陷。

halcon——缺陷检测常用方法总结(频域空间域结合)

dev_close_window ()
dev_update_off ()
read_image (Image, 'D:/1.png')
get_image_size (Image, Width, Height)
dev_open_window (0, 0, 640, 480, 'black', WindowHandle)
set_display_font (WindowHandle, 14, 'mono', 'true', 'false')
dev_set_draw ('margin')
dev_set_line_width (3)
dev_set_color ('red')
decompose3 (Image, R, G, B)
fft_generic (B, ImageFFT, 'to_freq', -1, 'sqrt', 'dc_center', 'complex')
gen_gauss_filter (ImageGauss, 50, 50, 0, 'none', 'dc_center', Width, Height)
convol_fft (ImageFFT, ImageGauss, ImageConvol)
fft_generic (ImageConvol, ImageBackground, 'from_freq', 1, 'sqrt', 'dc_center', 'byte')
* 图像减去背景,增加特征与背景对比度
sub_image (B, ImageBackground, ImageSub, 2, 100)
* 中值滤波,为分水岭域做准备
median_image (ImageSub, ImageMedian, 'circle', 9, 'mirrored')
watersheds_threshold (ImageMedian, Basins, 20)
* 缺陷部分是黑色的,灰度值小能量就小,所以根据能量可以将缺陷的区域筛选出来
cooc_feature_image (Basins, ImageMedian, 6, 0, Energy, Correlation, Homogeneity, Contrast)
Mask := Energy [<=] 0.05
select_mask_obj (Basins, Defects, Mask)
dev_display (Image)
dev_display (Defects)
count_obj (Defects, NDefects)
disp_message (WindowHandle, NDefects + ' 'mura' defects detected', 'window', 12, 12, 'red', 'true')

 halcon——缺陷检测常用方法总结(频域空间域结合)

 🙄 相关API参数:

  • cooc_feature_image(计算图像的灰度共生矩阵)
cooc_feature_image(Regions, Image ,LdGray, Direction ,Energy, Correlation, Homogeneity, Contrast)

参数列表:
Regions(in//要检查的区域。
Image (in//灰度图像。
LdGray(in//要区分的灰度值的数量。(默认6)
Direction (in//矩阵的计算方向('0','45','90','130','mean‘)
Energy(out//能量
Correlation(out//相关性
Homogeneity(out) //局部均匀性
Contrast(out//对比度(反差)

  输出参数详解:

能量(Energy):是对图像纹理的灰度变化稳定程度的度量,反应了图像灰度分布均匀程度和纹理粗细度。能量越大,表示灰度变化比较稳定,反映了纹理变化的均匀程度。。对于灰度图来说,能量低说明灰度值低,对于彩色图来说,能量低说明光强低。

相关性(Correlation):表示纹理在行或者列方向的相似程度。相关性越大,相似性越高。

局部均匀性(Homogeneity):反映图像局部纹理的变化量。值越大,表示图像局部的变化越小。

(反差)对比度(Contrast):表示矩阵的值的差异程度,也间接表现了图像的局部灰度变化幅度。反差值越大,图像中的纹理深浅越明显,表示图像越清晰;反之,则表示图像越模糊。

  • watersheds_threshold(阈值分水岭图像分割)
watersheds_threshold(Image ,Basins ,Threshold )

参数列表:
Image(in//输入图像(最好先用中值滤波处理)
Basins(out//输出二值图像(盆地)
Threshold(in//阈值

 算子描述:

第一步:计算出分水岭(不使用该参数Threshold ),分割的盆地和调用算子watersheds得到的盆地是相同的
第二步:如果被一个分水岭分割的相邻盆地与对应分水岭的高度差小于Threshold ,盆地依次合并。假设B1和B2分别是两个相邻盆地的最小灰度值,W是盆地对应分水岭的最小灰度值。当满足以下条件时,两个盆地合并:max{W-B1,W-B2}<Threshold 。由此得到的盆地存储在Basins 变量中。

 


程序员灯塔
转载请注明原文链接:halcon——缺陷检测常用方法总结(频域空间域结合)
喜欢 (0)