人工智能化的机器视觉技术

我们常说，眼睛是人类心灵的窗户，那么给机器装一双眼睛，赋予它感知能力，使得它看懂世界，这便是计算机视觉作为人工智能最重要的环节之一。

机器视觉系统

机器视觉系统是指利用机器替代人眼做出各种测量和判断。机器视觉是工程领域和科学领域中的一个非常重要的研究领域，它是一门涉及光学、机械、计算机、模式识别、图像处理、人工智能、信号处理以及光电一体化等多个领域的综合性学科，其能以及应用范围随着工业自动化的发展逐渐完善和推广，其中母子图像传感器、CMOS和CCD摄像机、DSP、ARM嵌入式技术、图像处理和模式识别等技术的快速发展，有力地推动了机器视觉的发展。

机器视觉是一种比较复杂的系统。因为大多数系统监控对象都是运动物体，系统与运动物体的匹配和协调动作尤为重要，所以给系统各部分的动作时间和处理速度带来了严格的要求。在某些应用领域，例如机器人、飞行物体导制等，对整个系统或者系统的一部分的重量、体积和功耗都会有严格的要求。

机器视觉系统的构成和工作过程

一个完整的机器视觉系统包括：照明光源、光学镜头、 CCD 摄相机、图像采集卡、图像检测软件、监视器、通讯单元等。

工业机器视觉系统的工作过程主要如下：

1、当传感器探测到被捡测物体接近运动至摄像机的拍摄中心，将触发脉冲发送给图像采集卡；

2、图像采集卡根据已设定的程序和延时，将启动脉冲分别发送给照明系统和摄像机；

3、一个启动脉冲送给摄像机，摄像机结束当前的拍照，重新开始一副新的拍照，或者在启动脉冲到来前摄像机处于等待状态，检测到启动脉冲后启动，在开始新的一副拍照前摄像机打开曝光构件（曝光时间事先设定好）；另一个启动脉冲送给光源，光源的打开时间需要与摄像机的曝光时间匹配；摄像机扫描和输出一副图像；

4、图像采集卡接收信号并通过A/D转换将模拟信号数字化，或者是直接接收摄像机数字化后的数字视频数据；

5、图像采集卡将数字图像存储在计算机的内存中；

6、计算机对图像进行处理、分析和识别，获得检测结果；

7、处理结果控制流水线的动作、进行定位、纠正运动的误差等。

机器视觉系统的工作过程

 机器视觉相关技术

1、图像采集技术——机器视觉的基础

图像采集部分一般由光源、镜头、数字摄像机和图像采集卡构成。采集过程可简单描述为在光源提供照明的条件下，数字摄像机拍摄目标物体并将其转化为图像信号，最后通过图像采集卡传输给图像处理部分。在设计图像采集部分时，要考虑到多方面的问题，主要是关于数字摄像机、图像采集卡和光源方面的问题。

（1）光源照明

照明是影响机器视觉系统输入的重要因素，其直接影响输入数据的质量和应用效果。到目前为止，还未有哪种机器视觉照明设备能通用各种应用，因此在实际应用中，需针对应用选择相应的照明设备以满足特定需求。 

照明系统按其照射方法可分为:背向照明、前向照明、结构光和频闪光照明等。其中，背向照明是指将被测物放在光源和摄像机之间，以提高图像的对比度。前向照明是光源和摄像机位于被测物的同侧，其优点是便于安装。结构光照明是将光栅或线光源等投射到被测物上，并根据其产生的畸变，解调出被测物的三维信息。频闪光照明是将高频率的光脉冲照射到物体上，摄像机拍摄要求与光源同。

（2）光学摄像头

光学摄像头的任务就是进行光学成像，一般在测量领域都又专门的用于测量的摄像镜头，因为其对成像质量有着关键性的作用。摄像头需要注意的一个问题是畸变。这个就需要使用相应的畸变校正方法，目前也开发出了很多自动畸变自动校正系统。

（3）CCD 摄像机及图像采集卡

CCD( Charge Coupled Device) 摄像机及图像采集卡共同完成对目标图像的采集与数字化。目前 CCD，CMOS等固体器件的应用技术，线阵图型敏感器件，像元尺寸不断减小，阵列像元数量不断增加，像元电荷传输速率也得到大幅提高。在基于PC机的机器视觉系统中，图像采集卡是控制摄像机拍照来完成图像的采集与数字化，并协调整个系统的重要设备。

图像采集卡直接决定了摄像头的接口为：黑白、彩色、模拟、数字等形式。

2、图像处理与分析——机器视觉的核心

用于机器视觉的图像处理与分析方法的核心是，解决目标的检测识别问题。当所需要识别的目标比较复杂时，就需要通过几个环节，从不同的侧面综合来实现。

对目标进行识别提取的时候，首先是要考虑如何自动地将目标物从背景中分离出来。目标物提取的复杂性一般就在于目标物与非目标物的特征差异不是很大，在确定了目标提取方案后，就需要对目标特征进行增强。 

随着计算机技术、微电子技术以及大规模集成电路的发展，图像信息处理工作越来越多地借助硬件完成，如 DSP 芯片、专用的图像信号处理卡等。软件部分主要用来完成算法中并不成熟又较复杂或需不断完善改进的部分。这一方面提高了系统的实时性，同时又降低了系统的复杂度。

机器视觉技术遇到的问题

对于人类来说，识别和理解周围场景是一件非常容易的事，但对于机器人来说，却是一件很困难的事。主要困难有一下几个方面：

（1）   稳定性问题

现实中的环境因素是多变的，场景中的诸多因素，包括照明、物体形状、表面颜色、摄像机以及空间关系变化都会对生成的图像有影响。比如用于智能交通检测的设备，如何保证其在恶劣天气下依旧保持较高的稳定性就是一个很难解决的问题。

（2）构造出性能良好的识别算法

图像处理与分析技术是机器视觉的核心，所以构造出一个良好的、适应相关领域应用的识别算法显得尤为重要。而且现在的应用领域越来越要求检测设备具有准确、高速地识别出目标的能力，如果我们不能构造出一个更好的识别算法，就不能适应不断增长的需求。

（3）数据量大

机器视觉所获取的数据量非常非常大的。比如用于手机上的人脸识别功能，识别一次要投射多大几万个红外线点，这是一个庞大的数据。再比如交通检测方面看，一天累积下来的数据量也是惊人的。所以如何处理如此大的信息量是个难题。不过随着硬件技术的发展，这个问题将来会逐步得到解决。

机器视觉发展历史

机器视觉技术是计算机学科的一个重要分支，自起步发展至今，机器视觉已经有20多年的历史，其功能以及应用范围随着工业自动化的发展逐渐完善和推广。

20世纪50年代开始研究二维图像的统计模式识别。

60年代Roberts开始进行三维机器视觉的研究。

70年代中，MIT人工智能实验室正式开设“机器视觉”的课程。

80年代开始，开始了全球性的研究热潮，机器视觉获得了蓬勃发展，新概念、新理论不断涌现。

初级阶段为1990～1998年，期间真正的机器视觉系统市场销售额微乎其微。主要的国际机器视觉厂商还没有进入中国市场。1990年以前，仅仅在大学和研究所中有一些研究图像处理和模式识别的实验室。在20世纪90年代初，一些来自这些研究机构的工程师成立了他们自己的视觉公司，开发了第一代图像处理产品，人们能够做一些基本的图像处理和分析工作。尽管这些公司用视觉技术成功地解决了一些实际问题，例如多媒体处理，印刷品表面检测，车牌识别等，但由于产品本身软硬件方面的功能和可靠性还不够好，限制了他们在工业应用中的发展潜力。另外，一个重要的因素是市场需求不大，工业界的很多工程师对机器视觉没有概念，另外很多企业也没有认识到质量控制的重要性。

第二阶段1998～2002年定义为机器视觉概念引入期。自从1998年，越来越多的电子和半导体工厂，包括香港和台湾投资的工厂，落户广东和上海。带有机器视觉的整套的生产线和高级设备被引入中国。随着这股潮流，一些厂商和制造商开始希望发展自己的视觉检测设备，这是真正的机器视觉市场需求的开始。设备制造商或OEM厂商需要更多来自外部的技术开发支持和产品选型指导，一些自动化公司抓住了这个机遇，走了不同于上面提到的图像公司的发展道路——做国际机器视觉供应商的代理商和系统集成商。他们从美国和日本引入最先进的成熟产品，给终端用户提供专业培训咨询服务，有时也和他们的商业伙伴一起开发整套的视觉检测设备。

经过长期市场开拓和培育，不仅仅是半导体和电子行业，而且在汽车、食品、饮料、包装等行业中，一些顶级厂商开始认识到机器视觉对提升产品品质的重要作用。在此阶段，许多著名视觉设备供应商，如：Cognex， Basler ， Data TranslaTIon， TEO，SONY开始接触中国市场寻求本地合作伙伴，但符合要求的本地合作伙伴寥若晨星。

第三阶段从2002年至今，我们称之为机器视觉发展期，从下面几点我们可以看到中国机器视觉的快速增长趋势：

1、在各个行业，越来越多的客户开始寻求视觉检测方案，机器视觉可以解决精确的测量问题和更好地提高他们的产品质量，一些客户甚至建立了自己的视觉部门。

2、越来越多的本地公司开始在他们的业务中引入机器视觉，一些是普通工控产品代理商，一些是自动化系统集成商，一些是新的视觉公司。虽然他们绝大多数尚没有充分的回报，但都一致认为机器视觉市场潜力很大。资深视觉工程师和实际项目经验的缺乏是他们面临的最主要的问题。

3、一些有几年实际经验的公司逐渐给自己定位，以便更好的发展机器视觉业务。他们或者继续提高采集卡、图像软件开发能力，或者试图成为提供工业现场方案或视觉检查设备的领袖厂商。单纯的代理仍然是他们业务的一部分，但他们已经开始开发自己的技术或者诀窍，在元件和系统的层次上。

4、经过几年寻找代理的过程，许多跨国公司开始在中国建立自己的分支机构。通常他们在北京、上海、广东、深圳等建立自己在中国的分支机构，来管理关键的客户以及向合作伙伴提供技术和商务支持。

机器视觉发展趋势

机器视觉可以说是人工智能的最下层的基础设施层， 在人工智能产业行业应用最主要几个应用领域中，机器视觉的应用领域非常深、非常多，从整个产业链的全景图来讲，中国的人工智能产业处在快速的生态的构建期。

从整个机器视觉的领域来讲，它是处在快速的重构期，通过市场分析来看，机器视觉并不是特别新兴的领域，这从最早图像处理衍生到现在，市场上有很多大的厂商对智能安防和交通做了很久的深耕，他们最开始不是做机器视觉、人脸识别起家的，在这几个行业中很多厂商都处于并驾齐驱、快速发展阶段。

赛迪顾问预测到2018年中国人工智能市场规模会超过406亿，这个复合增长率会达到25.8%，增速是快于全球的整个增长率的。在市场结构上来讲，也是存在着整体的情况。投资规模来讲，在去年一年，从投资的整个额度包括投资笔数都呈快速增加的态势，而且很多从事人工智能和机器视觉的企业数量也在快速地增加。

未来，通过人工智能方面利好的政策，在这四个领域会有比较大的机遇，安防、交通，金融，消费电子这是机器视觉领域重点关注的应用行业方向。

第一是现在巨头做机器视觉，包括人工智能演进，他们都是呈开元化，这在中国来讲比如华为，对他们来说开源的思路，到底开源怎么用，有很多理念上跟国外还是有一定的差距，很多开源做完代码自己封装自己用了，其实从整个思路来讲，国外开源理念上是更先进的。当然有其背后的原因，很多企业基本上在提交人工智能代码上走着开源化部署道路。

整个产业的演进方向，目前处在快速回报期。整个产业和产品技术演进会存在周期的波动，机器视觉领域以及计算机视觉，仍是处在快速的回报期，也就是说它的技术已经得到成熟，市场关注度也在快速地回升，它是未来能够得到快速回报的重点产品和领域。

最后就是在目前中国整个市场发展，包括政府的规划中，智慧城市这个话题又重新火热起来了，很多年前建设了很多，但是发展都不是特别顺利，现在随着人工智能整个产业发展，这个动力和热潮，主要原因就是技术实力能够解决真正的刚需和真正的问题，在数据方面我们预测今年中国智慧城市建设数量超过500个，在整个智慧城市的产业定义上来讲，机器视觉领域需求量特别大的，很多的包括智慧城市的定义就是说，什么叫智慧城市，就是摄象头数量多少个，这是一个很刚性的标准，对智能，包括具备人脸识别功能摄象头需求量未来是非常大的。

机器视觉的应用

目前，最先进的机器视觉技术仍然由欧美、日本等国家掌握，发达国家针对工业现场的应用开发出了相应的机器视觉软硬件产品。中国目前正处于由劳动密集型向技术密集型转型的时期，对提高生成效率、降低人工成本的机器视觉方案有着旺盛的需求，中国正在成为机器视觉技术发展最为活跃的地区之一。长三角和珠三角成为国际电子和半导体技术的转移地，同时也就成为了机器视觉技术的聚集地。许多具有国际先进水平的机器视觉系统进入了中国，国内的机器视觉企业也在与国际机器视觉企业的良性竞争中不断茁壮成长，许多大学和研究所都在致力于机器视觉技术的研究。

在国外，机器视觉主要应用在半导体及电子行业，其中，半导体行业占 40% ～ 50%。例如，PCB 印刷电路、SMT表面贴装、电子生产加工设备等。此外机器视觉还在质量检测的各方面及其他领域均有着广泛应用。

（1）   在工业检测方面

近几十年来，在工业检测中利用视觉系统的非接触、速度快、精度合适、现场抗干扰能力强等突出的优点，使机器视觉技术得到了广泛的应用，取得了巨大的经济与社会效益。

自动视觉识别检测目前已经用于产品外形和表面缺陷检验，如木材加工检测、金属表面视觉检测、二极管基片检查、印刷电路板缺陷检查、焊缝缺陷自动识别等。这些检测识别系统属于二维机器视觉，技术已经较为成熟，其基本流程是用一个摄像机获取图像，对所获取的图像进行处理及模式识别，检测出所需的内容。

（2）   在医学上的应用

在医学领域，机器视觉主要用于医学辅助诊断。首先采集核磁共振、超声波、激光、Ｘ射线、γ射线等对人体检查记录的图像，再利用数字图像处理技术、信息融合技术对这些医学图像进行分析、描述和识别，最后得出相关信息，对辅助医生诊断人体病源大小、形状和异常，并进行有效治疗发挥了重要的作用。不同医学影像设备得到的是不同特性的生物组织图像，如Ｘ射线反映的是骨骼组织，核磁共振影像反映的是有机组织图像，而医生往往需要考虑骨骼有机组织的关系，因而需要利用数字图像处理技术将两种图像适当地叠加起来，以便于医学分析。

（3）   交通监控领域中的应用

智能交通监控领域中，在重要的十字路口安放摄像头，就可以利用摄像头的快速拍照功能，实现对违章、逆行等车牌的车牌进行自动识别、存贮，以便相关的工作人员进行查看。

（4）   在桥梁检测领域中的应用

人工检测法和桥检车法都是依靠人工用肉眼对桥梁表面进行检测，其速度慢，效率低，漏检率高，实时性差，影响交通，存在安全隐患，很难大幅应用；无损检测包括激光检测、超声波检测以及声发射检测等多种检测技术，它们仪器昂贵，测量范围小，不能满足日益发展的桥梁检测要求；智能化检测有基于导电性材料的混凝土裂缝分布式自动检测系统和智能混凝土技术，也有最前沿的基于机器视觉的检测方法。导电性材料技术虽然使用方便，设备简单，成本低廉，但是均需要事先在混凝土结构上涂刷或者埋设导电性材料进行检测，而且智能混凝土技术还无法确定裂缝位置、裂缝宽度等一系列问题距实用化还有较长的距离；而基于机器视觉的检测方法是利用CCD相机获取桥梁表观图片，然后运用计算机处理后自动识别出裂缝图像，并从背景中分离出来然后进行裂缝参数的计算的方法，它具有便捷、直观、精确、非接触、再现性好、适应性强、灵活性高、成本低廉的优点，能解放劳动力，排除人为干扰，具有很好的应用前景。

据统计，混凝土桥梁的损坏有90%以上都是由裂缝引起的，因此对桥梁的健康检测主要是对桥梁表观的裂缝进行检测与测量。基于机器视觉的桥梁检测技术主要包括三部分内容：桥梁表观图像的获取技术、基于图像的裂缝自动识别理论与算法以及基于图像的裂缝宽度等病害程度定量化测量方法。

基于机器视觉的自动化、智能化检测技术已经在道路、隧道上得到了成功应用，在桥梁上也得到了初步的应用，但主要集中在视线开阔的高空混凝土构件表观图像获取技术上，在病害的自动识别方面仍停留在理论研究阶段，还无法应用于实际工程当中。

针对量大面广的混凝土梁体，智能化视频桥梁检测车进入理论与关键部件模型的研制阶段，但是受到桥梁细小裂缝自动识别与清晰图像快速化获取难度大的限制，目前离达到实用化程度的要求还相距甚远。

机器视觉的诞生和应用，大幅解放了人类劳动力，同时提高了生产自动化水平，装备的使用效率、可靠性及稳定性等。随着新技术、新理论在机器视觉系统中的应用，机器视觉将在国民经济的各领域申发挥更大作用，其应用前景广阔，并为社会的发展带来了新的技术革命。