机器视觉系统设计的五大难点
第一：抛光的稳定性
工业视觉应用一般分为四类：定位、测量、检测和识别。测量对照度的稳定性要求最高，因为只要照度变化10-20%，测量结果可能会有1-2个像素的偏差。这不是软件问题，而是光照变化，导致图像上边缘位置的变化。再强大的软件也解决不了问题。从系统设计的角度来看，需要消除环境光的干扰。当然，提高硬件相机的分辨率也是提高精度和抗环境干扰的一种方式。比如以前相机对应物的空间大小是每像素10um，但是通过提高分辨率变成了每像素5um，所以精度可以认为是近似翻倍，对环境的干扰自然增强。
第二：工件位置不一致
一般测量项目的第一步，无论是离线检测还是在线检测，只要是全自动检测设备，都是要找到被测对象。每次被测物体出现在拍摄视野中，都需要准确知道被测物体在哪里。即使使用一些机械夹具，也不能保证被测物体每次都以高精度出现在同一位置。因此，有必要使用定位功能。如果定位不准确，量具的位置可能会不准确，测量结果有时会有较大偏差。
第三：校准
一般在高精度测量中，需要做以下校准：一是光学畸变校准(如果不用软件镜头，一般必须校准)，二是投影畸变校准，也就是因为你安装了以位置误差为代表的图像畸变校正，三是物像空间校准，也就是具体计算每个像素对应物像空间的大小。
但是目前的标定算法都是基于平面标定的。如果被测物理不是平面的，那么需要一些特殊的算法进行标定，这是普通标定算法无法解决的。
此外，对于一些校准，由于没有使用校准板，必须设计特殊的校准方法，因此软件中现有的校准算法不能完全解决校准问题。
第四：物体的运动速度
如果被测物体不是静止的，而是运动的，就要考虑运动模糊对图像精度的影响(模糊像素=物体运动速度*相机曝光时间)，这是软件无法解决的。
第五：软件的测量精度
在测量应用中，软件的精度只能被认为是1/2-1/4像素，最好是1/2，但在定位应用中没有1/10-1/30像素那么精确，因为在测量应用中软件可以从图像中提取的特征点非常少。