The Imaging Source 官方网志

于2020年2月25-27日期间，The Imaging Source映美精相机的技术业务和项目经理将于德国纽伦堡所举办的embedded world展位上(2号展馆, 展位号648)演示 The Imaging Source映美精相机针对嵌入式视觉市场所开发的最新产品。

The Imaging Source映美精相机针对Jetson Nano (包括支持两台相机的最新Nano版本)以及TX2 / Xavier 所提供的NVIDIA开发工具包，可以为入门嵌入式视觉的开发人员简化其开发和设计过程。 坚固精巧的MIPI CSI-2相机模块提供各式的分辨率(全局和滚动快门)，并可以透过嵌入目标处理器中的ISP直接执行去马赛克、色彩校正和其它后制任务。

The Imaging Source映美精相机的FPD-Link产品于近期荣获了 2020年度inVISION最佳创新奖，其采用FPD-Link协议为需求较长数据线的应用提供了完善的解决方案。 FPD-Link III网桥以长达15米的数据线，并藉由一条同轴电缆同时进行数据传输、控制波段和供电。

眩光及反光在图像处理过程中是很常见的问题。在偏振光下许多材质会呈现反光特性，The Imaging Source 映美精相机GigE 及 USB 偏振相机能解决检测任务中的问题，而一般工业相机提供的视觉信息则非常有限。以线性偏振度 (DoLP) 进行偏振图像处理可增进影像对比，也使影像分割更有效率。

偏振影像数据能简易的整合进 HALCON，让这些特性能轻易使用于图像处理应用案例，如完整性检查、表面检测等。

The Imaging Source 映美精相机 于2019年10月3日 出席参加由自动光学检测设备联盟所主办的AOI 论坛与展览，每年以国立交通大学为主办场地，结合业界系统整合商、零件供货商以及研究人员前来参展及参观。今年，全新5.1 百万偏振相机首次在展场亮相，成为展示焦点，吸引许多参观者前来摊位询问。

Polarsens™ 全局快门CMOS 感光组件利用许多材质固有的偏振特性来可视化材料应力及表面刮痕。现场展示清楚呈现出此感光组件的片上四向(0°, 45°, 90°, 135°)滤镜能透过AoLP(线性偏振角)及HSV(色相、饱和度、明度) 色彩映射可视化透明塑料物体中的材料应力。目前提供 USB 3.0(帧速率达75 fps)或 GigE(帧速率达24 fps) 接口，此新系列相机能可视化材料应力、表面刮痕及减少眩光、强化边缘检测和改善对比度。

Sony Polarsens™ 5.1百万全局快门CMOS感光组件(IMX250MZR/IMX250MYR)能捕捉标准黑白及彩色感光组件无法获取的影像数据。The Imaging Source 映美精相机全新USB 3.0及GigE偏振相机搭载偏振技术，使用四向奈米线(0°, 45°, 90°, 135°)微偏振器，置于每个2x2 像素数组 (计算单位) 前，以捕获多向偏振光影像。

许多材质如塑料、玻璃、金属及液体都会呈现固有的偏振特性，导致自然光照下的影像呈现眩光及影像伪影/退化并限制系统效率。

此系列感光组件的偏振滤镜利用这项性质可视化各个材料应力及表面刮痕，同时也减少不必要的眩光，强化边缘检测或改善对比度。

此系列5.1百万相机提供黑白及彩色两种选择，搭配GigE接口 (帧速率达24fps)或较快的USB 3.0接口(帧速率达75fps)。更多关于此款感光组件的技术信息及参考应用，请参阅我们的白皮书。

哪些神经回路驱动适应运动行为? 这些行为在神经编码中又如何表现呢? 哈佛大学罗兰研究中心(The Rowland Institute)的马蒂斯实验室Mathis Lab研究人员透过脑/行为互动研究，揭示了这些问题的答案。 由马蒂斯Mackenzie Mathis博士所领导的团队「[目的]在于了解神经回路对于适应性运动行为所产生的影响」。 其研究的挑战在于将特定的行为与特定脑部活动相连结。以老鼠作为研究个体，这些科学家们使用The Imaging Source DMK 37BUX287相机进行高速录像，结合实验室自行开发的开源软件工具DeepLabCut所写成的机器学习算法，来追踪老鼠的行为事件及相应其脑部活动。

就本质上，研究人员必须能够精确且全面地追踪老鼠的行为并提供定量数据，来描述动物的动态。 马蒂斯博士表示:「我们想了解动物们如何适应环境，而观察牠们的运动行为是一个很好的开始，以阐释大脑如何达成这些任务。 因此，研究计划的第一步就是在动物学习新任务时对其进行观察。」 其团队借重 DMK 37BUX287所构成的多相机影像追踪系统。他们的研究个体行动相当快速，马蒂斯博士接着表示:「…老鼠能够在大约200毫秒内快速地触及并抓取物体，因此我们必须采用高帧速率且优质分辨率的相机。」

影片录像是有效记录动物行为的一种方法，然而撷取姿态(即多个身体部位的几何构型) ，多年来一直是研究人员的一项难题。 在人体研究领域中，先进的动态捕捉可透过标记来追踪关节和四肢动作。 然而，基于种种因素，运用于研究动物体上，这种方法却不切实际。 也就是说，至今，人们仍然使用手动数字元录像方式来追踪动物行为 (即以人工方式逐帧编码标注影片) - 这种劳力密集的过程往往导致结果不够精确，且额外增加了数百甚或数千小时的研究时间。

为了自动撷取研究个体的姿态，马蒂斯博士团队开发了DeepLabCut: 一套开源软件，由用户自定义身体部位的无标记姿态估算。根据(人体)姿态估计算法DeeperCut，研究人员使用基于深度卷积神经网络(CNN)的算法，专门针对此项任务进行训练。根据《Nature Neuroscience自然神经科学》期刊中所发表的一篇论文，作者表述该团队藉由「调整预训练过的模块运用至新的任务上[....过程经由] 即被称为迁移学习(transfer learning)的现象。」而得以显著地减少所必要的训练数据的数据量。 DeepLabCut编程库具稳健性且高效率，即使是相对少量的图像(约200)，「其算法亦能达到极佳的追踪表现。」许多科学家们皆赞誉此软件套件是一项颠覆传统、完全崭新的发展。 马蒂斯实验室也使用了The Imaging Source 的IC Capture并增添The Imaging Source相机应用程序camera control API至GitHub。

DeepLabCut 自动追踪及标记(红、白、蓝点)老鼠的动态。 影像来源: Mackenzie Mathis