The Imaging Source 官方网志

哪些神经回路驱动适应运动行为? 这些行为在神经编码中又如何表现呢? 哈佛大学罗兰研究中心(The Rowland Institute)的马蒂斯实验室Mathis Lab研究人员透过脑/行为互动研究，揭示了这些问题的答案。 由马蒂斯Mackenzie Mathis博士所领导的团队「[目的]在于了解神经回路对于适应性运动行为所产生的影响」。 其研究的挑战在于将特定的行为与特定脑部活动相连结。以老鼠作为研究个体，这些科学家们使用The Imaging Source DMK 37BUX287相机进行高速录像，结合实验室自行开发的开源软件工具DeepLabCut所写成的机器学习算法，来追踪老鼠的行为事件及相应其脑部活动。

就本质上，研究人员必须能够精确且全面地追踪老鼠的行为并提供定量数据，来描述动物的动态。 马蒂斯博士表示:「我们想了解动物们如何适应环境，而观察牠们的运动行为是一个很好的开始，以阐释大脑如何达成这些任务。 因此，研究计划的第一步就是在动物学习新任务时对其进行观察。」 其团队借重 DMK 37BUX287所构成的多相机影像追踪系统。他们的研究个体行动相当快速，马蒂斯博士接着表示:「…老鼠能够在大约200毫秒内快速地触及并抓取物体，因此我们必须采用高帧速率且优质分辨率的相机。」

影片录像是有效记录动物行为的一种方法，然而撷取姿态(即多个身体部位的几何构型) ，多年来一直是研究人员的一项难题。 在人体研究领域中，先进的动态捕捉可透过标记来追踪关节和四肢动作。 然而，基于种种因素，运用于研究动物体上，这种方法却不切实际。 也就是说，至今，人们仍然使用手动数字元录像方式来追踪动物行为 (即以人工方式逐帧编码标注影片) - 这种劳力密集的过程往往导致结果不够精确，且额外增加了数百甚或数千小时的研究时间。

为了自动撷取研究个体的姿态，马蒂斯博士团队开发了DeepLabCut: 一套开源软件，由用户自定义身体部位的无标记姿态估算。根据(人体)姿态估计算法DeeperCut，研究人员使用基于深度卷积神经网络(CNN)的算法，专门针对此项任务进行训练。根据《Nature Neuroscience自然神经科学》期刊中所发表的一篇论文，作者表述该团队藉由「调整预训练过的模块运用至新的任务上[....过程经由] 即被称为迁移学习(transfer learning)的现象。」而得以显著地减少所必要的训练数据的数据量。 DeepLabCut编程库具稳健性且高效率，即使是相对少量的图像(约200)，「其算法亦能达到极佳的追踪表现。」许多科学家们皆赞誉此软件套件是一项颠覆传统、完全崭新的发展。 马蒂斯实验室也使用了The Imaging Source 的IC Capture并增添The Imaging Source相机应用程序camera control API至GitHub。

DeepLabCut 自动追踪及标记(红、白、蓝点)老鼠的动态。 影像来源: Mackenzie Mathis

10月8日是第四届 STEMMER IMAGING 机器视觉技术论坛的开幕日。 预计有40家领导品牌机器视觉制造商将在一系列的演示和展会中为新血和专业人士展示最新发展和最先进的技术。 具体而言，与会者可以提升机器视觉专业知识，并与来自七个领域的专家们交流：工业物联网 (IIOT)、嵌入式视觉、3D技术、机器学习、光谱成像、未来趋势和基础知识。 于欧洲五个城市的巡回展示期间，The Imaging Source将展示其最新的嵌入式视觉解决方案，并就FPD Link III的优势发表演说 - 此项技术允许使用长达15米的数据线。

• 2019年10月8 至 9日： 德国 慕尼黑
• 2019年10月15日： 荷兰 斯海托亨博斯
• 2019年10月17日： 法国 巴黎
• 2019年10月22日： 瑞典 斯德哥尔摩
• 2019年11月13日至14日： 英格兰 伯明翰

展会注册已经开始，请点击上方网页链接，了解更多关于五个巡回活动的信息。

深圳是中国电子制造枢纽中心(经济产量仅次于上海和北京)为中国南方首屈一指的自动化展览会 - 2019深圳华南国际自动化展(IAMD)所在地。 The Imaging Source映美精相机与其代理商深圳阳光视觉于2019年6月26日至28日联袂参与展会。

在中国政府支持增进自动化和效率的政策下，使展会重点关注于自动化及其扶持实现技术：机器视觉。The Imaging Source映美精相机 展位现场除了有配备最新USB 3.1 (gen. 1)及GigE技术的相机展示外，并以玩具"工厂"仿真动态小型化工厂车间，装设不同特性的相机完成典型的检测和自动化任务。 丰富的展示阵容中还包括立体相机系统，其配备两台DMK 38GX267相机，有如复制用于屏幕应用/贴合的高精度定位系统。

AI Labs是The Imaging Source映美精相机 旗下致力于自动化智能及人工智能开发的子公司，近期公开发表其首项产品 - Pick & Load 拾取与装载。

Pick & Load 拾取与装载 是一项经济实惠且高效的机器装卸任务自动化解决方案。即便是中小企业现在也可以达成自动化CNC装卸任务。 小巧且具主动式照明的3D感光组件集成至嵌入式系统及智能软件，提供高性价比的解决方案，同时展现低功耗及精巧外型。 运用最少的时间和精力，拾取与装载 可以将未集装的部件有如桌台、货架或抽屉等进行装载和卸除的配置。

今年德国纽伦堡Embedded World展会中寻找嵌入式视觉最新趋势的人们绝无法忽视MIPI/CSI-2的存在。 缩写MIPI/CSI-2意指由行动产业处理器接口联盟所规定的相机串行接口2(CSI-2) 。 此联盟由全球250多家企业共同组织而成，旨在为行动设备规范接口，不仅包括CSI-2等相机接口，而且涵盖了显示器接口(显示器串行接口2, DSI-2)或音频设备(SoundWire, SLIMbus)。 MIPI联盟专注于将行动终端设备的接口标准化，使各种接口能够在同一物理层中运行。

同时，MIPI/CSI-2已经在工业领域中所使用的嵌入式系统建立了稳固的基础。 其形成原因: 首先，SoCs(系统单芯片)源于智能手机领域，后成为工业变体使用，以CSI-2为默认接口；另一方面，MIPI接口组件非常普遍并经过完善测试、平价且节能。

MIPI视觉应用

现今具有MIPI/CSI-2输入的SoCs经由影像信号处理器(ISP)提供硬件加速的影像预处理操作。 ISP接管诸如去马赛克或色彩校正等运作，并且在某些平台上甚至还需要执行诸如H.264/H.265编码或失真校正等任务。 ISP通常只处理经由MIPI/CSI-2输入传送的数据。 因此，排除了透过ISP处理来自GigE-Vision或USB3-Vision设备的数据。 然而，最佳使用SoC的硬件资源(包括ISP)需要MIPI/CSI-2接口。 SoC几乎执行所有图像预处理任务(即在工业相机的情况下通常直接地在相机中计算的运作)，允许采用外型精巧并具成本效益的相机设计。 MIPI/CSI-2的另一个推手则是如今汽车产业所使用的智能驾驶辅助系统。 现在，几乎每辆汽车都配备相机模块或屏幕。 除了数字后视镜、环绕视图、距离控制或防撞功能之外，MIPI联盟协议更运用于信息娱乐系统等组件。

FPD-Link III 支持长达15米数据线

然而，特别是在汽车领域，人们很快就会面临这样一个问题：标准带状电缆，例如用于智能手机于SoC和相机模块之间的数据线，其长度很少超过30公分。 例如，汽车环绕视图应用中的相机模块则需要数米长度的数据线。 这通常适用于将相机模块安装于系统中的工业应用。德州仪器公司的Flat Panel Display Link III (FPD-Link III)接口提供了解决方案。 该接口专为汽车应用(除纯数据传输)传输高分辨率视频数据而设计，可为控制命令提供双向通道(例如，透过I2C设置相机模块或从触碰屏幕反馈)及经由同轴电缆供电的选项。 这类具有纤薄、灵活、平价特性的数据线，在汽车行业等价格敏感的市场领域发挥着决定性作用。 另外两个组件(串行器/解串器)用于经由FPD-Link III传输MIPI/CSI-2信号: 即从MIPI/CSI-2转换至FPD-Link III的串行器，以及从FPD-Link III转换回MIPI/CSI-2的解串器。 当串行器直接装置于相机模块时，解串器则位于处理SoCs的MIPI/CSI-2>输入附近。 对于用户来说，FPD-Link III路径是完全透明的。 The Imaging Source映美精相机 重视对于长距离传输系统的需求，因此提供MIPI/CSI-2并支持FPD-Link III桥接器以符合常见的嵌入式系统如NVIDIA Jetson。

上述文章由Oliver Fleischmann博士（The Imaging Source映美精相机 项目经理）撰写，发表于2019年4月版(02 2019)的德文产业期刊inVISION，标题 "Einfach länger: MIPI/CSI-2 Module bis 15m Kabellänge mit FPD-Link III". 。由Vanessa Li李秉蓉翻译中文。