The Imaging Source 官方博客

对于许多严重的血液疾病，例如白血病、多发性骨髓瘤和淋巴瘤，骨髓涂片中血液细胞的分类计数是诊断血液疾病的首要关键任务。 当前，这些观察骨髓细胞型态评估仍由病理学家与训练有素的医检师以手动分类计数方式进行，然而，执行这些技术的人员需要高度的专注力与精确度。 诸如压力、疲劳、分心和训练水准等"人为因素"，容易造成检测的错误解读，或者科学家们称之为"操作员之间的操作差异"。 为了提高血液医疗诊断的准确性和效率，aetherAI云象科技开发了Microscope x Hema一个完整的数字病理系统，其借由The Imaging Source的USB 3.0彩色显微相机产生数字影像，并采用深度学习技术进行处理。

借由深度学习进行细胞分类

为了完善地训练系统的卷积神经网路( CNN)，aetherAI与台大医院合作开发了世界首创用於骨髓涂片的分类计数AI模型。 此模型由500,000颗细胞的骨髓涂片样本训练而建立成一巨大的标注资料库。 Microscope x Hema 的嵌入式解决方案包括支持AI显微镜控制软件、用於分类计数的AI模型以及支持AI推论的专用硬体。 当使用标准光学显微镜采集的细胞影像，往往因为含带著复杂的背景而不利於有效地细胞分析，而影像质量也会受到模糊强度、杂讯等因素的影响，在不同成像条件也会导致影像亮度和色调的差异。 具备2000万像素的DFK 33UX183显微相机以高灵敏度的CMOS传感器，提供低噪声影像(高信噪比)，其影像预处理可以滤除视觉杂讯，从而增强影像边缘与轮廓，并突出细节、减少影像模糊。 Microscope x Hema 的影像演算法从影像中提取特征，接着，设置参数例如形状、轮廓、不规则碎片、颜色和纹理质地等。一旦系统对样本中的细胞进行分类和计数，工作流程即告完成。

借由减轻医疗保健专业人员的负担，aetherAI 致力于 "提供数字病理和人工智慧诊断支援的解决方案"，进而提高医疗诊断品质。 公司创始人Joe Yeh博士表示："AI革命将实现数字医学影像的终极价值，并将医疗保健推向新的高度。"

2020年对世界来说是充满挑战的一年，但并没有削减台北英国商会 (British Chamber of Commerce in Taipei) 会员及其家人与朋友的捐赠精神。2020年12月11日第21届圣诞节慈善拍卖和餐会于台北举行，为台北英国商会的三个主要慈善计划进行募款，筹集了超过170万美元，成为商会20年来最成功的筹款活动。

多年来，The Imaging Source 映美精相机 也与许多公司和组织合作支持慈善活动、关怀地区教育，以履行其企业社会责任。 此次拍卖会中，The Imaging Source竞标赢得台湾国际儿童村计划竞标 (SOS Children Village) (三个慈善计划其中之一)， 同时也是最高的单项出价，贡献了慈善资金。

The Imaging Source 认为每个孩子都应该有机会获得他们所需的教育并实现他们的梦想。 台北英国商会执行长Steven Parker表示：「由此慈善餐会募得的款项将能帮助我们提供一位学生全额大学奖学金;每年帮助埔里男孩之家80位男孩以及每年支持台湾国际儿童村举办年度活动和计划。 」

视觉检测是大多数品管工作流程的基石。由人工执行时，过程昂贵，容易出错且效率低落: 1成至2成的误判过筛/偏移率及生产瓶颈很常见。以零检出产线生产品管产品 IQZeProd (Inline Quality control for Zero-error Products) 为名, Fraunhofer IWU 的研究人员开发新的产线监控解决方案，以在生产过程中尽早辨识各种材料（例如木材，塑料，金属，和涂漆的表面）的瑕疵。系统使用来自多种传感器的多传感器数据融合技术，在零组件经过生产线时识别结构和表面缺陷。目标是透过提高检测过程可靠性及改进检测缺陷，创造强大且持续性高的工业生产过程。系统的核心是研究人员自行开发的 Xeidana® 软件框架及20台工业相机的模块。研究人员对相机特定的要求标准：全局快门黑白传感器；低震动实时触发；超高数据速率进行可靠数据传输，且能直接集成到软件框架中。他们选择了The Imaging Source 映美精相机GigE Vision标准工业相机。

Xeidana提供处理光学，热感应，多光谱，偏振或非光学传感器（例如涡电流）的数据所需的灵活性，而许多检测任务则需透过标准光学传感器提供的数据而完成。项目经理亚历山大·皮耶尔（Alexander Pierer）表示 :「我们经常使用数据融合来多重扫描关键零组件区域。多重包含从不同角度扫描同一区域，来模拟手动检测过程中使用的『镜像』。」为了获取完成这些任务所需的视觉数据，研究人员创建了一个由20台TIS相机组成的模块：19台黑白相机(DMK 33G445）及1台彩色相机(DFK 33GX273）。

黑白传感器: 最适瑕疵检测

由于其固有的物理特性，黑白传感器能呈现比彩色传感器更高的细节，更高的灵敏度及更低的噪点。 皮耶尔指出：「黑白传感器足以检测因表面亮度差异所引起的缺陷。虽然颜色数据对我们人类非常重要，但在技术应用中，颜色数据通常无法提供其他数据。我们使用彩色相机，透过 HSI-变换进行色调分析, 以检测可能显示涂料厚度有问题的颜色偏差。」

任务需求和短曝光时间意味着工程师对于相机选择有非常精确的需求，皮耶尔继续说明：「主要选择标准是全局快门和实时触发，震动极低，因为我们必须在很短的曝光时间内(10µs的范围内)拍摄移动中的零件。相机和Lumimax照明(iiM AG)之间的曝光（通过硬件输入触发）必须绝对同步。对于我们来说，很重要的一点是，感兴趣区域 (ROI) 已限制在相机韧体内相关区域，来优化图像传输的网络负载。此外，我们仰赖在极高速率时还能进行可靠的数据传输。由于零组件已在过程中被检测过了，因此不会出现图像错误或碎片化的图像传输。」

电动变焦相机可快速调整观测范围(FOV)

在项目过程中，团队构建了多个系统：用于工业设置以及示范和测试目的。典型工业环境中受检测的零组件持续不停移动，DMK 33G445和DFK 33GX273相机提供的定焦成像满足了团队的要求。然而，针对示范/测试系统，研究人员使用许多不同零组件进行测试，包括金属零件，木制毛坯和3D印刷塑料，就需要具有可调节观测范围（FOV）的相机。The Imaging Source 映美精相机 DMK Z12G445黑白变焦相机具有集成电动变焦功能，符合任务要求。

大规模并行处理技术可与数据传输保持同步并实现深度学习

通过20多种不同类型的传感器向系统传送数据，可以应对400 MB / s量级的数据流。皮耶尔解释：「该系统的设计吞吐速度高达1 m / s，…，每三到四秒，二十个相机模块就可以创建400张图像。此外，来自高光谱的线阵相机和粗糙度测量系统，都必须在10秒周期内处理和评估完成。为了满足这一要求，必须要有大规模并行数据处理的能力，包含28核心 (CPU）和显卡（GPU）。这种并行化使检测系统能够与生产周期保持同步，提供具有100％控制能力的产线系统。」Xeidana的模块化框架特别针对现代多核系统能够进行大规模并行处理的能力进行优化，使应用工程师能够使用这个插件系统 (可透过多种不同图像数据库来延展新功能) 快速实现大规模并行、特殊应用的品管项目。

此系统的数据融合功能可以通过多种方式使用，取决于需要什么样的数据来提供最可靠的结果。除了标准的机器视觉检测任务外，研究人员团队目前正努力整合其他非破坏性评测技术，例如3D视觉以及不可见光的其他种类传感器（例如X射线、雷达、紫外线、太赫兹）来检测其他类型的表面和内部缺陷。

由于Xeidana支持大规模并行处理，深度学习技术也可用于检测标准不容易量化或定义的零组件的瑕疵检测。皮耶尔澄清：「这些技术对于具有不规则质地的有机成分（例如木材和皮革）以及纺织品尤其重要。」 由于机器学习技术有时难以在某些情况下应用（例如，分类决策的可追溯性有限，以及在调试过程中无法手动调整算法），皮耶尔补充：「我们主要依靠经典的图像处理算法和信息处理的统计方法来执行我们的项目。只有达到极限时，我们才转向机器学习。」

致谢：The Imaging Source 映美精相机 欧洲总部是IQZeProd计划产业工作组活跃成员，并且与研究合作伙伴进行密切的专业交流。德国测量控制和系统工程研究协会(DFMRS)的促进联合工业研究计划(IGF)项目IQZeProd （232 EBG）─ DFMRS是由德国国际金融基金会在联邦经济和能源部根据德国联邦议院决议通过的促进联合工业研究计划资助。请注意，促进联合工业研究计划项目232 EBG的最终报告已公开给德国民众。最终报告可从德国测量控制与系统技术研究协会获得。根据德国联邦议院的决议，由联邦经济和能源部支持。

由于年初的超前防范措施有效地防止SARS CoV-2 进一步扩散，The Imaging Source 位于台北的亚洲办公室也得以正常运作，员工也能藉着参与保龄球赛来享受片刻自由及正常的生活。 为了慰劳员工辛劳、增进员工的工作默契，以及让他们更认识彼此，The Imaging Source 邀请台北办公室的每一位员工在2020年11月6日参加保龄球比赛。 保龄球大赛提供了一个机会让台北的员工们全数欢聚一堂，放松，享受食物及比赛当下得时光。 活动结束时，每个员工似乎都能更开放谈论自己的想法，同事间也显更亲近一些了。

许多嵌入式机器视觉应用(尤其是多相机设置)需求的数据线长度超过MIPI CSI-2相机所能及的最大值(即20公分)。 藉由FPD-Link桥接器即可实现其数据线长达15米。图像数据经由精巧(Ø 2.8 mm)的同轴电缆以高达4.16 Gbps速度传输，同时传输影像数据、控制指令及供电。

如此一来，其带宽充裕，可以从5MP相机中，以每秒30张的帧速率传输图像数据。 开发人员可以在MIPI-CSI-2和FPD-Link-III板机亦或具备防护IP67等级外壳的FPD-Link-III相机之间进行选择。 此精巧相机提供黑白与彩色不同机种选择，装载Sony和ONSemi最新CMOS传感器技术(全局和卷帘快门，分辨率范围自0.3MP[VGA]至8.3 MP)。

为何选择MIPI CSI2或FPD-Link III相机接口?

The Imaging Source提供MIPI CSI-2及FDP-Link-III相机载板，可支持高达六台相机输入(依平台而定)，将板级相机连接至NVIDIA™ Jetson Nano®, Xavier NX, AGX Xavier及Raspberry Pi 4。 有些使用者可能想知道为何选择MIPI CSI-2或FPD-Link-III相机，而非USB-3或GigE相机。 其原因在于嵌入式平台本身的硬件功能特性，即硬件加速的图像信号处理器(ISP)。 嵌入式平台的MIPI-CSI-2接口可直接链接ISP，以避免延迟及数据转换问题。 The Imaging Source MIPI-CSI-2相机经过专门设计，可将原始图像数据直接传输至接口。 这类的嵌入式板载相机仅包括最必要的基本功能，因此特别具有成本经济效益。 ISP能够处理硬件加速的操作，如去马赛克、色彩校正、色彩空间转换、白平衡、镜头校正和图像数据压缩(如H.264/H.256)。

平台为嵌入式视觉带来AI优势

除ISP外，上述NVIDIA嵌入式计算机(例如NVIDIA Jetson Nano, Xavier NX *及AGX Xavier *)提供了具有CUDA内核的GPU和多个MIPI-CSI-2相机接口，而造就它们完美地适用于AI和要求严苛的机器视觉应用。 NVIDIA平台能够并行运作多个神经网络，以执行图像分割、图像分类和对象识别。 NVIDIA SDK "JetPack" 支持所有基于NVIDIA Jetson的嵌入式平台。

NVIDIA提供广泛的软件库，可进行深度学习以及图像和视讯处理。 The Imaging Source提供相应的相机驱动程序能够完美地集成至NVIDIA软件框架中。 而图像数据能够直接地传输至预训练的深度学习模块。

对于要求不高的图像处理任务，具备MIPI-CSI-2相机接口与ISP的Raspberry Pi 4会是一个极佳的选择。 相同地，MIPI-CSI-2接口也能够直接地链接至ISP。 例如，Raspberry Pi 4能够压缩高分辨率H.264图像并经由以太网或WLAN发送。

NVIDIA与Raspberry Pi嵌入式平台深受大型开放源代码和创客社群支持。 支持问题及想法可以发布在适当的论坛上，开发人员们能够相互交流信息。 而NVIDIA也提供以深度学习为主题的免费在线培训课程。

* The Imaging Source最新嵌入式产品可支持NVIDIA's Xavier NX 与 AGX Xavier 平台预计将于2021年第一季度供应。 若您希望产品供应后获得通知， Please 请与我们联系。

上列文章发表于2020年9月的德语产业期刊Markt&Technik中，标题: FPD-Link III ergänzt MIPI CSI-2。