跨边缘设备平稳扩展人工智能和计算机视觉

June 19, 2020 Kenton Williston

计算机视觉, 边缘分析

自公司推出多核枢轴后的 15 年来,使用多个英特尔® 核提升性能已经从前沿观念变成普遍行为。人工智能的出现对开发人员提出了一些与十多年前相同的问题。但现在这些问题和新的异构计算环境有关,而这种环境在 2004 年时并不存在。

与典型 CPU(提供一系列完全相同的内核,其中每个内核都适合独立执行)不同的是,CPU + GPU 或 CPU + FPGA 的异构组合会将两个或多个不同组件的计算资源配对。尽管这为在适当环境中实现互利的计算提供了巨大机会,但也增大了正确部署的难度。

部署这些可靠的物联网解决方案的最大用处并不是有利于比复刻更复杂的技术的生存,认清这个事实,您就有了解决问题的方法。

(请注意,就像酸面包一样,这种解决方法并不能适用于所有用处。回答错误。只是一堆问题。)

跨越多项解决方案正确扩展工作负载需要专有技术来构建和部署所需的硬件解决方案,并且首先需要一个允许您开发和测试这些解决方案的软件环境。英特尔® OpenVINO 工具套件专为帮助公司在针对同构和异构计算环境开发解决方案时跨多类设备扩展而设计。

在 OpenVINO 中引入人工智能和机器学习算法引起了大量关注,但这里的 V 表示“视觉”,该工具套件的许多功能预训练模型都与计算机视觉有关,如图 1 所示。

图 1. 英特尔® OpenVINO™ 工具套件预训练的计算机视觉模型。(资料来源:Concurrent Technologies)
图 1. 英特尔® OpenVINO 工具套件预训练的计算机视觉模型。(资料来源:Concurrent Technologies)

跨硬件平台扩展

OpenVINO 的设计旨在通过支持 OpenVX 和 OpenCL 等跨平台 API 使工作负载可以跨 CPU 和附属加速器执行。(图 2)。

图 2. 跨平台 API 支持跨 CPU 和加速器的工作负载。(资料来源:Concurrent Technologies)
图 2. 跨平台 API 支持跨 CPU 和加速器的工作负载。(资料来源:Concurrent Technologies)

但是如果没有兼容的硬件,软件就没有多大用处,这时就需要来自 Concurrent TechnologiesTR H4x/3sd-RCx 等解决方案发挥作用。其基础系统是一个拥有 12 核/24 线程英特尔® 至强® D-1559 和高达 64 GB RAM 的 3U VPX 系统。

如果这些功能不足以满足客户需求,还可以选择通过 PCIe 连接更多处理资源。TR H4x/3sd-RCx 还可以通过 PCIe 与英特尔® Arria® FPGA 配对,以提高处理能力。

优化计算机视觉模型

使用 OpenVINO,客户可以构建和优化模型,并测试其解决方案的性能,从单处理器主板开始,并根据需要扩展至更多处理资源(图 3)。

图 3. 使用英特尔® OpenVINO™ 工具套件测试和校准计算机视觉模型性能。(来源:Concurrent Technologies))
图 3. 使用英特尔® OpenVINO 工具套件测试和校准计算机视觉模型性能。(来源:Concurrent Technologies)

“将您的模型转移到 CPU 上工作很简单;我们提供广泛的 Linux 支持包,” Concurrent Technologies 业务开发总监 Nigel Forrester 说。“将模型转移到 TR H4x 卡上有一点复杂。我们提供一个主板支持版,将它预先加载在卡上,并且提供了在英特尔 Aria FPGA 卡上运行的 DLA(深度学习加速器)比特流。”

“客户唯一要了解的,” Forrester 继续说道,“就是需要什么样的神经网络模型。他们选择正确的 DLA 比特流,采用其现有模型,并通过 OpenVINO 运行这个模型。这提供了一个中间表示,这个中间表示加载到加速器上,使服务器能够全部正常工作。”

之后,OpenVINO 会借助在 CPU 上优化和执行的 CPU 特定代码处理项目分配,而 FPGA 代码则被保留并在 Arria 硬件上运行。

“我们有英特尔® 深度学习加速器套件(英特尔® DLA)开发者许可,并已将其移植到我们的 Trax 卡中,” Forrester 告诉我们。“客户无需做任何事。他们只需要了解他们的神经网络模型是否属于 AlexNet、SqueezeNet、GoogleNet 或其他模型,并且是否处于 TensorFlow 等框架内。”

上图显示了在 Concurrent TR H4x/3sd-RCx 硬件上对 OpenVINO 模型进行资格认证的过程。这个过程会进行一系列优化、性能测试和硬件部署,旨在帮助开发者确定需要将哪类资源专用于哪种工作负载。随着新的英特尔 GPU 和推理加速器进入市场,OpenVINO 未来几年将变得更有用,这将扩展软件的整体灵活性,并允许开发人员针对更广泛的用例和场景进行开发。

作者简介

Kenton Williston

Kenton Williston is the Editor-in-Chief of insight.tech and served as the editor of its predecessor publication, the Embedded Innovator magazine. Kenton received his B.S. in Electrical Engineering in 2000 and has been writing about embedded computing and IoT ever since.

在Twitter上关注 Kenton Williston 的更多内容
上个文章
教育技术远程化任重道远
教育技术远程化任重道远

但受形势影响,教育工作者们被迫在仓促间完全转向远程教学。数字学习需要丰富的视觉内容来弥合差异。了解它如何才能得以实现。

下个文章
全新的购物者历程:自助服务机为之带来愉悦
全新的购物者历程:自助服务机为之带来愉悦

即使在艰难的环境中,零售商也可以通过自助服务机让笑容绽放在顾客的脸上——并带来利润的提升。了解自助服务能如何帮助您的企业。

×

名字
Company Name
Phone Number
Country/Region
我希望這篇公司聯絡我: -可选
!
谢谢!
Error - something went wrong!
×

离高明的解决方案仅一步之遥。

Country/Region
insightTechOptIn
Intel GDPR Optin
提交本网站上的表单,即表示你确认你是一个年满18周岁的成人,且你同意受Intel(英特尔)和 Intel® 物联网解决方案联盟成员通过与营销相关的电子邮件或电话与您联络。你可以随时取消订阅。英特尔的网站和通信受制于我们的隐私政策和使用条款
谢谢!
Error - something went wrong!