智能城市

人工智能正在颠覆各个行业，创造各种机会并改善客户体验。AI 开发人员处于这场革命的最前沿，他们构建了可塑造未来的解决方案。因此，他们为自己配备了合适的工具，以将其 AI 解决方案和计算机视觉应用变为现实，这一点非常重要。

为全方位了解开发人员应该跟进的最新趋势和技术，我们采访了英特尔网络及边缘事业群副总裁和解决方案工程部总经理 Bill Pearson 以及物联网副总裁和边缘推理产品总监 Adam Burns。Pearson 和 Adams 讨论了行业趋势和英特尔技术、工具以及更容易在博弈中保持领先地位的计划。

是什么样的行业趋势在推动物联网、边缘和 AI 解决方案需求？

Bill Pearson： 我能想到四种行业趋势：

• 世界正在日益受软件定义。网络、应用程序和基础设施都是如此。AI 几乎在每个用例中都变得越来越普遍。
• 变化的速度正在迅速加快。
• 世界在这个领域的发展速度越来越快，我们的行动也非常迅速。
• 我们需要朝着现代 AI 开发人员所期望的简便性和可用性的方向前进。

将其想象为云原生范式：开发人员收集的所有学习内容，现在他们希望能够在其他地方得到应用。

看看苹果为手机所做的事情。他们向各位表明，任何体验都应该令人愉悦。它应该简单而直接。现在，这种期望正在进入开发领域。当所有内容打包在一起时，我们基本上是需要构建软件定义的 AI 用例，这些用例非常简单，方便人们在日常生活中应用。

Adam Burns：我完全同意。如果将这些趋势应用于市场的转变，特别是在边缘物联网世界，那么过去几年中，这种转变迅速加速。英特尔在 30 多年前发起的嵌入式世界，其重点是关注可靠性。开发人员正在寻找非常可靠的软硬件的组合，可以在生产过程中使用五到十年，而不必有任何担心。现在，我们的转变是：“我想了解该设备及其所在系统正在发生的一切。我想了解如何提高效率。”

Bill 提到的软件定义系统、AI 以及所有这些事情的结合，都是为了做到这一点。与我们对嵌入式计算的传统看法相比，开发人员和操作人员思维模式的这种转变从根本上改变了人们的要求。

开发人员在构建边缘 AI 应用程序时面临哪些挑战？

Bill Pearson： 第一个挑战是我要如何开始？行业中有众多选项和许多噪音。首先，人们询问，开始实现他们的目标和关键绩效指标的途径是什么。接下来，他们寻找最有效的方法，在其独特用例中实现他们想要做的事情。

第三，开发人员希望确定合适的解决方案，以最好地满足该用例的需求。例如，如果他们向供应商征求，而供应商提供了参考解决方案或产品，那么他们预期的需求是否能够满足？对于英特尔来说，关键在于我们如何帮助开发人员，确保他们不仅可以实现自己的目标，而且他们选择的解决方案能够帮助他们实现目标。

该解决方案的一部分是其中包含的硬件。我将它保留在最后，因为这不是开发人员所做的第一选择，但它是一个重要的选择。同时英特尔希望开发人员能够更轻松地使用合适的硬件，并且给他们带来最佳结果。因此，他们不会建造过大、耗电过多、热量过多，或物理空间不适合的东西，特别是在边缘。

Adam Burns： 因此，我想制作一个计算机视觉应用程序，以便于在装配线上进行机器缺陷检测。那里会有很多很好的分类模型。例如，我们的合作伙伴 Hugging Face 拥有最大的人工智能模型生态系统之一，它使用一系列可应用于计算机视觉的模型或变压器。

现在，他们有一个运行良好的常规模型，那么他们将如何根据自己的特定应用程序进行微调？一位资深的数据科学家可能希望获取大量数据，然后自己进行训练。但应用程序开发人员可能希望拥有英特尔^® Geti^™ 等专用工具，在有限的训练和计算水平下获取相对较少的数据，并且能够生成非常准确的模型。

现在，他们如何部署才能根据合适的硬件类型进行优化？开发人员可以使用英特尔^® DevCloud、英特尔^® Geti 和英特尔^® 发行版 OpenVINO^™ 工具套件等工具将模型压缩到适合边缘的尺寸。然后，他们可以使用 DevCloud 来确定是否最好在带有 GPU 的英特尔^® 酷睿^™ 处理器上运行，或者是否应在英特尔凌动^® 上运行。或者，由于工作负载较重，他们是否需要升级到英特尔^® 至强^®？Bill 刚才提到这些类型的决策，包括寻找合适的应用程序、调整以适合用途，并确保将其部署在合适的硬件上。

我们希望通过该完整的工作流程为开发人员提供指南。我们发现特别是在 AI 方面，开发人员对这些模型提出的创意中，有 50% 以上无法投入生产。因此，对我们来说，重要的是通过尽可能最具成本效益的方式将其投入生产并部署解决方案。

还有哪些其他英特尔工具可以简化该路径？

Bill Pearson： Adam 在这方面做得很好。当谈到解决方案时，让我们看看英特尔^® 边缘软件中心及其所有参考实施。例如，开发人员想知道如何将某些要素组合在一起，以实现顺畅结账。边缘软件中心可以向他们展示不同要素的组合方式以及帮助他们实现组合的代码，然后根据需要使用实施。

您会越来越多地发现这些。我们提供作为扩展 OpenVINO 工具套件一部分的 Jupyter 笔记本，其中包含开发人员可以立即应用的操作示例集，目前可在 DevCloud 上运行这些示例集。因此，他们可以立即说：“我对 AI 解决方案感兴趣，我可以使用 OpenVINO，我拥有这些 Jupyter 笔记本，现在就开始试用。”

正如 Adam 所说，我们将这些要素整合到此工作流程中，以方便他们可视化自己想要创建的解决方案，并使用我们提供的示例和参考来了解如何做到这一点。然后，他们可以立即使用我们的工具，了解将如何应用该工具以及他们需要的硬件。当然，他们总是可以使用 Geti 和 OpenVINO，搞清楚如何将其构建到最终尝试部署的产品中。

您是否可以进一步谈谈 OpenVINO^™ 工具套件？

Adam Burns: OpenVINO 旨在从模型和网络的角度扩展其广度。虽然我们一开始就专注于计算机视觉，但发现 AI 的多模式用途更多。一个工业示例是使用计算机视觉应用程序了解故障和音频信号，以监听电机或轴承并确定该系统是否可能发生故障。

我们看到越来越多的客户希望使用生成式 AI 并结合不同类型的 AI，我们扩展 OpenVINO 以跟进这些类型的模型。例如，我们与 Hugging Face 共同发布博客，介绍 Stable Diffusion 的性能。我们正在开发 Dolly 和 LLaMa 等新型开放式聊天机器人系统，以确保我们为之提供合适的性能。我们始终专注于广度和开发人员效率。

因此，我们提供不同的路线图，以满足各种开发人员需求。有了 OpenVINO 23.0 版本以及我们在 CPU 路线图中提供的性能核和能效核，我们将自动使用这些内核，从而为系统及其上运行的工作负载提供最高效率。

OpenVINO 如何为生成式 AI 等新趋势提供支持？

Adam Burns： 从市场角度来看，生成式 AI 是每家企业每次对话都会提到的内容。我们发现巨大的需求，生成式 AI 正在开启这些对话。

我们一直专注于通过多种技术优化 OpenVINO，例如，先从流行 NLP 风格模型和 ChatGPT 开始。让我们来看一下 OpenVINO 的优化和便携性。

但它并不是每个问题的答案。生成式 AI 产生强大效力的时刻是，当您不只是开始关注主要应用程序，还关注所有集成工作时。它能够了解接口并帮助客户自动化集成、系统设置，也可以做到许多不同的事情。它会使操作人员和开发人员异常高效。

行业中领先的 AI 开发人员表示：“我现在只编写约 20% 的代码，因为生成式 AI 正在完成许多代码编写和设置类型的工作。我可以真正专注于算法以及实现自我增值的特别之处。”因此，它是一个惊人的能力倍增器，可以提高开发人员的工作效率。了解企业即将推出的应用程序会非常有趣。从 OpenVINO 的角度来看，至关重要的是，我们不仅要在云端提供支持，还要对这些模型进行调整和微调，以便为边缘专门构建。

Bill Pearson：尽管进行了多年的研究，但目前尚处于早期阶段，我们才刚刚起步。随着生成式 AI 突破公众认知，它创造出更多的 AI 意识。但它也打造了更多的实验，事实证明，它在这方面非常优秀。目前正在探索许多有趣的用例，但我认为故事还未开始书写。

对我来说，有趣的是，我们有两件事要做。一是生成式 AI 创造可能的艺术。这个故事只是想象力的故事，我们将对它的未来走向感到惊讶。实际上，如今许多客户可以利用其带来的机会探索他们真正需求：他们试图实现的 KPI，试图实施的用例。但在许多情况下，我们无需生成式 AI 即可做到这一点，坦白地说，有更专注、更具成本效益的优秀解决方案可为此提供帮助。关键在于帮助我们的客户找到他们试图解决的问题的合适解决方案。

对于想要了解更多详情的开发人员，如何开始？

Bill Pearson: 如果您希望构建解决方案， 英特尔^® 开发人员专区 是适合您开始的地方。您将在这里找到英特尔提供的所有工具，例如边缘软件中心和 OpenVINO。如果您对构建边缘 AI 应用程序特别感兴趣，可以直接访问 OpenVINO.ai，这是另一个绝佳的起点。

Adam Burns： 我认为，我们生活在一个人们希望实际操作并修正的世界。在这里，人们可以使用边缘软件中心真正深入探索解决方案并了解它们。

你们是否要为我们的对话作其他补充？

Bill Pearson： 对我来说，进入这个行业没有更好的时机，原因是快速变化的市场节奏、软件定义一切以及 AI 变得如此流行。成为开发人员是激动人心的时刻，是参与构建现代解决方案的激动人心的时刻，我们都会在此过程中帮助创造这些解决方案。

Adam Burns： 正如 Bill 所说，看到开发人员、客户和合作伙伴能够利用我们的技术实现目标，这是令人非常满意和愉悦的。皇家布朗普顿医院和儿科肺疾病检查即为一个很好的案例。刚好我堂表兄弟的一个女儿患有肺部疾病。得到这些案例后，我们立即可以发现真实的价值，无论是确保个人更快地获得所需的诊断，还是提高工厂的效率。能够参与其中并允许开发人员创造出他们所能创造的东西，这令人满意，也非常有益。
 

本文由 insight.tech 的副主编 Christina Cardoza 编辑。