推广 AI：开发人员加速成功的关键

June 26, 2023

Christina Cardoza

开发商的成功

AI 已越来越多地嵌入到关键业务应用 — 制造业的缺陷检测、零售业的客户行为分析，甚至是智慧城市的交通检测。AI 可助力一切事务。但要实现这些功能，例如训练 AI 模型，并将其真正转化为业务价值，可能需要花费大量时间和精力。

幸运的是，对开发人员来说，多年来，英特尔一直在做出改进，以提高使用 AI 的便利性。今年是英特尔发布 OpenVINO^™ 工具套件五周年，也是其推出 OpenVINO 2023.0 的年份。它刚刚发布了英特尔^® Geti^™ 解决方案，该解决方案经过专门设计，可帮助开发人员简化与业务部门的合作。英特尔 OpenVINO 架构师 Yury Gorbachev 和英特尔 AI 软件布道者 Raymond Lo 将向我们介绍该解决方案的所有相关信息（视频 1）。

视频 1。英特尔的 Yury Gorbachev 和 Raymond Lo 将讨论 AI 的进化历程以及 OpenVINO^™ 将继续扮演的角色。（资料来源：insight.tech）

关于 AI 取得的进展，您看到了哪些最新趋势？

Yury Gorbachev：这是当前的主流技术。人们正通过 AI 处理大量用例 — 客户监控、道路监测、安全、患者健康检查，所有这些用例已成为主线。

但我认为，过去一年来，我们看到，人们对 AI 及其解决问题的能力的认知发生了巨大转变。我将介绍生成式 AI，以及我们目前广受欢迎的 ChatGPT、Stable Diffusion 以及所有这些模型。我们将了解图像生成功能。我们将了解视频生成功能。我们将了解视频增强功能。我们将了解文本生成功能。目前，所有这些功能都在迅速进化。如果我们回顾约 10 年前的情况，当时深度学习的采用率激增，现在，生成式 AI 也将面临同样的情况。

关于开发人员能力提升，您有什么信息可以向我们介绍的？

Raymond Lo：要与开发人员合作，我自己必须也是一名开发人员。可能在 10-12 年前，我与我的团队共同构建了第一个神经网络。我尝试去了解如何跟踪指尖 — 只是为了确保摄像头能够理解我在它前面的操作。我们花了三个月时间才了解如何训练第一个模型。如今，如果我把它交给 Yury，可能两天后就可以完成训练。但当时，仅仅是构建极其简单的神经网络也耗费了我大量的精力。

当然，我们最终成功构建了该网络；我了解了它的工作机制。但是，经过多年进化，现在有各种框架可供使用；TensorFlow 和 PyTorch 也变得更易于使用。当时，我是在自己的 C++ 程序上执行计算。相当硬核，是吧？如今，他们有了 OpenVINO。

现在，当我与社区开发人员交谈时，会听到 OpenML、GPT 等各种模型。您不必过于担心，因为当您犯错时，您猜会出现什么情况？试试看 — 它将不再运行，或者为您提供错误结果。如今，至关重要的是，我拥有了一组工具和资源，因此，当人们向我提问时，我可以快速给出经过验证的答案。目前，英特尔正在为人们提供这类经过验证的工具。

您如何与开发人员合作，构建这类解决方案？

Raymond Lo：当我与年轻开发人员交谈时，我会倾听，对吧？“要使某项任务按所需方式运行，您需要做些什么？”比方说，假设有人正尝试在购物中心安装摄像头。他们需要考虑隐私；如果他们在能耗极高的设备上运行摄像头，他们需要考虑散热，并且他们想要隐藏摄像头。某些用例需要非常独特的系统。用户希望它位于工厂，他们希望它处在边缘。他们不想上传这类数据；他们希望确保一切在本地运行。

因此，我们会考虑采用产品组合，英特尔正好提供此类服务。我想，随着我们与客户的合作愈加紧密，我们会尝试收集这些类型的用例，并为他们创建这一揽子解决方案。但我不需要极度昂贵的超级计算机来进行推理。

Yury Gorbachev：我认为您完全正确。我要说的是，最被低估的平台就是您书桌上使用的平台。实际上，大多数开发人员都使用笔记本电脑，使用台式机，它们由英特尔提供技术支持。OpenVINO 能够在这些机器上运行，并在我们讨论的场景下实现相当出色的 AI 性能。您不需要设立数据中心来处理视频、执行风格迁移、检测车辆以及检测人员。多年来，我们一直试图向客户和开发人员说明这一点。

从业务角度看，完全相同的平台将在摄像头、视频处理设备等类似设备中运行。这一切都始于每位开发人员所拥有的非常基本的笔记本电脑。

过去几年来，您看到 OpenVINO^™ 取得了哪些进步？

Yury Gorbachev：最初，我们首先开发的是 OpenCV。因此，我们从 OpenCV 范例中借鉴了大量经验，我们借鉴了各种 OpenCV 理念。在 OpenCV 上，我们利用计算机视觉处理了大量任务，因此，我们最初使用 OpenVINO 来处理计算机视觉用例。然后，我们开始开发这个开源工具套件，以便部署 AI 模型。

随着时间推移，我们看到了 TensorFlow 的增长势头，看到 PyTorch 的爆发。因此，我们必须紧跟这种趋势。我们看到了应用场景的演变，如近景分类、对象检测、分段。我们最初只开发了运行时版本；然后我们开始创建优化工具，并最终添加了训练时间优化工具。

因此，我们最初从计算机视觉入手，但随后，在 NLP 领域、文本处理领域的应用出现激增。于是，我们必须对在 API 中处理推理的方式做出重大改变；为了支持那些用例，我们对生态系统做出了巨大改变。如前所述，现在我们看到，生成式 AI、图像生成、视频生成正发生演变。因此，我们还需要适应那些改变。

我们与合作伙伴开展了大量合作；我们跨团队完成了大量工作，为这些技术提供支持，使其始终采用英特尔的最佳性能框架。我们最近分析了我们定期进行逐代进化的方式，与前代产品相比，我们的性能提升幅度不是 5% 或 10%，有时甚至达到两三倍。

能否介绍一下 OpenVINO^™ 与英特尔^® Geti^™ 如何协同工作？

Raymond Lo：这实际上与您希望解决的问题陈述有关。Geti 填补了两者之间的训练缺口 — 这时，您可以提供一组需要算法识别的数据。它可能是某种缺陷，可能是模型或对象的分类。当前，我们提供了该接口；我们为人们提供工具。此外，该工具还具有这些微调参数；您可以清楚了解需要如何对它进行训练。

您甚至可以对其使用数据集，以便每次训练时，都可以对其进行批注。我们称之为主动学习方法。在给出足够多的示例后，AI 将为您完成其余任务。那就是 Geti 的真正作用。现在，您可以通过各种方式来处理这个问题 — 获取可部署到 OpenVINO 上的模型。

您对 AI 的未来有何设想？

Yury Gorbachev：目前很难预测今后一年会发生什么情况，通过 AI 可实现哪些潜在的应用场景。但我可以确信一点：我认为，我们完全相信，现在我们看到的使用生成式 AI 的所有那些场景、所有那些用例 — 图像生成、视频、文本、聊天机器人、个人助理等，在某个时候，这些场景/用例都将在边缘运行。主要是因为人们希望在边缘运行那些场景/用例。

例如，人们希望在本地编辑文档；与您自己的个人助理进行对话，而不必向云端发送请求，从而保留一点隐私。同时，您还希望更快完成任务；与在云端相比，在边缘通常可以更快完成任务。这就是 OpenVINO 将发挥重要作用的地方，因为我们将尝试在常规笔记本电脑上完成这些工作。

最初，笔记本电脑的性能不足以满足需求。很明显，在进行优化与实现的性能之间要做出一定的取舍。但最终，用户的期望值会非常高，以至笔记本电脑必须满足这种需求。

Raymond Lo：如 Yury 所说，由于变化日新月异，当前完成某种建模会非常困难。但有些事情我始终可以确信：任何时候都有成功的技术，始终会有采用曲线，对吧？这称为必然会发生的趋势。“必然会发生”意味着每个人都了解它是什么。这个 2023 版 OpenVINO，我们的下载量达到 100 万次。这是一个非常重要的数字。它表示市场正在采用这个版本，而不是某个值得拥有、但却无人再次下载的版本。

我敢说，在今后一年内，我们将拥有更先进的 AI。

庆祝 OpenVINO 发布五周年和推出最新版本有什么重要意义？

Yury Gorbachev：我们会在这个版本中继续改进性能。我们正致力于开发生成式 AI，我们正努力改进生成式 AI 在多个平台上的性能。但最令人瞩目的是，我们将开始在 GPU 上支持动态形状。我们完成了大量工作，以便在 GPU（包括集成 GPU 和独立 GPU）上运行大量文本处理场景。我们正考虑聊天之类的功能，我认为，它们甚至会在集成 GPU 上运行。在改进性能等方面，还有一些工作有待我们完成。但总体而言，以前根本无法完成的工作，现在将成为可能。

第二个要点：我们正在逐步简化我们的量化和模型优化体验。我们正在开发一个可以完成所有工作的工具，它通过 Python API 来实现这一目标，因为该 API 更适合数据科学人员使用。我可能会稍微提及一项功能，即在目前的预览版中，我们将开始支持 PyTorch 模型，开始直接转换 PyTorch 模型。它尚不能投入生产环境，但相关团队对于推出该功能感到非常兴奋。