在边缘项目中使用超大规模云服务提供商？请先阅读本文

February 23, 2023

Brandon Lewis

边缘人工智能

假设您要构建一套 AI 系统。您从哪里起步？

以多模态情感分析为例，它依赖于多个自然语言处理和/或计算机视觉模型，这些模型通过严格的数据标记和训练加以改进。例如，在零售客户服务终端中实施该分析需要数据库和可视化工具、Web 应用开发环境、部署和交付服务等基础设施，当然还需要一两个 AI 模型训练框架。

如果这是您第一次涉足 AI 系统的创建，而且您的组织拥有所有必要组件，那么所有这些工具可能根本没有以有利于快速 AI 系统原型设计的方式进行配置。在这种情况下，希望 AI 工程设计取得成功的人通常会求助于超大规模云服务提供商的云平台，如 Microsoft Azure、AWS 和 Google Cloud。除了基本上无限的数据容量和基础设施服务外，许多超大规模云服务提供商还支持开箱即用的端到端 AI 开发，或为特定的第三方工具提供基于 API 的集成，所有操作只需几次点击即可完成。

最重要的是，您可以以相对较低的成本起步，以后再添加功能作为服务。那么，既然您自己就能如此快速轻松地起步，为什么还要组建一个技术合作伙伴生态系统呢？

对边缘 AI 工程师隐藏的超大规模云服务提供商成本

在早期阶段的概念验证 (PoC) 中，超大规模云平台非常适合将创意具体化。但是当您进入更接近最终产品的原型设计阶段时，它们的局限性就会迅速显现。

“使用超大规模云服务提供商的难处在于实际的定制 PoC，因为超大规模云服务提供商是基于标准的。你必须使用那些标准，否则就不能使用超大规模云服务提供商”，富士通公司（一家全球信息和通信技术公司）的产品业务首席数据官 Glenn Fitzgerald 说。“他们使用的基础设施和应用堆栈都是如此。”

“还有数据主权和驻留的问题，这在 PoC 阶段无关紧要，但如果要进行原型设计，就肯定非常重要”，Fitzgerald 继续说道。“超大规模云服务提供商不喜欢你从他们的云和结构中提取出数据来回避这些问题。法律和监管问题可能会使那些在超大规模云环境中使用 AI 的数据驱动项目大大复杂化。”

数据是关键。AI 技术依赖于将越来越多的数据汇集到训练模型中来提高神经网络的准确度和性能，从而使边缘核心通信和数据管理成为关键因素。数据存储是超大规模云服务提供商的主要收入来源。

不难想象，在只包含几个图像的超大规模云环境中启动 AI PoC，随着原型的发展，将膨胀成多个包含成千上万个图像的数据库。而且，由于从超大规模云中提取数据可能很困难，开始时看似无关紧要的平台选择可能很快就会变成代价高昂的平台陷阱。

AI 认同危机

此时，您还应该问一下自己，到底是否需要开发 AI。例如，大多数公司并不销售情感分类，而是将其用作零售自助服务终端或市场研究软件等解决方案的推动器。这是因为，AI 并不是开箱即用的解决方案，而是可以解决现有问题的新能力。

“AI 不是任何问题的解决方法”，Fitzgerald 解释说。“如果从机器学习、自然语言处理或神经网络的传统意义上来考虑 AI，那么它在 99% 的时候是解决方案的一个组成部分，而不是解决方案本身。”

“公司的起点应该是‘这是我的业务问题’。而太多公司是从‘我需要做 AI’开始的”，Fitzgerald 说。“但是如果你从‘我们需要做 AI’开始，那么最终会一事无成。”

在许多情况下，更好的策略是利用技术生态系统来减轻 AI 模型创建的开销，同时保持低成本。如果做对了，这种方法就会让原始设备制造商和系统集成商利用 AI 的优势，同时专注于最终应用。

利用合作伙伴生态系统加速 AI 推理

富士通与英特尔和英国咨询公司 Brainpool.AI 合作，建立了合作伙伴关系，来为 AI 原型设计者提供入口。被称为“共创工坊”的公司可以向 Brainpool.AI 的 600 多位领先的 AI 学者咨询，这些学者会就实现预期结果所需的基础设施组件提供建议。富士通以集成商的身份运营，协调其他合作伙伴并建立必要的基础设施来将 AI 从 PoC 扩展到原型设计。

为了促进这一流程，富士通创建了 AI Test Drive，这是一个专门构建的 AI 基础设施，基于来自 SUSE Linux、NetApp 和 Juniper Networks 的 Web 应用组件、数据服务、监控工具和 AI 套件。该软件打包在一个在基于英特尔^® 处理器的服务器上运行的演示集群中，允许用户对 AI 设计进行压力测试，同时保持对数据的 100% 控制权限，以便进行管理、注入和清理。

AI Test Drive 的免费试用可以通过门户获取。为了在各种 AI 用例中提供同级最佳的模型准确度、延迟和性能，它使用了英特尔^® OpenVINO^™ 工具套件。该工具套件是一个 AI 模型优化套件，可以压缩和加速在不同环境中生成的用于不同硬件的不同神经网络软件。它与 Open Model Zoo 兼容，因此可以将预训练模型轻松导入到原型设计流水线中。

如图 1 所示，OpenVINO 加速的 FP32 BERT 情感分类模型的性能是相同的未优化的 PyTorch FP32 模型的 2.68 倍。