处理快速数据获取更快的结果和投资回报

March 2, 2017

试图通过部署大型物联网（IoT）传感器网络来实现业务转型的公司，大多会在将行业物联网（IoT）应用投产时遭遇挑战。如果使用Intel® IoT Gateway Technology（英特尔物联网网关技术），则可轻松令此类传感器连接云端，不过许多公司都还在探寻如何在公司运营中高效使用来自传感器及其他流数据源的数据。 McKinsey & Company的一份报告表明，提高传感器数据利用率，到2025年可每年提升价值11.1万亿美元的生产力，然而目前许多行业实际分析传感器数据的比例只有百分之一。我们这个行业任重而道远。

释放此类生产力的秘诀之一在于提高处理“快速数据”的效率。快速数据与其他数据不同，它会大量生成，且价值极具时效性。可以想想点击流数据、金融股票数据、日志聚合、实时进程传感器数据等大数据。这些快速事件可以每秒发生成千上万次。如果系统只是将快速数据转储至Hadoop分布式文件系统（HDFS）、分析型关系数据库管理系统（RDBMS）或平面文件，那么就会错失立即采取行动或发出警报的机会。

Objectivity，一家致力于服务全球1000强公司和主流政府机构的硅谷公司，针对这个难题提出了一些突破性方案。他们的方案能够实时结合多方资源数据，用于支持执法、网络智能、地球科学、电信、能源、物流等实施IoT应用之行业的高级分析。

为帮助开发者更快优化快速数据IoT方案，Objectivity于2015年末宣布，支持英特尔于2015年推出的作为英特尔物联网平台一部分的开源Trusted Analytics Platform (TAP，可信分析平台)。本文将先介绍Objectivity的ThingSpan*方案，再探讨其对TAP的重要支持作用。

>IoT数据融合平台

ThingSpan是一种致力于将来自多方资源的传感器快速数据和企业大数据进行实时关联以促进高级解析的目的型信息融合平台。这个大规模分布式平台能够将强大的对象数据建模技术与Hadoop和Apache Spark的高性能平行处理相结合，创造出更快更高效的大数据规模关键任务应用支持途径。

搭载于大数据平台的大多数融合应用都依赖于批处理，但批处理至少需要花费几个小时甚至几天，而依托于ThingSpan的融合应用可以实时收集和诠释数据，并根据企业现有数据分析新信息。 ThingSpan融合应用能够以最优速度和最强处理能力从广泛结构化和非结构化资源获取数据并分析其内在关系，从而挖掘时效型数据的价值。

ThingSpan采用等级制对象数据模式，令企业能够从其大数据档案和来自IoT传感器及设备的实时流数据中发现新的模式和联系（图1）。一旦收集到新数据，就会立刻根据现有查询进行分析，因此不会造成采取必要行动和接收宝贵解析过程中的延迟。

图 1. ThingSpan架构令企业能够从其大数据档案和实时流数据中发现新的模式和联系。

ThingSpan能够将人物、地点、事件和设备的相关数据组织成实际对象，令关系信息得以存留，从而不必像传统关系数据库那样需要不断跨越不同数据表联合数据获取要求，也就不必像该过程那样昂贵、费时和低效。如果本地系统能够支持HDFS、YARN、Spark和Kafka等大型开源项目，ThingSpan所提供的方案就能令行业IoT业界领袖从其数据流中获取实时解析并收获IoT投资回报率。

ThingSpan组件包括：

HDFS版ThingSpan，适用于Hadoop HDFS环境，能够简单高速地进行处理和分析
Apache Spark版ThingSpan，提供Spark适配器，令用户能够管理Spark DataFrames并将ThingSpan收集的数据转换成Spark组件，如SQL和MLlib（图2）
ThingSpan Metadata Store，令用户能够通过预定义元数据方案来定义数据关系，从而将这些关系存储在内存中
Thing Span Rest API，为定义和管理查询以及转换数据提供简单界面

图 2. ThingSpan的高级存储层能够与SparkSQL充分整合，以优化处理层内外数据的活动。

用TAP加速投产时间

TAP的面世，令Objectivity看到了帮助开发者和ThingSpan客户加速行业IoT应用投产时间的机遇。英特尔开发了TAP这个开源项目，旨在令数据科学家能够更快更简便地部署大数据分析。将融合工作流纳入TAP，可以极大地提高用快速流数据充实大数据过程的执行性能。

TAP为在公开和私人云端进行高级分析提供了共享型弹性环境，令开发者、数据科学家和系统操作员能够更加简便地进行合作。其可扩展环境能够将许多开源组件整合进单个综合型平台，该平台具备多种易于整合的工具和服务，无需重新创建现有功能（图3）。这样，数据科学家和开发者就能够专注于自身专业价值领域，而不用陷入复杂整合项目（图4）。