工业场景下IOT数据处理
admin
2023-04-08 20:23:21
0次

昨天偶然聊起工业场景下IOT时序处理问题,有人讨论时序数据库哪家强,有人询问数据收集应该用云服务商的PaaS还是自己搭建,不一而足。笔者认为没有最强的产品,只有最合适的架构。抛开具体应用场景而去谈单一产品性能,无异于缘木求鱼,刻舟求剑。针对客户具体情况,选择相应的架构,灵活结合开源工具和云厂商服务;同时以实用性为原则,解决问题而非为了所谓的最新科技而选择一些实用性有限的产品。在此分享个人一点看法,水平有限,抛砖引玉,欢迎切磋讨论。

 

首先,我们可以把整个系统分成几部分,随后逐一探讨。在此暂且采用将整个架构分为,终端、分析、行动三部分。

工业场景下IOT数据处理

在“终端”部分,微软近期动作很大,预期投入50亿美金进行IOT研发的大部分都花在了这里,其中产品AzureSphere备受期待,目前已经和台积电等厂商联合生产开发中,×××还要飞一会~其最大的优势就是双套安全机制,确保客户终端安全

暗黑科技Azuresphere传送门:https://azure.microsoft.com/en-us/services/azure-sphere/

 

在“分析”部分,微软IOT solution包含了丰富的产品。

传送门:https://azure.microsoft.com/zh-cn/overview/iot/

 

先从数据收集说起,常见几种收集方式如下:

工业场景下IOT数据处理

其中最常被比较的两种方式为使用云厂商PaaS (在此以微软IOT Hub,Event Hub为例)vs 开源自建(在此以Kafka为例),对比如下:

使用微软服务

(IOT Hub)

使用微软服务

(Event Hub)

自建

(Kafka)

托管

是

是

无

并行

是

是

是

传输方向

双向

单向

单向

设备管理

有

无

无

传递

可配置

至少一次

至少一次

支持协议

MQTT,HTTPS,AMQP

HTTPS、AMQP 1.0、 Apache Kafka

Kafka

可扩展性

相对高(可轻松扩展到TB级)

相对高(可轻松扩展到TB级)

相对低

直接成本

高

中

低

管理成本

低

低

高

 

真实工业情况下,能否用云厂商PaaS收集数据往往其决定因素的是客户终端设备,特别是该设备支持的协议。比方Honeywell的工业机器大部分可以用微软IOT收集数据;比方Siemens自成体系,并未开放,微软只能在Siemens自己收集完数据,加工整理之后,通过客户传给微软,做做数据分析展现之类的后续工作。

 

其中IOT Hub还在不断演进当中,接下来devices streams即将登场,会给设备端链接带来更好的易用性和安全性:

https://azure.microsoft.com/zh-cn/blog/introducing-iot-hub-device-streams-in-public-preview/

 

如果客户使用开源,会常见Kafka, Flume, Storm等名词,可参见以下blog,内有基础介绍和分步骤代码:

http://www.cnblogs.com/smartloli/p/4615908.html

https://www.cnblogs.com/smartloli/p/4632644.html

 

数据存储、计算各家云厂商都有功能强大的服务,所实现功能也大同小异,在此不赘述。谨在此提两个技术细节问题供探讨:

数据库选择:时序数据库虽然喧嚣之上,但是实际应用者寥寥。针对需要长期展现的类似matrix数据有一定应用场景价值。更多情况下,传统数据库或者Hadoop体系就有均有丰富的最佳实践,选择时根据实际情况而定,简简单单能够解决问题就好。

压缩数据:这项技术特别容易被忽略,但是特别是在大数据量情况下可以考虑。在这里需要做一个平衡,就是压缩和解压缩带来计算量的增大和存储/网络负载减少之间的取舍。其好处一方面显而易见的好处是压缩数据可以节约存储成本,还有可以在分布式计算情况下节约各个节点之间传输数据的网络压力,减少传输时间,从而增加运算速度。

常见压缩工具对比如下:

工业场景下IOT数据处理

接下来就是数据分析引擎的选择,常见选择标准为查询的兼容性和时延:

工业场景下IOT数据处理

 

除了工具推陈出新,随着架构的演进,现在serverless大行其道,传统架构也可以进击发展为分为fast path和slow path双通道的全自动连接架构。

工业场景下IOT数据处理

 

“行动”部分,根据客户具体应用场景而定,有的采用预防性维护,有的采取远程开关机等等,在此不展开。

 

工业数据分析曾经甚嚣尘上,似乎传统制造业要执数字化转型之牛耳,言必及GE;而随着一系列泡沫挤出,Predix也落得一个出售的命运,颇有点“看斜阳照大地阡陌,从头转“的味道了。作为从业人员,大势不能违,从小处做起,积点滴,汇江海,共勉之。

技术博大精深,个人能力有限,行文粗鄙,抛砖引玉,欢迎探讨指正,共精进。

 

参考材料:

微软IOT参考架构:

Azure IoT Reference Architecture Guide

 

微软在IOT成熟案例:

Rolls Royce   https://customers.microsoft.com/en-us/story/rollsroycestory

 

POC含具体步骤的blog在此:

https://mp.weixin.qq.com/s/rMJZ2At6AGVqTVZ5ZB0GLA?

POC代码在此:

https://github.com/jurejoy/Temperature-Forecast

 

相关内容

热门资讯

空调连续工作多久需要停机休息 空调连续工作的时间取决于多个因素,包括空调的型号、功率、使用环境和维护情况等。一般来说,空调可以连续...
空调哪个符号是除湿的 空调除湿功能通常用一个水滴形状的符号表示。不同品牌和型号的空调遥控器可能会有所差异,但一般来说,除湿...
格力空调多长时间加一次氟利昂 1、一般情况下,空调对氟利昂的使用量是非常小的,所以在空调使用了四年左右的时候再考虑加也没问题。2、...
空调用多长时间需要加氟一次 一般情况下是五年。当出现以下这几种情况时,空调才需要加氟。1、空调的室内机和室外机各有两个接口,当接...
格调生活·C标思享荟:卡萨帝在... 9月12日的郑州龙湖金融岛,夜风轻拂,灯光璀璨。“C标时刻共传奇——卡萨帝思享荟暨20周年品牌盛典郑...
品牌价值破千亿、高端份额持续领... 9月12日,“C标时刻共传奇——卡萨帝思享荟暨20周年品牌盛典郑州站”在郑州龙湖金融岛举办。2026...
空调主板坏了修800还是换新的 空调主板坏了是修还是换新,需要考虑多个因素,以下是一些建议:1. 维修成本:如果维修费用较低,比如 ...
空调开多久需要休息多长时间 问题:空调开多久需要休息多长时间回答:1、在使用空调的过程中,一般空调开7~8个小时左右需要休息2~...
中央空调多长时间清洗一次 1、一般空调开机前清洗一次即可,空调开机中间时段再清洗一次,空调关机时清洗一次,这样比较合理。2、空...
中央空调氟利昂多久加一次 看空调制热和制冷程度,很多人的观点认为氟利昂必须一年放一次,其实这个观点是错误的,理解上面有点偏差,...