物联网时代的大数据该如何运行柔软

分离设备压滤设备2020年04月19日

您现在的位置: 物联网时代的大数据策略 http://www.50cnnet.com 物联中国

日期:2014-12-06 09: 1:22来源:物联中国 点击:500次 核心提示:“你不能使用现在的策略,因为可以被捕获、管理并利用的数据将更加多样化,同时用例也会更加丰富。附加到各种设备和对象上的传感器会产生各种类型的数据。  互联网时代,PC、Pad、智能手机等设备无处不在,数以亿计的用户通过微博、微信、SNS、博客等途径产生大量的自媒体数据,电商、新闻类网站、搜索引擎每时每刻都在记录着丰富的用户行为信息,海量的数据促进了云计算,分布式技术的发展,而这些技术反过来不仅推动了Web和移动互联网的革新,也推动了物联网的飞速前进。现在,我们正逐渐迈入物联网时代,实现万物互联的愿景,如果说之前人是信息生产的主体,那么或许不久的将来设备将成为主角,它们将源源不断地产生与人相关的衣食住行信息,这些信息会通过云计算、数据挖掘等技术实现价值的升华从而为用户提供更优质、贴心的服务。那么物联网时代会产生什么样的数据,应该采用什么样的大数据策略呢?

 THINKstrategies的总经理Jeff Kaplan在自己的博文《当物联网遇见大数据》中写道:

  你不能使用现在的策略,因为可以被捕获、管理并利用的数据将更加多样化,同时用例也会更加丰富。附加到各种设备和对象上的传感器会产生各种类型的数据。这些数据将会用于各种响应式的、主动的或者创造性的目的。IT部门的任务就是与业务部门一起工作,完全理解物联网方面的用例,然后寻找满足业务需求的技术。特别是,IT部门必须识别出最优的分析平台和工具,让业务用户能够获取到需要的数据,分析数据的含义并快速地做出响应。

 Gartner公司的副总裁、著名分析师Joe Skorupa认为:

  分布在世界各地的物联网设备将产生大量的输入数据,将所有的数据传送到一个位置进行处理无论从技术上还是从经济上都是无法实现的。最近的趋势 将应用程序集中起来以便于降低成本并增强安全性 并不适合物联网。组织必须将数据集中到多个分布式的小型数据中心中,在此对数据进行初步的处理并发送到一个中心站点进行额外的处理。数据中心管理员需要在这些区域部署更加具有前瞻性的容量以满足业务发展的需要。

 Patrick McFadin则在自己的博文《物联网:数据都去了哪里?》中阐述了一个具体的数据策略解决方案。他认为整个过程可以分为三个阶段:产生数据并通过Internet传递、中央系统收集并组织数据、持续的数据分析与使用。

 第一阶段需要决定数据创建的标准以及如何通过网络进行传递。Patrick McFadin认为可以通过HTTP、MQTT和CoAP三种常用的标准协议传递数据。HTTP通用程度高,但是它的头中包含大量冗余信息,不太适合带宽比较低的场景。MQTT基于发布/订阅模型,新的设备或者服务能够非常容易地连到中央系统上消费消息。另外,它在消息大小上比HTTP更轻量,但是缺点是不包含加密标准。CoAP适合于低功耗、低带宽的场景,与MQTT的订阅模式相比它更侧重于一对一的连接。

 第二阶段则需要根据设备、网络以及功耗的限制决定是实时地收集数据还是在某个时间批量收集,同时还需要决定如何存储数据。如果是实时收集,那么必须要考虑数据库的写入速度,这对于传统的数据库而言可能是一个挑战,但是像Cassandra这样的NoSQL数据库却能够轻松应对。

 一旦完成了数据的收集与存储,接下来就是分析了,这才是整个过程最核心的部分。此时需要考虑需要何时使用分析结果,是否需要立即或近乎实时的分析,还是仅仅需要对历史数据进行处理。越来越多的人在使用Apache Spark分析大数据,使用Spark Streaming满足近乎实时的要求,如果将这些技术与Cassandra这样的NoSQL数据库结合在一起使用,那么开发者就能够处理并分析大规模、快速移动的数据集。

 那么是不是所有的物联网厂商都需要自己去构建相关的数据解决方案呢?也不尽然,在云计算的时代大可以利用云服务提供商的资源,以降低相关的成本,对小公司或初创公司更是如此。Mike Kavis最近在自己的博文《物联网将彻底改变你的大数据策略》中阐述了自己的方案,他认为:

  在物联网时代,面对PB级的数据,企业将难以以一己之力完成基础设施的建设。物联网所产生的大量数据不仅会驱动现在的数据中心发生根本性的变化,同时也会驱动相关企业采用新的大数据策略。由于缺乏相关技能以及持续增长的数据对基础设施采购的需求,企业将逐步放弃DIY模式,转而使用PaaS和托管的解决方案,借助于数据库即服务(例如Amazon的Redshift、Hortonworks和Cloudera的企业级Hadoop)、托管的大数据服务(例如Treasure Data)以及矩阵式的数据中心服务(例如GoGrid)实现自己的物联网数据分析方案。

 总之,物联网的价值在于数据。企业对数据的分析工作启动地越快,挖掘出的业务价值就越多。而云服务提供商的目的就是通过加大相关的投入,消除数据收集、管理的风险以及复杂性,让客户能够专注于分析。

 另外,OIOT开放物联网大会报名已经启动,读者如果感兴趣,请尽快报名,免费报名名额有限。OIOT开放物联网大会是InfoQ主办的全球物联网顶级峰会,重点关注物联网在国内的创业方向以及发展趋势。在这次峰会上,InfoQ将联合在物联网领域深有积累的公司和个人,基于他们的产品和技术,分享自己的真知灼见,以期共同推动物联网在国内的发展。

贵阳妇科医院地址

秦皇岛中医癫痫病医院

云南牛皮癣专科医院

芪苈强心胶囊能空腹吃吗
宜昌专门治妇科医院
下肢静脉血栓的分级
相关阅读
奥赛康:母公司新药ASKG315获临床试验申请受理通知书

奥赛康6月15日晚间公告,子公司浙江奥赛康生物医药有限公司于据悉送出国家...

2023-09-04
赢在职场:30岁前频繁自立门户换岗位的你,如何面对三十岁后的人生

开篇修订版: 母公司的小冯最终递交了下台报告,我并不需要签字批准。 男...

2023-09-02
2022年一季度深圳10+1区GDP排行曝光!深圳年初将全面加大投资力度

蛇口2022年第三季度10+1区里GDP位列 NO.1:南较高原东部里区里1840.28亿元,上年...

2023-08-31
中国西电(601179.SH)聘任石丹兼任总会计师、董事会秘书

中国西电(601179.SH)公告,田喜民因退休原因,向美国公司理事会申请辞去总会...

2023-08-30
富国基金股权转让新进展:山东金融资产豪掷50.39亿元收购富国16.675%股权,回报率高达352.

安邦基金会16.675%持股受让方终于出炉! 之前青岛市国际性信托股份控股(简...

2023-08-28
熬猪油,只加盐是“外行”!多加3样,猪油雪白香浓,抽1年不会坏

蒸灰糖,只芥菜是“充其量”!多加3十分相似,灰糖雪灰珠浓,抽1年不能再...

2023-08-27
友情链接