您现在的位置:新闻首页>彩票软件

大数据与IT基础架构

2018-05-08 19:00编辑:新特彩票网人气:


编者按:人类70%的活动都是有规律可循的,大数据可以判断你目前的生活规律,然后就可以将这些规律运用在商业上,所以现在很多有用户量的创业公司都得到了风投。


大数据与IT基础架构

  有研究表明:人类70%的活动都是有规律可循的。大数据,可以让我们看到这种规律并预知未来,例如通过整理近期的气象情况和卫星云图,我们能够判断未来几天的天气状况。去年,央视两次携手百度分别打造“据说春运”与“据说春节”特别节目——“据说春运”携手百度地图,用大数据展现春节前后人口大迁徙的轨迹与特征;“据说春节”运用百度大数据来述说回娘家、恐婚族等春节长假期间的热门话题。可见,通过解读数据可以发现有趣的现象、挖掘以往被忽视的规律,还可以对人类的行为进行预测。

本文引用地址:

  事实上,数据分析的案例自古有之,在前几年也有很多数据挖掘技术和应用的出现。但这些数据挖掘技术对数据的使用,都是先抽样、萃取人们或系统认为有价值的数据,再分析、挖掘,而并不是使用全部数据。原因很简单——信息的收集、存储和信息分析的系统构建、维护成本过于巨大,所以人们总是习惯在信息收集的过程中,把有关联的少部分精确数据留下。

  以人们的日常购买行为为例,传统超市会通过对“时间、产品销售量/销售额”这几个指标的分析,判断近期哪些货品是热销产品,在短期更受用户的欢迎,进而对热销货品提供充足的货源保障,把热销货品放在超市最容易接触的位置,提供某些促销优惠等等。

  再看另一个来自美国的零售商塔吉特的案例,它使用大数据进行“怀孕趋势分析”。通过对大量消费记录的分析,塔吉特公司注意到,准妈妈很可能在怀孕第三个月的时候购买某种乳液,并陆续购买营养品(如钙、镁、锌等)。塔吉特公司找到了几十种关联物,通过这些关联关系,预判客户是否怀孕以及预产期的大概日期。在客户怀孕的不同阶段,该公司会向客户推销相应的产品或优惠券。

  前两个案例,分别是典型的“小数据”分析和“大数据”分析。大数据不仅是数据量大,同时数据种类多;不是数据的抽样,而是数据的全集;不是与目标有因果关系的数据,而是所有有关联的数据。与传统的数据分析相比,大数据可以被用来开发新产品和新型服务,其价值越来越受到关注。

  为什么在几年前,没有人收集和利用全部的数据,再进行大数据分析呢?除了成本上的考虑,还存在另一个问题:传统上,人们是基于单一“业务”去构建系统,而不是基于“数据”去构建系统。例如,某超市要建设一个CRM系统,IT部门会基于“客户管理”这个业务采购软硬件,所有建设都围绕“客户管理”,很少考虑开放、兼容等特性;如果想再上一套“行为分析”系统,则围绕“行为分析”这个业务去采购软、硬件。当需要把两个系统的数据进行统一分析时,由于两套系统不兼容,需要中间件来转接、编译,因此两套系统各自要进行二次开发以实现兼容,使得操作难度变高,造成有价值的“数据”被困在了“系统”这个孤岛里。因此在规划初期,就应充分考虑到数据的流动性、系统的兼容性,考虑到数据将会被各种系统多次使用的情况。

  也许有人会说:这样的系统规划会非常复杂,构建成本太高,很难把系统的模型和方案想清楚。我们再来看看互联网公司。大型互联网公司这几年在构建IT系统时,都会采用标准架构:如X86服务器、标准化的网络协议、开源的数据库、分布式存储等等。因为只有这样,才能够通过统一的硬件和软件平台来承载各种各样的业务。比如微信、QQ、游戏、视频等业务都是承载在同一个平台上,所有数据的流动在基础设施这个维度里都是自由的。所以我们看到如腾讯、阿里巴巴等互联网公司上线新业务的速度非常快,而且能够根据用户各种网络行为,判断互联网用户感兴趣的“热点”,在某项业务上再叠加新服务。这就是大数据的典型应用。

  在构建了标准的硬件、软件基础设施之后,业务可以被逐步规划,分阶段上线,但是所有的业务架构、程序接口,都应按照标准基础设施的统一要求进行设计开发。大数据本身是“业务”,需要建设者用更多的时间去摸索业务模型,在实践中完善新技术,把现有的封闭的系统逐步改良为开放的标准化架构。

  从IT的发展趋势看,大数据时代是在云计算建设成熟之后到来的,大多数互联网公司的建设历程也遵循了这种规律。云计算将带来标准、统一的IT架构,消除割裂和信息孤岛,并且简化大规模IT部署和运维的复杂程度,而这些都是大数据分析系统建设的前提。

(来源:网络整理)

织梦二维码生成器
已推荐
0
  • 凡本网注明"来源:的所有作品,版权均属于中,转载请必须注明中,http://www.xthosp.com。违反者本网将追究相关法律责任。
  • 本网转载并注明自其它来源的作品,目的在于传递更多信息,并不代表本网赞同其观点或证实其内容的真实性,不承担此类作品侵权行为的直接责任及连带责任。其他媒体、网站或个人从本网转载时,必须保留本网注明的作品来源,并自负版权等法律责任。
  • 如涉及作品内容、版权等问题,请在作品发表之日起一周内与本网联系,否则视为放弃相关权利。






图说新闻

更多>>
申万宏源证券增强版免费下载【股票证券】

申万宏源证券增强版免费下载【股票证券】



返回首页