|
本帖最后由 钻石小鸟 于 2017-7-24 10:14 编辑
大数据何以为大
编者按：以“数字经济引领新增长”为年度主题，由国家发改委、工信部、国家互联网信息办公室、贵州省人民政府共同主办的2017中国国际大数据产业博览会，如今又为火热的大数据产业添了一把火。博览会签约金额达167亿余元，签约意向金额为256亿元左右。这一全球首个以大数据为主题的展会，再一次撩起了大数据的神秘面纱，展示了大数据的大能量，一个通过加工处理数据来创造价值的产业正在迅猛发展。
互联网+时代，大数据之名如雷贯耳。那么何为大数据?数据从哪里来?数据放在哪里?数据谁来使用?多“大”才算大数据?如何利用大数据赚钱?大数据应用如何影响我们今后的生活等等，这一系列看似简单的问题，就像萦绕在我们心中的一层迷雾。因此为一探大数据之究竟，经从多方面梳理，试解大数据之惑，以饕读者。
何为大数据，数据有多“大”才算大数据
对于“大数据”(Bigdata)研究机构Gartner给出了定义为：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
大数据概念产生就是因为数据量和数据类型急剧增加，以至于原有的数据存储、传输、处理以及管理技术不能胜任，需要全新的技术工具和手段。
对于“多大容量的数据才算大数据”，工信部赛迪研究院软件所所长潘文说，大数据的规模并没有具体的标准，仅仅规模大也不能算作大数据。规模大本身也要从两个维度来衡量，一是从时间序列累积大量的数据，二是在深度上更加细化的数据。
大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利为关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。
从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘，但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。
大数据收集，通过分析，有力抓取关联信息，实现智能化业态
例一：一位顾客订购披萨时，披萨店可以立即调出这位顾客的许多信息，比如送披萨上门必有的家庭、单位等地址和电话，顾客的消费习惯从而推荐适合他的披萨种类，顾客名下的银行卡透支情况从而确定他的支付方式，甚至顾客要自取披萨时，还能根据顾客名下车辆的停放位置预估他的到店时间等等。从这个故事，我们可以看出大数据的一些关键特征，比如容量大、类型多、关联性强、有价值等等。
工信部信息化和软件服务业司副司长李冠宇：“大数据是以高容量、多样性、存取速度快、应用价值高为主要特征的数据集合，正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。”
例二：没有运用大数据平台之前，贵阳有7600多辆出租车，高峰期十辆出租车也难见一辆空车。伴随拥堵而来的，还有乘客对出租车司机服务态度的不满。
后来，贵阳市政府把大数据平台建立起来，融合了三组数据，第一组是车牌和公司的数据;第二组是出租车的北斗卫星定位数据;第三组是执法大队人员的基本信息。有一辆当地的出租车在5月14号运行了18个小时，在后台比对数据里面只有一名从业人员上岗，任何一名驾驶员不可能连续运行18或者是20多个小时。这组数据就被视为异常行为和异常数据，推送给大队专管员。
大队专管员会在手机上接到这组信息，按照要求，他要在规定时间内进行调查处理，并且将处理情况传送到数据平台。如果超期不办理，数据平台就会发出预警,并且逐级推送。最后推送到主要领导手中，进行倒查问责。所有的推送不是人来完成的，是由数据和数据之间进行自动推送。
这样准确定位，层层监管，治理问题也就迎刃而解了。贵阳市把这样的数据平台称为数据铁笼，目前全市有40个政府部门建起了这样的数据铁笼，把权力关进了制度和数据的笼子里。
大数据概念正是来自信息技术的飞速发展和应用，特别是随着云计算、物联网、移动互联网的应用，数据量迅猛增长。数据来源有两种，一种与人有关，比如政府、企业等为人们服务时产生的数据;另一种与物有关，在移动泛在、万物互联时代，物联网应用的浪潮将带动数据量爆发式增长。
应用到电商领域，千人千面的精准广告定位
个性化推荐，把消费者想要的商品，精准地推送给TA，“千人千面”是用户当下能感受到的最直观的大数据应用。电商平台利用大数据和人工智能等技术，收集消费者的浏览习惯、消费记录等数据，并通过数据分析得出较为精准的用户画像，并将其标签化。
据悉，今年天猫双11的个性化就做到了“渗透到毛细血管”，包括猜你喜欢、有好货、店铺、详情、微淘等大幅提升消费者的需求匹配，由人工智能为消费者创建了35亿个以上的独立页面。同样是这个年龄阶段两个年轻人，数据平台通过对你的数据整理分析，搜索推送出的页面的结果可能完全不同。
业内人士认为，以大数据技术为依托的个性化电商是行业的未来，大数据可以真正辅助做到个性化推荐、用户CRM(客户关系管理)深层价值挖掘、流量价值提升、订单成交转化率提升等。
应用到企业生产流程，真正实现大范围的柔性化生产
大数据不仅仅只是在市场营销环境起作用，在产品的企划、研发和运营环节，同样发挥着越来越显著的功效，以当下的数据预判未来的需求和流行趋势。在运营和决策中，产品如何设计、流水线的选择、库存的大小、区域如何选择，都应该有数据依据来支撑。
以ZARA为例，在其门店里，柜台和店内各角落都装有摄影机，店经理随身带着PDA。目的是记录其顾客的每个意见，如顾客对衣服图案的偏好，扣子的大小，拉链的款式之类的微小举动。
收集海量的顾客意见和数据，以此做出生产销售决策，这样的作法能大大降低了存货率。同时，根据这些电话和电脑数据，ZARA分析出相似的“区域流行”，在颜色、版型的生产中，做出最靠近客户需求的市场区隔。
应用到新零售领域，线上线下数据打通销售各环节
零售行业未来的大趋势就是，企业将以实体门店、电子商务、移动互联网为核心，通过融合线上线下，实现商品、会员、交易、营销等数据的共融互通，将向顾客提供跨渠道、无缝化体验。
全渠道模式，线上线下的商品通、会员通、和服务通，实现“三通”的基础就是数据可视化：线上线下同款同价、实库虚库一盘货、任意终端可调拨发货、会员帐号打通、门店导购与线上导购融合一体。
商家把线上线下数据打通，消费者无论通过何种渠道买，都可以享受同等权益和服务。以雅诗兰黛为例，目前正在与天猫尝试让线下BA(beautyadviser，美容顾问)在完成进店客人服务的空闲时段，在天猫旗舰店上通过视频直播对会员在线进行一对一的导购咨询与虚拟试妆。
总而言之，未来30年，数据作为新资源，计算作为新技术，会先后引发新零售、新制造、新营销的变革。通过数据赋能商家，为商家提供数据分析支撑，提升供应链和市场营销效率，推动粗放型生产经营升级为高附加值的、精细化的生产和经营。
应用到游戏领域，敲开游戏创收的大门
随着大数据分析软件出现，快速收集数据和分析数据，应用到竞争差异化优势的最新游戏领域。可以捕获和利用由每月访问其网站的几亿人所产生的海量数据，进而推动公司业务创新并提高向其客户提供引人入胜的游戏体验的能力。
对获得的数据进行快速地大数据分析，意味着开发者可以更快了解用户如何与其应用、网站和游戏进行交互，以及他们对新功能和促销的反应如何，进而让开发团队可以更高效地设计和重新设计其产品。实现无与伦比的高效率、性能和扩展能力，并可以应对以下挑战：1、分析用户行为和社交网络，从而进行有效的游戏开发并盈。2、制定包含基于事件的处理和行为分析的可扩展数据收集解决方案。3、加载海量数据的同时进行并发查询，实现工作流中决策。4、制定可简化分析师和技术人员工作的解决方案，解析无处不在。
应用到城市建设中，构建智慧城市新蓝图
随着城市人口如此快速的增长，几乎城市基础设施的所有方面，也都在承受着显著增长的压力;但让我们欣慰的是，通过发展智慧城市，人们可以更游刃有余地应对这些压力。智慧城市的成功离不开大数据分析领域的创新 ，大数据的应用直接影响着智慧城市不同方面的发展的。
1、通过对流行疾病的数据跟踪分析，增加疾病防控能力相对于分散性居住，当数以百万计的人们聚居在一个比较小的空间时，便会产生很多大的问题，更快地疾病蔓延便是其中之一。由于城市人口越来越密集，使得人们更频繁地接触到细菌和病菌，虽然人们的免疫力因此不断得到提高、更能抵御常见疾病的侵扰，但新型疾病却也存在更大的传播风险和加速的感染率。
科学家们正尝试着利用大数据来实施预测策略，帮助科学家们跟踪人类疾病的传播、找到潜在疾病治愈的方法或者针对疾病的自我保护措施。通过患者的有效数据以及历年汇报的流感爆发数据做与病毒的变异过程做交叉比对。科学家和医生便可以预测病毒如何传播，以及对抗这些病毒的最佳途径;甚至有可能使用预测分析来判断病毒的传播方式，然后采取行动来限制这一传播。
2、交通状况实时监测大数据的应用，有效疏解交通拥堵在二十年的时间里，我国汽车数量有了超过1000%的惊人增长：1990年，只有550万汽车，但到了2010年这一数字增长到了7000万!相对于汽车数量的增长，对应基础设施的建设进展缓慢，这使得部分中国马路成了世界最危险路段之一：在中国， 每100,000人中就会有20.4人死于交通事故。
为了应对交通量的激增，大量的数据在各个智慧城市被搜集并予以分析。鉴于此，我们可能会看到更多的创新型大数据举措在全球各个人口枢纽被使用。在浙江的一个城市，为了应对交通每年60%增长的状况，政府与英特尔合作，安装了1000个数字监控设备，100个智能监测点系统，超过300个检查点的电子警察，和500多个视频监控系统。通过更有效地监测交通和拥堵情况，这座城市得以有效地改善交通流量，减少道路交通事故。
3、城市垃圾监管的大数据应用，减少城市发展的环境问题
智慧城市环境得到保障的重要因素，大数据将在其中扮演了重要的角色。
据了解，我国现在已经生产出整套垃圾处理分类有系统，通过对来自不同地区的卡车进出加工厂时进行称重，能够了解每个地区所产生的垃圾数量。充分利用收集的大数据，帮助当局出台了相应的政策，引导鼓励那些特定的社区更好的垃圾回收和垃圾减量。能够使得当地所产生的垃圾被尽可能多的被再次利用。这一举措减少了垃圾填埋所需的场地，也降低了垃圾破坏环境的可能性。
并且通过对水、土壤和空气进行污染检测，当局可以获得污染随着时间变化的情况，进而在环境问题发生之前及时采取措施，尽量减少未来的环境问题。
4、大数据的收集可以，缓解住房需方与求方的矛盾
毫无疑问，城市，尤其是在住宅已经非常有限的地方，面临的最大问题就是给新居民找到住处。
大数据在这个方面可以发挥巨大的作用：从改进政府保障房的的维修，到空间如何使用等等。背后的想法主要是通过数据来发现设计、建造、布局中存在的潜在问题，进而在建造新的楼宇时优化相关的参数，避免这些问题。住房机构持续不断地收集数据，并进行了各种数据分析。
通过收集这类信息不仅仅对保障性住房有用，一些数据，比如空间的使用，材料的老化等，还会对如何解决更多的住宅项目产生重要的影响，帮助开发商与城市建造既可以最大程度的利用空间，又可以确保人们享有舒适的生活体验的住所。
总之，通过技术和数据科学的应用，人们可以为自己创造一个更美好、更加可持续发展的智慧城市环境。
应用到教育领域，将带动教育往合乎社会变革方向引导
先进的科学技术也必将推动着教育的进步。不同的年代，教育的作用是不一样的。技术的真正作用是解放，从3000年前到2000年前，直至500年前，再至今天，所有教育的变革，跟先进科学技术的进步息息相关。
我们对大数据的理解，还有很大的偏差。比如如何看待分数，如何评价学生，再具体到个人，他是不是好，不是分数就完全衡量的。美国也搞应试，他们也在研究怎么提高SAT成绩，让学生顺利升入大学。但是你会发现一件非常奇妙的事情，中国对大数据的理解要加引号，从我们目前对大数据的定义来说，我们所谓的“大数据”并不是真正的大数据。比如高考，高考成绩580分进清华，579分就进不了;580分以上才能进清华，579分的考生如果进了就是不公平。
美国教育，它是采用大数据思路的。若仔细分析美国高考制度中的SAT成绩，会发现它不完全是我们关注的这些应试的内容，更多看重批判性思维、作文等这些东西。美国的SAT成绩只是数据中的一项，它还要看学生的GPA成绩。
什么是GPA成绩呢?美国会将你从小学到高中的所有成绩都记录在Edline网站，是造不了假的，每一次作业，每一次考试，它都会记录在内。每一个学期有5门课，每门课有几十次作业，最后构成了她的GPA成绩，这就是日常学习的表征。几十次考试的成绩构成了学习档案。若你要想成为一个好学生，你就得一直努力。一系列数字构成了一个数据的证据链，这是GPA的做法。美国通用的做法是4.0分是最高分，很多名校要达到3.8分才能报考，也有的学校要求3.5分以上，但要想达到3.5分以上其实是一件很难的事情。
这两项加在一起还不构成全部，还要看第三项成绩，就是志愿者记录。你要写推荐信，介绍自己参加过哪些志愿者活动、做过什么事情。第四项就是你的特长和领袖气质，比如，你是否是学校的长跑冠军?是否是篮球队长?是否是画画冠军?你干过一件什么样的事情，怎样把大家召集在一起，别人是否会听你的?这些很不简单，想要造假也很难，因为你要积累四年的数据，构成一个指标。他们录取的标准不仅有SAT、GPA、特长，还有爱心，四项加起来，人与人的区别就显现出来了。
随着大量重复的标准化的工作被机器代替，被数据代替，人类面向创新社会的时候，那些原本被我们忽视的个性，那些人和人之间真正不同的技能，才得到关注。比如说每个人都会画丁字尺，我们就会认为这是人和动物的区别，会的才是人;等丁字尺和数学计算被计算机和人工智能代替的时候，你会发现，人和人最大的区别是天分不同，个性不同，而不是会不会画丁字尺这件事。
工业社会的教育，考核数理化，当然是好的。不需要你过多发挥主观能动性，无需你创新。但是现在以及未来，不再需要那样的人，我们更需要的是懂社会、会合作的人。小型化、专业化、个性化将是未来人才培养的主流方向。
所以，随着人类社会从工业化向信息化迈进，全世界都朝着创新社会、信息社会和个性社会发展变化，要根据学生平时的综合因素，因材施教。如果中小学教师还指望把标准化的东西教给学生，对教育来说是非常不利的。
将来的社会由于互联网的发展，学生们可以自由选择自己的朋友圈，限制几乎越来越少。这样，人就会回到自己的本能状态。学习成绩的好坏，在一生中所起到的作用也会非常有限，我们现在要过的高考独木桥，也许就没有那么重要了。
因此，在大数据背景下，知识教学不再只能在学校进行。“教育即生长”，在这样一个大数据的时代，应该把关注人的生长提升到重要的地位。今后，学习是人一生的行为，教育最重要的，是“学校即生活”，是培养学生适应将来社会的能力。
总之，这个时代，大数据正在成为一种重要的新能源，驱动着全产业链的变革和升级。一方面，信息终端大面积普及，信息源大量增加;另一方面，基于云计算的互联网信息平台快速增长，数据向平台大规模集中。
大数据与云计算、物联网、人工智能等新一代信息技术之间相互影响、相互促进、相互融合。云计算是大数据的基础，有了云计算才能大量集中数据从而产生大数据。同时，大数据也支撑了云计算应用创新，带动云计算发展。
而人工智能的核心则依赖于大数据支撑。围棋人工智能程序“阿尔法狗”打败柯洁，离不开大数据的支持。“大数据技术能够通过数据采集、分析等方式，从海量数据中快速获得有价值的信息，为深度学习等人工智能算法提供坚实的素材基础。反过来，人工智能技术也促进了大数据技术的进步。两者相辅相成，任何一方技术的突破都会促进另外一方的发展。
如今的年代，已经完全不是此前单纯的数字媒体化只是简单地把商品在互联网渠道上做曝光和展示的年代。在大数据和云计算的作用下，一些商业巨头已经用大数据驱动市场营销、驱动成本控制、驱动产品和服务创新、驱动管理和决策创新。
可以说，大数据将成为一种重要的商业资本，创造新的经济利益和商业模式。谁拥有了先进的大数据云计算的科学技术及人才，谁就将缔造自己的大数据王国。
|
|
