电商大数据的发展、现状与未来展望

　　【摘 要】随着全球数据量呈指数型增长，“大数据”这一概念被提出，并逐渐成为突破电商行业发展瓶颈的解决方案。本文从技术和应用两方面出发，通过调研、分析资料等方法，介绍了电商大数据的发展与现状，并对未来大数据的发展与应用方向进行了展望。当前电商大数据可用于精准营销、供应链、物流仓储、支付安全及电商金融等领域；未来，电商大数据将会和人工智能、VR/AR 紧密结合，促进传统行业数据化，也会更加注重数据安全与个人隐私。本文对电商企业在大数据时代的发展具有指导意义，指明了未来电商大数据的发展方向，可以帮助企业充分利用大数据的价值。

　　【关键词】电商；大数据；云计算；用户画像；人工智能

　　1 引 言

　　近些年，随着各行业各领域产生的数据量激增，同时计算 机性能提升、云计算和物联网成型，“大数据”这一概念逐渐被 人们所认识。 大数据（Bigdata），指无法用常规方法处理、无法 快速处理的结构复杂的海量数据集合。 大数据具有 4V 性，即 Volume（数据量大）、Velocity（数据处理速度快）、Variety（数据 多样性）和 Value（数据价值密度低）[1]。这一概念对数据分析处 理，企业决策等方面具有巨大意义。

　　2 大数据技术分析

　　2.1 大数据的产生

　　近年来，随着计算机和信息技术的迅猛发展和普及应用， 行业应用系统的规模迅速扩大， 行业应用所产生的数据呈爆 炸性增长。 如百度目前的总数据量已超过 1000PB，每天需要 处理的网页数据达到 10～100PB；淘宝累计的交易数据量高达 100PB；Twitter 每天发布超过 2 亿条消息， 新浪微博每天发帖 量达到 8000 万条；中国移动一个省的电话通联记录数据每月 可达 0.5～1PB；一个省会城市公安局道路车辆监控数据三年可 达 200 亿条、总量 120TB[3]。 据世界权威 IT 信息咨询分析公司 IDC 研 究 报 告 预 测： 全球数据总量预计 2020 年 达 到 44 个 ZB，在过去 10 年间数据量年均增长 40%。 传统的计算技术和信息系统的处理能力在数百 TB 乃至 PB 规模的大数据面前存在瓶颈，因 此，寻求有效的大数据处 理技术、方法和手段已经成为现实世界的迫切需求。 2.2 底层通用解决方案 面对大量的数据， 需要强大的储存能力和计算能力对数 据进行存储、 分析与处理使之发挥价值。 但摩尔定律逐渐失 效，机器性能提升受限于物理规律，对单台机器性能的提升所 需成本不再呈线性比例增长。 此时需要一个全新的解决方案提升大量的储存能力和算力。 如今的数据计算格局由从前的 “数据围绕处理能力”转变为现如今的“处理能力围绕数据”。 数据的处理思维由“大象搬木头”（少量强核处理复杂任务）转 变为“蚂蚁搬大米”（大量弱核处理简单任务）[4]。

　　3 电商大数据发展分析

　　3.1 发展历程

　　电商大数据的发展以数据量、数据结构变化为基础，以数 据处理技术发展为线索，以数据利用方式变化为重点。 从数据 量来看，电商数据量呈指数型增长；从数据结构来看，结构趋 于复杂，由起初的仅有交易数据、商品数据逐渐增加到综合用 户数据、供应链数据等；从数据处理技术来看，由搭建 传统数 据库与存储中心到利用大数据处理逻辑搭建 Hadoop 集群再 到自研技术进行定制化处理和产品化变现； 从数据利用方式 来看，经历了存、通、用三个阶段，将数据资产化、业务化、生态 化是基本的利用方式， 而建立起数据生态意味着将会带来巨 大流量从而继续产生大量数据， 这之间的正循环被阿里巴巴 首席参谋长曾鸣称为“数据黑洞”。 笔者认为，电商大数据的发 展历程本质上就是数据产生与利用之间的正循环的搭建和扩 大历程。

　　3.2 电商大数据当前应用分析

　　（1）精准营销 精准营销主要依靠用户画像。 电商平台可以通过文本挖 掘、 机器学习等算法将用户数据处理来对用户行为进行建模 从而得到由购物偏好、能力以及习惯等属性组成用户画像。 精 准营销包括商品推荐、潜在需求测算和定制化等方面。 以阿里巴巴旗下产品为例，依靠用户账号的画像，在淘宝 浏览过的商品会被推荐在天猫、闲鱼、聚划算等平台上；而淘 宝客户端主页内容也因画像而异。 用户的潜在需求测算可以 通过用户、商品间的相似画像实现：如 用 户 A 与 用 户 B 因 具 有相似的购买偏好而被判定为相似画像， 从未购买过物品 a 的用户 A 会因用户 B 的购买而收到推荐。 定制化目前以服装 此类制造成本低、可快速改进迭代的产业为主，阿里妈妈（阿 里巴巴旗下自营商赋能平台） 为平台上服装自营商提供用户 评价数据以改善服装设计，使之符合用户需求实现定制化。

　　（2）供应链及物流仓储 就供应链而言， 供应链管理是一种集成的管理思想和方 法，是指企业通过改善上、下游供应关系，整合和优化供应链 中的信息流、物流、资金流，以获得竞争优势。 电商智能供应链 系统依托大数据平台基础， 应用人工智能的深度学习算法驱 动，具体包括销量预测与自动补货系统、库存健康系统、采购 管理平台、供应商协同平台等智能系统，覆盖零售平 台，从选 品、采购、补货、定价、结算各个供应链环节，为业务提供全供 应链的智能解决方案，为库存周转负责。 其中京东的“京东罗 盘-供应商版”将京东平台上的数据开放给自营供应商，强化 了供应商协同，此举增强了京东自营平台的影响力，有利于更 多自营商入驻京东为之提供更多数据， 与亚马逊的 “飞轮效 应”相似。

　　4 未来发展展望

　　4.1 技术展望

　　正如马云称“现在是 DT（Data Technology）时 代”，大 数 据 技术未来发展前景广阔。 已完成数据化的领域如电子商务会随着用户数量、服务规模的扩大继续保持增长；而还未完成数 据化部分领域的如农业、 工业为了提高生产力和生产效率也 需要进行数据化， 将生产过程中产生的数据采集、 存储并应 用，也为大数据技术提供了广阔的应用空间。 数据的增长是不 间断的、指数型的，因此与之匹配的技术也需要不断发展。

　　4.2 人工智能、虚拟现实和增强现实

　　当今科技的首要趋势非人工智能莫属， 现阶段的人工智 能发展主要以机器学习、深度学习为主，在训练人工智能的过 程中需要大量的数据作为基础资源， 而人工智能发展过程中 也会产生大量的数据，未来人工智能也能够用于处理大数据， 由此可见大数据与人工智能关系密切。 就机器学习而言，人工 智能的一个趋势是由细分到综合，其影响范围会逐渐扩大，此 时就需要海量并且广泛的数据。 在大数据采集效率低的问题 上，大数据领域的人工智能可以处理这些重复性高、不间断的 工作，大幅提高效率；而在数据应用方面，人工智能也可以根 据数据自动得出结论指导生产， 如自动根据路况数据调整自 动驾驶汽车的行进路线等。 总而言之，大数据为人工智能提供 了迭代升级的基础资源， 而人工智能又能高效挖掘处理大数 据，两者之间形成闭环，在未来具有强大的发展动力。

　　5 结 论

　　本文从技术层和应用层两方面出发， 指出了电商大数据 的应用历程并对未来发展作出了展望。 电商平台形成了以 Hadoop 生态圈为基础的底层技术解决方案，对其进行了广泛 应用和自主改进，并根据其技术逻辑进行了自主研发。 大数据 目前可以用于精准营销、供应链管理、物流仓储的改进以及支 付安全和电商金融等方面。 随着电商数据量的持续增长，在未 来电商大数据技术也会不断发展，并逐步扩展到到人工智能、 VR 与 AR，为电商和大数据的发展提供动力；同时也会对线下 传统行业进行数据化改造， 将生产过程中产生的数据加以采 集、处理、利用，通过接入电商平台形成企业用户闭环；信息与 个人隐私的安全也将进一步得到保障。 未来大数据将会拥有 更广阔的发展前景，应用领域广泛并保持持续增长；随着大数 据的不断渗透，也将不断对生产与社会生活产生积极、深远的 影响。

　　参考文献

　　[1]SCHOENBERG V，CUKIER K.Bigdata：arevolution that will transform how we live，work，andthink[M].John Murray Publishers Ltd，2013：174~180.

　　[2]搜狐.程序员发布：一张图读懂支撑阿里双十一 1682 亿的技术架构 体系[EB/OL].

　　[3]黄宜华，苗凯翔.深入理解大数据：大数据处理与编程实践[M].北京： 机械工业出版社，2014.

　　[4]彭 宇，庞景月，刘大同，等.大数据：内涵、技术体系与展望[J].电子测量与仪器学报，2015，29（04）：469~482.

　　作者： 杨一凡