有人说大数据是「石油」是「黄金」,涂子沛说大数据是「土壤」,而马云说大数据是「生产资料」,我觉得他们说得都对,但是也都不对。
因为大数据就是「大数据」。
当大数据应用在不同的领域和不同的场景下,所产生的意义及其所代表的意义也都不一样,你没有办法用一句话完全概况。大数据是互联网时代不可或缺的产物,不管你愿不愿意,大数据就在那里,你我都是大数据的制造者同时也是受惠者,这个生态圈的闭环已经形成,而且还在不断的延伸到各行各业,为不同的行业创造着更新、更大的价值。
2015年9月,我曾经写过一篇名叫《一文了解大数据领域创业的机会与方向》的文章,该文章首发钛媒体,后来得到了金融界、网易财经、新芽NewSeed、新浪科技等多家知名媒体的转载,直至今日,在知乎、微信公众平台和微博上,仍然还有很多朋友不停的点赞和转发。在这篇文章里,我曾经把大数据的商业模式划分为广告/营销、数据交易、工具与数据服务、数据报告和解决方案以及跨界融合五大项,这个论述当时也得到了大数据行业人员的认可和支持。
同样在那篇文章里,我提出了一个自己的观点,我说大数据不像电子商务、网游那样有着「直接明确」的商业变现模式,今天我仍然保持这个观点。没有直接的变现商业模式不代表没有商业模式。人类对科技新兴产业以及新兴技术的探索是永无止境的。
两年的时间弹指一过,在这两年间,中国诞生了大大小小超过400家的大数据新创公司,大数据的应用更是拓展到了我们生活、工作和学习的方方面面,更多的大数据商业变现模式也在逐渐的被发现和应用,部分大数据公司已经可以扭亏为盈,甚至可以实现盈利。
现在问题来了,大数据的商业模式到底是什么?如何利用大数据学习呢?今天我就分享一下我所了解到大数据商业模式以及优势。
首先展示一个常见的大数据平台架构
图1:量化派基于Hadoop、Spark、Storm的大数据风控架构
这是一个典型的大数据架构,且对架构进行了「分层」,分为「数据源层」、「数据传输层」、「数据存储层」、「编程模型层」和「数据分析层」,如果继续往上走的话,还有「数据可视化层」和「数据应用层」。
图2 极星大数据分析平台架构
整套架构体系里,在每个不同的层级,都分别用了不同的技术和软件,比如Kafka、Sqoop、Storm、Spark、SQL、HDFS等等。关于大数据架构的设计和各个大数据技术的作用,在此不做一一细表。想进一步了解的小伙伴可以到36大数据网站上去看。
为什么要把大数据的架构一开始就抛出来呢?很简单,大数据所有商业变现模式,都是围绕这大数据架构展开的,不同的企事业单位、应用场景的不同,那么大数据架构也有所不同。大数据架构图也是大数据产业链的核心。美国投资公司FirstMark Capital的Matt Turck每年都会更新北美的大数据产业链版图,依据也是以大数据架构平台为基础的。投资人在投大数据项目的时候,也会让创业者在这个图谱上指出自己公司所对应的层级,层级既代表了行业地位,也代表了商业模式。
我们完全可以这么认为:整个大数据架构图谱上,每一块都是机会,每一块都能产生商业价值。所以这篇文章里,我们将从大数据架构的角度,去说说大数据的商业变现模式。
基础设施,输出技术能力获取商业价值
搭建一个大数据平台、搭建政务云平台都是基础设施典型的应用。把大数据当作基础设施来建设,费用主要产生在“建设”和“维护”上。建设方面又可以分为整体建设和部分建设,这一部分的商业价值在于输出技术能力,由于输出技术的多少不同,收取的费用也不同。做这一块的公司很多,比如说百分点、阿里数加、亚信数据等等。
甲乙双方的合作方式可以按照年签、可以按照项目来签订,具体的金额都是上百万的。随着甲方数据业务的不断增加,大数据基础设施也需要扩容和维修,这个时候就会产生新的费用。我们可以把基础设施当作把“大数据技术”进行打包卖,而基础设施往往都是定制化的,不同的单位和公司都不同。
大数据处理技术、商业化大数据技术
前面我们说过,大数据架构是一个整体,而每一个层级上都会用到不同的软件或者技术。当技术应用到商业活动上,技术和软件都是需要商业化才能支撑下去的。虽然大数据的众多技术(例如Hadoop、Spark)都有开源版本,但是开源版本在实际业务中也有很多局限和安全因素,于是出现了将Hadoop商业化的公司,比如Hadoop的三驾马车公司Cloudera、Hortonworks、MapR。这3家美国大数据公司都通过将Hadoop商业化找到了新的商业模式,从而获得了巨大的商业价值。其中,Cloudera、Hortonworks已经在纽交所挂牌上市。在中国,做Hadoop商业化做得比较好的公司是星环科技。使用Hadoop商业化版本的好处在于,Hadoop开源的是个通用的版本,而Hadoop商业化版本会增加更多的套件,而且在更新维护方面也有专人负责,安全性能也会更高一些。
除了将Hadoop商业化,在大数据架构上所有用到的技术和软件也都是分别有不同的商业公司在做的。比如上海的Kyligence公司,他们所提供基于Apache Kylin的企业级智能分析平台及产品。Kylin处于大数据架构的分析层,也可以和其他技术组合成新的商业化大数据平台。
数据库、数据可视化产品等大数据架构里的技术,目前也都纷纷实现了商业化。典型的企业有巨杉数据库 SequoiaDB、Tableau、Oracle、MongoDB等。
数据源增值、数据源整合和数据API
数据源层也产生众多的商业模式,比如说数据增值。数据增值的模式是什么呢?
数据源增值是一种合作授权然后分成模式。这种模式在通信运营商用得比较多。一句话介绍就是你手里有多少数据,我拿来这些数据去做个什么市场活动,产生了商业费用咱两分成就是了。
数据源整合这一块,我比较了解的是因特睿软件和博为软件。他们可以帮助阅批、企事业单位来打通“数据孤岛”,自己扮演的是一个“管道”的角色,让数据流动起来,整个过程中是以第三方的身份参与的,只是帮助甲方解决数据整合流通的问题。这个合作模式大多数是亦“项目制”进行的。
数据源这一块还有一个数据爬取和数据采集的模式。无论数据爬取还是数据采集,商业模式都在于“工具”。比如八爪鱼就是一款数据爬取的工具,你可以免费使用一些功能,但是也有部分收费的功能。
数据API就比较有意思了,这里的商业模式有点像我们日常生活中的“水”和“电”,你通过API调取了多少数据,就付多少的费用。当然,前提是这些数据是合法及安全的。目前网上也有很多免费的数据API供开发者调用,聚合数据主要做的就是数据API。
随着国家《网络安全法》的实施,买卖个人信息属侵权,贩卖50条可入罪,网络运营者不得泄露其收集的个人信息;中介买卖交换个人信息也算侵权;提供个人信息违法所得5000米以上可入刑。
那么大数据交易所交易的又是什么呢?其实他们的业务里,大部分商业模式属于数据增值模式,也有数据标注、数据源整合和数据API模式。单纯的数据源是不能够交易的,这里的交易只是一种说法。
咨询类型的商业模式,数据调研及数据报告
这一类的公司其实在大数据时代之前就存在了。比如麦肯锡、波士顿咨询、易观和艾瑞。他们的最终输出的商业价值是数据报告。数据报告的价值在于其分析的结果具有总结性和前瞻性。数据报告的合作方式,一种是委托式调研出报告,一种是行业研究定期出报告,需要看到详细报告的企业,需要付费来获取。