Extra Cookies

上篇从数据技术的角度谈了自己对大数据变现的一些思考，这篇继续，从企业的数据资产角度入手，谈谈变现的方式。¹

数据资产变现是指企业通过自身拥有的数据进行的商业化变现。我始终认为数据已经是新的生产力，企业应该把最大的资源、最全的数据，首先用于自身，让数据驱动业务发展。接下来才是去想如何做商业化变现，不能本末倒置，当然，核心业务就是数据变现的企业另说。

年初（2018）接受 DTalk 社区访谈 ，对“大多数企业怎样把大数据落地变现？”这个问题，我当时是这么回答的：

我理解的大数据落地变现有两大模式，一种是基于大数据技术，另一种是基于已有的数据资产。大体有如下几种方式：

1. 输出平台型技术能力，通过给企业建设大数据平台来变现；
2. 输出大数据处理技术和应用产品，比如把企业内部的BI、应用/用户分析、营销监测、数仓应用等产品进行商业化输出或者通过数据建模咨询和实施来变现。
3. 基于数据的闭环服务变现，如营销方向的广告精准推送、金融领域的风控服务等。
4. 咨询类的数据报告，针对不同领域提供对客户有价值的分析及数据报告等。
5. 数据交易。

最近要参加一个关于数据埋点和分析的线上讨论，这两天总结了对一些问题的思考。

为什么企业需要一套完善的用户行为埋点和分析平台？

最近在看 Stonebraker 的 “Readings in Database Systems”, 发觉开拓了很多思路。

这么多年自己一直在从事大数据方面的工作，但除了翻过数据挖掘算法和分布式系统设计方面的论文外，完全没想过去翻翻数据库相关的论文看。现在想想，其实大数据和数据库两者很多需求和场景是一致的，要解决的问题，没准学术界很多年前就已经有方案了。

We have a legacy system, which is a web service, receives HTTP POST from clients, parses the data, then stores them in a file.

The function of the system is simple, and people already done functional and performance test, it's stable. As time drifted away, the system was copy and paste to some projects by only changing the data parsing logic.

Long long ago, I wrote a post about how to do TDD using Objective-C, since Apple WWDC 2014, Swift is really eye-catching, I think I should write a new one to follow the trend.

XCTest is used as the unit test framework, and Xcode 6 is needed.

-- Taken on April 12, 2014 (flickr)

In last blog post, The job Client has been created and initialized.

This post will discuss on how does Client do to deploy the job to hadoop cluster.

In last blog post, a hadoop distribution is built to run a YARN job.

1
2
3
4

$ bin/hadoop jar share/hadoop/yarn/hadoop-yarn-applications-distributedshell-2.2.0.jar \
    org.apache.hadoop.yarn.applications.distributedshell.Client -jar \
    share/hadoop/yarn/hadoop-yarn-applications-distributedshell-2.2.0.jar \
    -shell_command 'date' -shell_args "-u" -num_containers 2

The Old MapReduce

The Hadoop 0.x MapReduce system composed of JobTracker and TaskTrackers.