8Jo

最近做了一个Case，完成线索体系结构调整&优化，帮助业务产品明确线索业务该如何承接，抽象了公司的统一线索服务。做一个简单的分享如下：

业务初期，为了更快的适应业务发展，大家是这么做的。

业务中期，接入的平台/类型越来越多，我们是这么干的···

业务稳定期，统一线索服务抽象业务模型

写在前面

1.对于数据产品经理而言，熟悉Hadoop生态-Hue是一门必备的学科。通过hue，我们可以完成自主/有效的进行分析以及定时任务观察数据的变化。

2.公司数据量级达到一定规模后，大多使用数据仓库。这其中可能用到Hadoop生态的Web管理界面Hue。通过Hue，我们可以执行Mapreduce的任务，或者通过Hql进行数据分析。

由于Hue功能的强大型，本篇文档主要介绍Hue的定时任务部署-Oozie

前期准备

1.Hue安装/部署成功；

2.编写基于Shell的脚本；

部署流程

1.Oozie-workflow编辑器创建任务：

背景：

商家使用POS机要缴纳一定的费用，不同行业区别很大。比如说“洗浴、按摩”的费率是1.25%，“百货商店”是0.78%；这个差异比较可观。一个商家如果每天有10万元流水，费率相差0.5%，一年差额就接近20万元。所以商家通过各种手段，将pos的mcc码认证为低费率的行业。

可以充分利用数据分析的方法根据行业行为来判断非法套用。

方法：

1、 统计每一个POS机每天的平均收入，就可以发现套用“报亭”的“洗浴、按摩”中心，因为一个报亭每天的POS机收款额远低于“洗浴、按摩”中心的收入。商家对应策略：选择一些费率比较低、但是营业额类似的行业，每天的平均刷卡额度很接近；

2、 观......

什么是元数据？

通俗的来说，图书馆的每本书的内容都是源数据，而找到每本书的索引就是元数据。它能帮人们更好的理解数据，发现和描述数据的来龙去脉。

按照传统的定义，元数据（Metadata）是关于数据的数据，它是描述数据仓库内数据的结构和建立方法的数据。按照用途可以分为：技术元数据（Technical Metadata）&业务元数据（Business Metadata）。

对于技术元数据：

技术元数据是存储关于数据仓库系统技术细节的数据，是用于开发和管理数据仓库使......

2016年5月1日：咖喱土豆牛肉饭

2016年4月30日 小龙虾