业务线索体系结构梳理

最近做了一个Case,完成线索体系结构调整&优化,帮助业务产品明确线索业务该如何承接,抽象了公司的统一线索服务。做一个简单的分享如下:

业务初期,为了更快的适应业务发展,大家是这么做的。

业务中期,接入的平台/类型越来越多,我们是这么干的···

业务稳定期,统一线索服务抽象业务模型

Hive-Hue部署定时任务

写在前面

1.对于数据产品经理而言,熟悉Hadoop生态-Hue是一门必备的学科。通过hue,我们可以完成自主/有效的进行分析以及定时任务观察数据的变化。

2.公司数据量级达到一定规模后,大多使用数据仓库。这其中可能用到Hadoop生态的Web管理界面Hue。通过Hue,我们可以执行Mapreduce的任务,或者通过Hql进行数据分析。

由于Hue功能的强大型,本篇文档主要介绍Hue的定时任务部署-Oozie

前期准备

1.Hue安装/部署成功;

2.编写基于Shell的脚本;

部署流程

1.Oozie-workflow编辑器创建任务:

风控案例1:找到非法MCC套用

背景:

商家使用POS机要缴纳一定的费用,不同行业区别很大。比如说“洗浴、按摩”的费率是1.25%,“百货商店”是0.78%;这个差异比较可观。一个商家如果每天有10万元流水,费率相差0.5%,一年差额就接近20万元。所以商家通过各种手段,将pos的mcc码认证为低费率的行业。

可以充分利用数据分析的方法根据行业行为来判断非法套用。

方法:

1、 统计每一个POS机每天的平均收入,就可以发现套用“报亭”的“洗浴、按摩”中心,因为一个报亭每天的POS机收款额远低于“洗浴、按摩”中心的收入。商家对应策略:选择一些费率比较低、但是营业额类似的行业,每天的平均刷卡额度很接近;

2、 观......

元数据管理

什么是元数据?

通俗的来说,图书馆的每本书的内容都是源数据,而找到每本书的索引就是元数据。它能帮人们更好的理解数据,发现和描述数据的来龙去脉。

按照传统的定义,元数据(Metadata)是关于数据的数据,它是描述数据仓库内数据的结构和建立方法的数据。按照用途可以分为:技术元数据(Technical Metadata)&业务元数据(Business Metadata)。

对于技术元数据:

技术元数据是存储关于数据仓库系统技术细节的数据,是用于开发和管理数据仓库使......

[小八下厨房菜单]小龙虾&咖喱土豆牛肉饭

2016年5月1日:咖喱土豆牛肉饭

Image

2016年4月30日 小龙虾

Image