标签: 大数据
大数据-维度建模-业务限定与修饰词
个人理解
常规来说- 一个业务限定对应一张新的DWS表
如果加了修饰词,说明虽然业务过程里有多个业务过程
首先是划定数据域,确定有哪些域,根据分析指标的主题……
大数据-Kafka-数据录制到本地文件
数据录制
即将kafak内数据录制一部分到文件中供查看
POM文件
<dependencies>
<dependency>
<groupId>org.apache.kafka</gro……
大数据-Kafka-Kafka相关参数配置
1.broker相关配置
broker.id
broker在kafka集群中的唯一标识,必须是一个大于等于0的整数,如果不写的话默认从1001开始。
建议:把它设置成与机器名具有相关……
大数据-Kafka-Kafka保证消息顺序
Producer 端
Kafka 的发送端发送消息,如果是默认参数什么都不设置,则消息如果在网络没有抖动的时候,可以一批批的按消息发送的顺序被发送到 Kafka 服务器端……
大数据-Hadoop-MapReduce-Join流程
MapReduce 计算流程
对于MapReduce的Group by - count流程大家都比较熟悉,Map阶段分组,Reduce阶段排序,但是Join操作时具体怎么样的流程我们知道的相对较少……
大数据-Hive-自定义UDF-数据类型映射
什么是数据类型映射
在设计时Java与Hive考虑不同,出现Hive与Java的数据类型不一致的现象。在开发Hive UDF时,需要显式地定义Java数据类型,例如String 、Int……
大数据-Hive-SQL语法优化-谓词下推
什么是谓词
首先我们要了解什么是谓词。
谓词,用来描述或判定客体性质、特征或者客体之间关系的词项。根据《现代汉语》的定义汉语的谓词包括动词和形容词。
……