分类: 大数据
大数据-Hadoop-无法启动JobHistoryServer异常
异常原因:创建HDFS文件夹权限不够。
解决方法:
方法一:sudo -u hdfs hdfs dfs -chmod -R 777 /
方法二:chmod -R 777 /dfs
方法三:hdfs dfs -chmod 777 /u……
大数据-维度建模-业务限定与修饰词
个人理解
常规来说- 一个业务限定对应一张新的DWS表
如果加了修饰词,说明虽然业务过程里有多个业务过程
首先是划定数据域,确定有哪些域,根据分析指标的主题……
大数据-维度建模-数据域划分
目的
在数据仓库的建设过程中,当我们确定了数仓的层级后,接踵而来的就是设定数据模型的分类,也就是数据域。
数据域
数据域的设定能够帮助我们管理数据模型……
大数据-Kafka-常用命令
启动服务
前台启动
bin/kafka-server-start.sh config/server.properties
后台启动
bin/kafka-server-start.sh -daemon config/server.properties
停止服……
大数据-Kafka-数据录制到本地文件
数据录制
即将kafak内数据录制一部分到文件中供查看
POM文件
<dependencies>
<dependency>
<groupId>org.apache.kafka</gro……
大数据-Kafka-Kafka相关参数配置
1.broker相关配置
broker.id
broker在kafka集群中的唯一标识,必须是一个大于等于0的整数,如果不写的话默认从1001开始。
建议:把它设置成与机器名具有相关……
大数据-Kafka-Kafka保证消息顺序
Producer 端
Kafka 的发送端发送消息,如果是默认参数什么都不设置,则消息如果在网络没有抖动的时候,可以一批批的按消息发送的顺序被发送到 Kafka 服务器端……
大数据-Hadoop-MapReduce-Join流程
MapReduce 计算流程
对于MapReduce的Group by - count流程大家都比较熟悉,Map阶段分组,Reduce阶段排序,但是Join操作时具体怎么样的流程我们知道的相对较少……
大数据-Hive-自定义UDF-数据类型映射
什么是数据类型映射
在设计时Java与Hive考虑不同,出现Hive与Java的数据类型不一致的现象。在开发Hive UDF时,需要显式地定义Java数据类型,例如String 、Int……
大数据-Hive-SQL语法优化-谓词下推
什么是谓词
首先我们要了解什么是谓词。
谓词,用来描述或判定客体性质、特征或者客体之间关系的词项。根据《现代汉语》的定义汉语的谓词包括动词和形容词。
……