Welcome to meizhangzheng's blog
it-
Spark集群
Spark集群
Spark 基于scala语言来开发程序，需要安装scala环境。
Scala安装配置 2020.04.26
1. 下载Scala
1.1 下载到根目录：/home/meizhangzheng sudo wget https://downloads.lightbend.com/scala/2.13.0/scala-2.13.0.tgz2. 解压文件
- 注意：-C 相对路径是需要，如果是全路径则可以省略
- 不要乱用sudo
tar -zxvf /home/meizhangzheng/scala-2.13.0.tgz -C /home/meizhangzheng/data/2.1.1 配置环境变量 vi .bash_profile
export SCALA_HOME=/home/meizhangzheng/data/scala-2.13.0 export PATH=$SCALA_HOME/bin:$PATH source .bash_profile2.1.2 验证安装
scala -version2.1.3 复制scala安装包和.bash_profile
scp -r ./data/scala-2.13.0 meizhangzheng@slave1:~/data/ scp -r ./data/scala-2.13.0 meizhangzheng@slave2:~/data/ [meizhangzheng@master ~]$ sudo scp -r .bash_profile meizhangzheng@slave2:~/ [meizhangzheng@master ~]$ sudo scp -r .bash_profile meizhangzheng@slave1:~/注：
< 1. 在slave1 、slave2 目录下需要 执行 source .bash_profile 使文件生效。 < 2. 连接的是root用户，切换到meizhangzheng用户： su meizhangzheng
-
数据中台
数据中台
1.什么是数据中台
- 数据中台是一套可持续“让企业的数据用起来”的机制，是一种战略选择和组织形式，是依据企业特有的业务模式和组织架构，通过有形的产品和实施方法论支撑，构建的一套持续不断把数据变成资产并服务于业务的机制。
”通过这套机制融合新老模式，整合分散在各个孤岛上的数据，快速形成数据服务能力，为企业经营决策、精细化运营提供支撑，这套机制就是数据中台“。
2.数据中台有什么作用
- 提效（避免重复开发）
- 资产变现（让数据用起来）
3.什么样的企业适合建设数据中台
- 企业最好有一定的信息化基础，沉淀了数据，实现了业务数据化过程；
- 企业业务复杂，有丰富的数据维度和多个业务场景，特别是多业态型集团企业；
- 企业有数字化转型、精细化经营的需求。
4.涉及内容、当前阶段
…
5.不足
- 缺乏创造力
- 过度设计（阿里中台 -> 拆中台）
参考资料
- 《数据中台-让数据用起来》
-
开放平台
开放平台
场景
组成
数据采集
基于数据中台规划，线上、线下采集； 线下采集：动态配置模板，通过excel导入数据 ; [jdbc -> load] 线上采集：ETL调度、线上接口采集 --> xxl-job调度、新仓调度（T+1) [jsch工具]数仓
采集库-> ODS -> DWD ->DWS ->DM -> ADS (Hive、MySQL) 维度层放与DWD层元数据管理
DB连接信息维护； 库表、索引 维护... 核心组件：SpringBoot、JDBC、presto、Apollo网关服务
权限校验、动态路由配置、限流、日志 ... 核心组件： SpringCloud GateWay、Redis、Sentinel、Apollo开放服务管理
配置对外提供服务、使用情况 ...开放服务
对外提供服务能力其它服务平台
华为云、袋鼠云、数栖 ...参考资料
-
ETL之Kettle命令
ETL
项目demo：https://gitee.com/xushj/etl-demo.git
1. Kettle JOB
#!/bin/bash # j_kettle_run.sh # 运行示例： 注意路径 /opt/data_warehouse/file/ads/j_kettle_run.sh /opt/data_warehouse/file/ads/ j_kettle_ads_wlh_premises_data_crm_log 2021-07-20 # desc：根据传入的job名称、tran路径以及跑数日期 # author:admin # dev_date：2021-07-22 # note :注意变量 与脚本中的路径并相应调整 source ~/.bash_profile cd "$KETTLE_HOME" tran_name=${2} tran_dir=${1} param_date=${3//-/} param_date2=${3} data_level=ads #判断Log_dir 是否存在,不存在则创建目录 function checkmkdir() { if [ ! -d "${log_dir}" ]; then mkdir -p ${log_dir} if [ $? -eq 0 ];then echo "create dir ${log_dir} success" else echo "create dir ${log_dir} fail" exit 1 fi else echo "log dir is ${log_dir}" fi } #判断日期格式是否正确 function checkdate() { year=${param_date:0:4} month=${param_date:4:2} day=${param_date:6:2} if [ ${#param_date} -ne 8 ]; then echo "Usage: bash $0 yyyymmdd format" exit 2 fi if echo $day|grep -q '^0' then day=`echo $day |sed 's/^0//'` fi if cal $month $year >/dev/null 2>/dev/null then daym=`cal $month $year|egrep -v "$year|Su"|grep -w "$day"` if [ "$daym" != "" ] then log_dir=/opt/data_warehouse/log/${param_date}/${data_level} log_name=${tran_name}_${param_date}.log echo ok checkmkdir else echo "Error: Please input a right date." exit 2 fi else echo "Error: Please input a right date." exit 3 fi } # 执行kettle 转换,根据传入的tran名称、tran路径以及跑数日期 function execjob() { echo “running the ${tran_name}” ./kitchen.sh -file=${tran_dir}${tran_name}.kjb -level:Detailed -param:DATA_DATE1=${param_date} -param:DATA_DATE2=${param_date2} >>${log_dir}/${log_name} 2>&1 if [ $? -eq 0 ];then echo "the job run sucess....see the log info ${log_dir}/${tran_name}_${param_date}.log" else echo " the job run fail,check the log info ${log_dir}/${tran_name}_${param_date}.log" exit 3 fi } #主函数 function main() { checkdate ${tran_name} ${tran_dir} ${param_date} execjob ${tran_name} ${tran_dir} ${param_date} } main ${tran_name} ${tran_dir} ${param_date}
-
ETL之Kettle
一. ETL
Extract-Transform-Load: 抽取->转换->加载 抽取(Extract)：一般抽取过程需要连接到不同的数据源，以便为随后的步 骤提供数据。这一部分看上去简单而琐碎，实际上它是 ETL 解决方案的成 功实施的一个主要障碍。 转换(Transform)：任何对数据的处理过程都是转换。这些处理过程通常包 括（但不限于）下面一些操作： 移动数据 根据规则验证数据 数据内容和数据结构的修改 将多个数据源的数据集成 根据处理后的数据计算派生值和聚集值 加载(Load)：将数据加载到目标系统的所有操作。1. Kettle项目示例
2. 常见问题
2.1 编码问题处理方式
<1. 启动时设置编码格式 UTF-8; <2. 检查数据库格式是否为UTF-8; <3. 工具平台是否为UTF-8； <4. 数据抽取时设置编码格式： characterEncoding UTF-8 <5. 通过外部程序处理（Java、Python等处理数据格式）2.2 换行问题： \r\n
<1. 程序抽取式处理
2.3 kettle 传参问题
- 基于Spoon (右键 =》新建注释)
转换 <1. 转换属性=》命名参数： DATA_DATE2 (启动时可传) <2. SQL语句中使用 ‘${DATA_DATE2}’
作业
<1. 作业属性=》命名参数： DATA_DATE2 (启动时可传) <2. SQL语句中使用 ‘${DATA_DATE2}’ <3. 编辑作业入口 =》 转换 =》 命名参数： DATA_DATE2 （从作业到转换传参）
2.4 同步问题
作业： 等待SQL
调度：阻塞数据等待数据完成
-
ETL
一、ETL
Extract-Transform-Load: 抽取->转换->加载 抽取(Extract)：一般抽取过程需要连接到不同的数据源，以便为随后的步 骤提供数据。这一部分看上去简单而琐碎，实际上它是 ETL 解决方案的成 功实施的一个主要障碍。
转换(Transform)：任何对数据的处理过程都是转换。这些处理过程通常包 括（但不限于）下面一些操作： 移动数据 根据规则验证数据 数据内容和数据结构的修改 将多个数据源的数据集成 根据处理后的数据计算派生值和聚集值
加载(Load)：将数据加载到目标系统的所有操作。
二、实现方式
-
手工编码
-
编写脚本
-
Java
-
Python
三、ETL工具
商业ETL软件：
InformaticalIBM
DataStage Microsoft SSIS
Oracle ODI
。。。
四、对比
名称 核心 优劣 OGG 不开源 Canal binglog 只支持Mysql otter 利用canal来进行同步的，
canal作为其数据源组件依赖组件 DataX 多数据源支持，通过select同步 不支持ddl同步 kettle 功能强大，多数据源，多语言，
扩展性好，通过select同步学习成本高 FlinkX 袋鼠云开源的，批流处理，
多用于大数据量(实时、离线),通过通过select查询 Porter
-
Recent Posts
Categories
- Books 4
- Windows/Linux/Mac 8
- 实战 18
- 工具 13
- 网络 2
- 协议 1
- Git 1
- Nginx 1
- Shell 1
- Nginx实战 1
- Python实战 1
- Maven 1
- 正则表达式 1
- Java 12
- 操作符 1
- IO 3
- SPI 1
- Test 1
- DB 13
- MySQL 10
- Redis 2
- MongoDB 2
- 基础 1
- WEB安全 1
- WEB 2
- 前端 4
- 跨域 1
- HTTPS 1
- 安全 1
- 证书 1
- 集合 5
- ConcurrentHashMap 1
- 容器 9
- 性能优化 2
- Tomcat 1
- 数据结构 5
- 堆 1
- 栈 1
- 队列 1
- 树 2
- 链表 1
- 算法 3
- 二分法 1
- 排序 1
- 扩展 1
- Lambda 1
- 设计模式 2
- 框架 7
- Spring 1
- Mybatis 2
- Mybatis-Plus 1
- SpringBoot 5
- Nacos 1
- 微服务 4
- Eureka 3
- 高并发 9
- 分布式 1
- 安全性 3
- Happens-Before 1
- Synchronized 1
- Atomic 1
- Collection 1
- Lock 3
- JVM 2
- Docker 9
- 安装 2
- Dockerfile 1
- Kafka 3
- Jenkins 1
- K8s 2
- CNCF 1
- 云原生 1
- 大数据 27
- Hive 1
- Hadoop 5
- NTP 3
- Flink 2
- FTP 1
- 数据仓库 1
- ETL 3
- Kettle 2
- 开放平台 1
- 数据中台 1
- Spark 6
- Zookeeper 2
- Rabbit 1
- Flume 1
- RDD 1
- DataFrame 1
- DataSet 1
- 解决方案 1
- 高级 1
- 组件 1
- JS 1
- Tool 1
- 报表 1
- kkFileView 1
Tags