读序
Spring5框架 Spring5框架
Spring5 框架Spring5 框架概述1、Spring 是轻量级的开源的 JavaEE 框架2、Spring 可以解决企业应用开发的复杂性3、Spring 有两个核心部分：IOC 和 Aop（1）IOC：控制反转，把创建对象过程交给
2022-03-26 java
Spring
大数据技术之Scala 大数据技术之Scala
第 1 章 Scala 入 门1.1 概述1.1.1 Scala和Java关系一般来说，学 Scala 的人，都会 Java，而 Scala 是基于 Java 的，因此我们需要将 Scala和 Java 以及 JVM 之间的关系搞清楚，否则
2022-03-20 读序
Scala
Python爬虫自动填写“问卷网”问卷 Python爬虫自动填写“问卷网”问卷
前言征集问卷，但很难找到渠道迅速收集大量样本，如果是自己通过“问卷网”设计的问卷可以在设置不锁IP（默认情况）下用本方法快速刷取大量样本 1.下载驱动首先你要去 这里: chome驱动下载传送门. 下载好你对应chome浏览器版本的chom
2022-03-02 python
python
大数据技术之Flink 大数据技术之Flink
第一章 Flink 简介1.1 初识 FlinkFlink 项目的理念是：“Apache Flink 是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架”。Apache Flink 是一个框架和分布式处理引擎，用于对无
2022-03-01 hadoop生态圈
flink
大数据项目之尚品汇（11数据质量管理） 大数据项目之尚品汇（11数据质量管理）
第1章 数据质量管理概述1.1 数据质量管理定义数据质量管理（Data Quality Management），是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等
2022-02-16 data warehouse
hive spark Azkaban kafka hadoop zookeeper flume sqoop superset hbase Presto kylin zabbix Kerberos ranger atlas
大数据项目之尚品汇（10元数据管理Atlas） 大数据项目之尚品汇（10元数据管理Atlas）
第1章 Atlas入门1.1 Atlas概述Apache Atlas为组织提供开放式元数据管理和治理功能，用以构建其数据资产目录，对这些资产进行分类和管理，并为数据分析师和数据治理团队，提供围绕这些数据资产的协作功能。 Atlas的具体功能
2022-02-15 data warehouse
hive spark Azkaban kafka hadoop zookeeper flume sqoop superset hbase Presto kylin zabbix Kerberos ranger atlas
大数据项目之尚品汇（9权限管理Ranger） 大数据项目之尚品汇（9权限管理Ranger）
第1章 Ranger概述1.1 什么是RangerApache Ranger是一个Hadoop平台上的全方位数据安全管理框架，它可以为整个Hadoop生态系统提供全面的安全管理。 随着企业业务的拓展，企业可能在多用户环境中运行多个工作任务，
2022-02-14 data warehouse
hive spark Azkaban kafka hadoop zookeeper flume sqoop superset hbase Presto kylin zabbix Kerberos ranger atlas
大数据项目之尚品汇（8安全环境实战） 大数据项目之尚品汇（8安全环境实战）
第1章 概述Hadoop启用Kerberos安全认证之后，之前的非安全环境下的全流程调度脚本和即席查询引擎均会遇到认证问题，故需要对其进行改进。 第2章 数仓全流程2.1 改动说明此处统一将数仓的全部数据资源的所有者设为hive用户，全流程
2022-02-13 data warehouse
hive spark Azkaban kafka hadoop zookeeper flume sqoop superset hbase Presto kylin zabbix Kerberos ranger atlas
大数据项目之尚品汇（7用户认证Kerberos） 大数据项目之尚品汇（7用户认证Kerberos）
第1章 Kerberos部署1.1 Kerberos概述1.1.1 什么是KerberosKerberos是一种计算机网络认证协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件
2022-02-12 data warehouse
hive spark Azkaban kafka hadoop zookeeper flume sqoop superset hbase Presto kylin zabbix Kerberos ranger atlas
大数据项目之尚品汇（6集群监控Zabbix） 大数据项目之尚品汇（6集群监控Zabbix）
第1章 Zabbix入门1.1 Zabbix概述Zabbix是一款能够监控各种网络参数以及服务器健康性和完整性的软件。Zabbix使用灵活的通知机制，允许用户为几乎任何事件配置基于邮件的告警。这样可以快速反馈服务器的问题。基于已存储的数据，
2022-02-11 data warehouse
hive spark Azkaban kafka hadoop zookeeper flume sqoop superset hbase Presto kylin zabbix Kerberos ranger atlas
大数据项目之尚品汇（5即席查询Presto&Kylin） 大数据项目之尚品汇（5即席查询Presto&Kylin）
第1章 Presto1.1 Presto简介1.1.1 Presto概念 1.1.2 Presto架构 1.1.3 Presto优缺点 1.1.4 Presto、Impala性能比较https://blog.csdn.net/u012
2022-02-10 data warehouse
hive spark Azkaban kafka hadoop zookeeper flume sqoop superset hbase Presto kylin zabbix Kerberos ranger atlas
大数据项目之尚品汇（4可视化报表Superset） 大数据项目之尚品汇（4可视化报表Superset）
第1章 Superset入门1.1 Superset概述Apache Superset是一个开源的、现代的、轻量级BI分析工具，能够对接多种数据源、拥有丰富的图表展示形式、支持自定义仪表盘，且拥有友好的用户界面，十分易用。 1.2 Supe
2022-02-09 data warehouse
hive spark Azkaban kafka hadoop zookeeper flume sqoop superset hbase Presto kylin zabbix Kerberos ranger atlas
10 / 12