Python+大数据开辟课程纲领

• SQL根本

• Hadoop手艺栈

• 千亿级离线数仓名目

• 千亿级离线数仓名目实战

• Python根本编程

• ETL实战

• BI报表开辟名目实战(新增)

• Spark手艺栈

• 用户画像处置计划

• PB级内存计较名目实战

• 基于AI大模子数据开辟名目(新增)

• 口试增强

• 阿里云及时计较Flink全栈开辟(更新)

• 阿里云及时计较名目(更新)

检查具体课程纲领>SQL根本课时：8天

首要内容

· Linux操纵体系· MySQL与SQL· Kettle与BI东西· 电商运营目标阐发

可处置的实际题目

谙练把握MySQL\SQL、Kettle和BI东西利用，能够或许或许处置传统数仓停业开辟使命。

可把握的焦点能力

1. 把握MySQL数据库的利用；
2. 把握SQL语法；
3. 把握Kettle数据迁徙东西的利用；
4. 谙练利用BI可视化东西；
5. 对数据开辟有一定认知，把握BI工程师所具有的根基手艺。

检查具体课程纲领>Hadoop手艺栈课时：11天

首要内容

· 大数据开辟Hadoop根本· Hive根本· Hive进阶

可处置的实际题目

熟习Linux操纵体系，和各类Linux号令，能够或许或许处置企业级大数据集群搭建题目，为进阶大数据开辟奠基根本。

可把握的焦点能力

1.把握Linux经常利用号令，为数据开辟后续进修打下的杰出根本；
2.把握大数据的焦点框架Hadoop和其生态体系，完成HDFS、MapReduce及Yarn机制根基懂得与利用；能够或许或许搭建Hadoop高可用HA集群；
3.把握Hive的利用和调优；
4.具有Hadoop开辟能力、离线数据堆栈开辟能力；
5.能够或许或许完成根基构建企业级数仓。

检查具体课程纲领>千亿级离线数仓名目课时：11天

首要内容

· 大数据安排运维：Cloudera Manager · 阐发决议计划需要：数据堆栈 · 数据收罗：DataX
· 数据阐发：Hive· 数据调剂：Dolphinscheduler · OLAP体系存储：PostgreSql
· Fine Report数据报表与大屏· 数仓建模: 范式与维度建模
· 五大焦点主题域开辟: 发卖域、供给链域、会员域等

可处置的实际题目

能够或许或许处置企业级罕见数据堆栈搭建，从名目的需要、手艺架构、停业架构、安排平台、ETL设想、功课调剂等整套pipeline，完成大数据体系下的企业级数据堆栈构建。

可把握的焦点能力

1.把握泛电商行业离线数仓的分层与建模，从需要、设想、研发、测试到落地上线的完全名目流程；
2.行业内首个深度讲授数仓建模模子计划的主体名目；
3.包含海量数据场景下若何优化设置装备摆设；
4.把握名目迁徙能力，能够或许或许将名目迁徙至泛电商的各个范畴；
5.把握在泛电商行业中对于全量与增量数据处置形式；
6.供给泛电商行业下的数据存储阐发和办事监控计划。

检查具体课程纲领>千亿级离线数仓名目实战课时：5天

首要内容

· 大数据安排运维：Cloudera Manager· 阐发决议计划需要：数据堆栈 · 数据收罗：sqoop · 数据阐发：Hive · 分组完成名目

可处置的实际题目

根据企业级大数据开辟流程，自力完成名目开辟，把握企业级多场景大数据离线数仓开辟能力，从数仓分层，数仓建模，目标统计，目标展实际现完全的大数据名目。

可把握的焦点能力

1.把握教导行业离线数仓的分层与建模，从需要、设想、研发、测试到落地上线的完全名目流程；
2.实在停业逻辑，共触及20多个主题，100多个目标，提升先生在教导行业中的焦点协作力；
3.包含海量数据场景下若何优化设置装备摆设；
4.拉链表的具体利用；
5.新增数据和更新数据的抽取和阐发；
6.Hive函数的具体利用；
7.ClouderaManager可视化、主动安排和设置装备摆设、Git、CodeReview功效。

检查具体课程纲领>Python根本编程课时：8天

首要内容

· Python根本语法· Python面向东西· Python高等语法· Python多使命编程· Python收集编程

可处置的实际题目

谙练把握Python说话，成立编程思惟，使先生能够或许或许谙练利用Python手艺完成法式编写。
谙练利用Python面向东西法式设想思惟，把握数据开辟必备Python高等语法，处置罕见Python开辟题目。

可把握的焦点能力

1.把握Python开辟情况根基设置装备摆设；
2.把握运算符、抒发式、流程节制语句、数组等的利用；
3.把握字符串的根基操纵；
4.开端成立面向东西的编程思惟；
5.熟习非常捕获的根基流程及利用体例；
6.把握类和东西的根基利用体例；
7.晓得多历程多线程的道理。

检查具体课程纲领>ETL实战课时：5天

首要内容

· ETL观点与东西· ETL名目需要阐发· ETL名目架构设想· Python ETL实战

可处置的实际题目

把握Python完成数据ETL实战，能够或许或许处置中小型数据量数据处置相干使命。

可把握的焦点能力

1. 把握ETL的相干观点；
2. 把握基于Python说话完成ETL使命开辟实战；
3. 基于ETL实战熬炼Python编程能力，包含（元数据办理、数据模子、名目设置装备摆设、单位测试、东西体例抽取等）；
4. 把握BI数据阐发实战。

检查具体课程纲领>BI报表开辟名目实战课时：3天

首要内容

· BI报表开辟需要阐发· BI报表东西· FineReport报表入门· 泛电商行业五大主题的完成

可处置的实际题目

把握利用量最广BI报表开辟东西FineReport，能够或许或许基于FineReport完成差别行业BI报表开辟及停业决议计划。

可把握的焦点能力

1.把握BI报表开辟需要阐发
2.把握BI报表东西
3.把握FineReport报表

检查具体课程纲领>Spark手艺栈课时：10天

首要内容

· 大数据Spark手艺栈· SparkSQL数据处置与统计阐发· Spark案例实战

可处置的实际题目

把握环球热点的Spark手艺栈，经由过程SparkCore和SparkSQL处置数据处置与统计阐发使命，进阶高等大数据开辟工程师。

可把握的焦点能力

1. 把握Spark的RDD、DAG、CheckPoint等设想思惟；
2. 把握SparkSQL布局化数据处置，Spark On Hive；
3. 把握Structured Streaming整合大都据源完成及时数据处置；
4. 具有Spark全栈开辟能力，知足大数据行业多场景同一手艺栈的数据开辟，供给失业焦点协作力。

检查具体课程纲领>用户画像处置计划课时：10天

首要内容

· SparkSQL整合ES自界说数据源· DS使命界面化调剂· 用户画像标签构建法则· 用户画像法则类标签构建· 用户画像统计类标签构建

可处置的实际题目

名目供给了全行业用户画像处置计划, 利用SparkSQL+ES+DS构建企业级用户画像，经由过程SparkSQL+MySQL构建通用行业用户画像标签体系。

可把握的焦点能力

1.把握SparkSQL整合ES自界说数据源；
2.把握用户画像构建流程；
3.把握用户画像标签构建法则；
4.把握用户画像法则类标签构建；
5.把握用户画像统计类标签构建。

检查具体课程纲领>PB级内存计较名目实战课时：3天

首要内容

· 多场景画像标签名目实战· 基于Spark全栈手艺构建企业级大数据开辟平台

可处置的实际题目

基于Spark全栈手艺构建企业级大数据开辟平台，先生分组自力完成名目实战，能够或许或许胜任罕见大数据平台开辟使命，助力企业完成数字化转型。

可把握的焦点能力

1.把握保险行业数据阐发流程；
2.把握保费计较流程；
3.把握DS调剂流程。

检查具体课程纲领>基于AI大模子数据开辟名目实战课时：2天

首要内容

· ChatGPT天生代码· ChatGPT改Bug· 基于AI大模子的出行大数据平台数仓搭建· 基于AI大模子目标开辟

可处置的实际题目

把握若何利用AI大模子赞助数据开辟和数据阐发编程效力提升，具有利用AI大模子处置题目的能力。

可把握的焦点能力

1.完成ChatGPT根本利用；
2.基于ChatGPT能够或许完成改Bug，写正文，天生代码等罕见编程使命；
3.能够或许或许基于公道的Prompts提醒词停止发问，助力提升编程效力。

检查具体课程纲领>口试增强课时：4天

首要内容

· 焦点手艺常识点和罕见口试题强化进修

可处置的实际题目

对进修的内容停止全体回首，并阐发典范口试题，指点简历，口试和相同手艺。

可把握的焦点能力

1.强化口试失业焦点口试题；
2.梳理大数据架构及处置计划；
3.分解多行业大数据架构。

检查具体课程纲领>阿里云及时计较Flink全栈开辟课时：5天

首要内容

· 阿里云Flink入门· Flink SQL· Flink功课开辟· 阿里云Flink运维

可处置的实际题目

把握当下热点的流批一体化散布式计较框架阿里云Flink及其生态，处置及时计较典范场景题目，顺应市场对阿里云Flink更加增加的需要。

可把握的焦点能力

1.把握基于阿里云Flink停止及时和离线数据处置、阐发；
2.把握基于阿里云Flink的多流并行处置手艺；
3.把握FlinkCDC大都据源收罗手艺。

检查具体课程纲领>阿里云及时计较名目课时：5天

首要内容

基于阿里云Flink + Kafka + Paimon 湖仓一体手艺架构，完成在线视频行业大范围流数据处置和及时阐发。本名目依靠 阿里云 Flink 流处置计较引擎， 经由过程 FlinkCDC 及时收罗 RDS MySQL 数据库数据，完成数据收罗的断点续传，利用Kafka 作为及时数仓，利用 Paimon 完成数据的耐久化和Flink 批处置，完成计较的流批一体，数据存储的湖仓一体，接纳StarRocks对接DataV完成及时停业大屏展现。

可处置的实际题目

收罗跨越万万条在线视频的数据，及时高机能海量数据阐发与存储停业数据及时大屏场景完成。

可把握的焦点能力

1.湖仓一体化处置计划基于Flink+Paimon湖仓一体手艺架构；
2.基于FlinkCDC完成MySQL等数据源的数据收罗；
3.FlinkSQL流批一体架构完成及时数据计较；
4.利用StarRocks停止海量多维阐发；
5.把握数据报表阐发；
6.把握停业数据及时大屏场景完成。