极客时间出品的《大规模数据处理实战》由蔡元楠所作，蔡元楠是Google Brain资深工程师，《大规模数据处理实战》课程作者。本专栏课程通过实战带给你Google一线工程师的大数据架构实战经验。
订阅价格：
订阅价： ¥99，三人拼团价：¥79
已有7009 人已学习 · 共40讲 · 每周一／三／五更新，专栏以图文和文字的形式教授。可在极客时间APP/小程序/网站上永久观看。
用我的邀请购买，返现24元。购买的朋友请加我微信号 dismissmewp ，备注：返现。
大规模数据处理实战课程背景
若从Google对外发布“三驾马车”论文开始算的话，大数据相关的技术已经走过了近二十年。
MapReduce、Hadoop、Storm、Spark……这些名字你一定不会陌生。没错，它们都是用于处理大规模数据的技术。这还只是其中的一部分，我们可以继续往后列：Kafka、Google Cloud Dataflow、Flink、Beam…
日新月异的大规模数据处理技术给我们带来了巨大挑战。但真正困扰我们的，从来都不是能否紧随技术潮流，而是能否找到最高效的方式，真正解决业务遇到的实际问题。
回到业务场景里再来谈大数据，你可能会遇到这样的问题：
- MapReduce很经典，可为什么会被硅谷一线公司淘汰？
- 想要落地Spark，有哪些避坑经验可以提前掌握？
- Google推崇的Apache Beam真的能够高效解决现有大数据处理场景的所有问题吗？
作者简介
蔡元楠，Google Brain资深工程师，工作领域为AI Healthcare（人工智能的健康医疗应用）， 他领导并开发超大规模数据驱动的全新AI应用与商业模式。在加入Google之前，他分别于哥伦比亚大学和上海交通大学获计算机硕士和信息工程学士学位，并曾于哈佛医学院执行官项目学习。同时，他在Google还兼任C++语言评审以及AI 挑战赛评委会委员。
在这个专栏里，蔡元楠将与你分享Google的大数据处理前沿技术和思维。专栏内容侧重工程师的个人成长，崇尚硅谷式的技术领导力与批判性思维，作者会通过大量的硅谷最佳实践，从实际场景出发引导你进行独立思考，以帮助你从普通工程师成长为大规模数据处理技术专家。
《大规模数据处理实战》 6 大模块
模块一 直通硅谷大规模数据处理技术
这一模块从现有大规模数据处理技术中的问题入手，带你讨论新技术应有的特点和它可以解决的问题，并告诉你为什么会这样设计，最终用一个实战体验带你巩固顶层设计的知识。
模块二 实战学习大规模数据处理基本功
万丈高楼平地起，在上手应用技术之前，有些基础知识你还需要掌握透彻。这一模块将庖丁解牛硅谷应用实例来讲解分布式系统中的核心知识点、现有的数据处理模式和架构等，为你的后续学习打好必备基础。
模块三 抽丝剥茧剖析Apache Spark设计精髓
打好基础后，模块三的任务是深入拆解Apache Spark。通过实际案例，带你上手Spark这个围绕速度、易用性和复杂分析构建的大数据处理框架，同时引导你深入思考Spark的设计哲学。
模块四 Apache Beam为何能一统江湖
模块四的内容会重点讲述Apache Beam的应用场景、模型和运行流程，教会你为什么它是这么设计的？优点在哪里？怎么解决实际问题？
模块五 决战 Apache Beam 真实硅谷案例
“知易行难”的方法就是实战。模块五将先带你了解Beam独一无二的运行模型和应用示例，再用最实际的硅谷一线大厂案例来教会你使用Apache Beam，真正解决你工作中可能会遇到的问题。
模块六 大规模数据处理的挑战与未来
数据量不会停止增长，5G时代即将到来，未来的数据处理技术又会面临哪些机遇与挑战？大规模数据处理在深度学习领域又是如何应用的？这一模块跟你一起探讨。
《大规模数据处理实战》课程目录
0.从这里开始，帯你走上硅谷一线系统架构师之路
模块一：直通硅谷大规模数据处理技术
1.为什么MapReduce会被硅谷一线公司淘汰？
2. MapReduce后谁主沉浮：怎样设计下一代数据处理技术？
3.大规模数据处理初体验：怎样实现大型电商热销榜？
模块二：实战学习大规模数据处理基本功
4.分布式系统（上）：如何用服务等级协议SLA来评估你的系统？
5.分布式系统（下）：架构师不得不知的三大指标
6.如何区分批处理还是流处理？
7.Workflow设计模式：让你在大规模数据世界中君临天下
8.发布/订阅模式：流处理架构中的瑞士军刀
9. CAP定理：三选二，架构师必须学会的取舍
10.Lambda架构：Twitte「千亿级实时数据分析架构背后的倚天剑
11.Kappa架构：使用Kafka锻造的屠龙刀
模块三：抽丝剥茧剖析Apache Spark设计精髓
12. Spark的独有优势：为什么世界需要Spark?
13.弹性分布式数据集：Spark大厦的地基为何如此设计（上）
14.弹性分布式数据集：Spark大厦的地基为何如此设计（下）
15.Spark SQL: Spark数据查询的利器
16.如何用Spark DataFrame API进行实时数据分析？
17.Spark Streaming: Spark 的实时流计算 API
18. WordCount:从零开始运行你的第一个Spark应用
19.综合案例实战：力口州房屋信息的线性回归模型&成年人收入的预测模型
20.更多、更快、更好、更省：实例解析Spark应用程序性能优化
21.深入对比Flink与Spark:帮你的系统设计两开花
模块四：Apache Beam为何能一统江湖
22.Apache Beam的前世今生
23.站在Google的眉膀上学习Beam编程模型
24. PCollection:为何Beam要如此抽象封装数据？
25. Beam数据转换操作的抽象方法
26. Pipeline: Beam如何抽象多步骤的数据流水线？
27. Pipeline I/O: Beam数据中转的设计模式
28.如何设计好一个Beam Pipeline?
29.如何测试Beam Pipeline?
模块五：决战Apache Beam真实硅谷案例
30. Apache Beam 实战冲刺：Beam 如何 run everywhere?
31.WordCount Beam Pipeline 实战
32. Beam Window:打通流处理的任督二脉
33.横看成岭侧成峰：再战Streaming WordCount
34. Amazon 热销榜 Beam Pipeline 实战
35.Facebook游戏实时流处理Beam Rpeline实战（上）
36.Facebook游戏实时流处理Beam Rpeline实战（下）
模块六：大规模数据处理的挑战与未来
37. 5G时代，如何处理实时超大规模物联网数据？
38.大规模数据处理在深度学习中如何应用？
39.从SQL到Streaming SQL:突破静态数据查询的次元
40.总结与答疑
用户购买评价
我的公众号：猿人学 Python 上会分享更多心得体会，敬请关注。
***版权申明:若没有特殊说明，文章皆是猿人学 yuanrenxue.con 原创，没有猿人学授权，请勿以任何形式转载。***
说点什么吧...