今日份知識你攝入了么？

圖片來自Unsplash，作者Tamas Pap

在本文中，我將討論學習數(shù)據(jù)工程感興趣的人可能感興趣的數(shù)據(jù)工程書籍和資源。我意識到市場上并沒有很多關于數(shù)據(jù)工程的綜合概念解釋的書籍。其中一些書籍介紹了如何使用特定工具和數(shù)據(jù)平臺架構，而另一些則是我最喜歡的睡前讀物：令人驚訝地容易入睡而且枯燥無味。有些書籍適用于戰(zhàn)略決策，而有些可能看起來有點過時但仍然有用。希望你會覺得有趣。

01

Python數(shù)據(jù)工程

Data Engineering with Python

使用Python處理海量數(shù)據(jù)集來設計數(shù)據(jù)模型和自動化數(shù)據(jù)管道

Paul Crickard，2020年

對于那些想要學習開源Apache數(shù)據(jù)工程工具的人來說，這是一本很棒的書。它涵蓋了所有基本的數(shù)據(jù)工程主題，如數(shù)據(jù)建模，并提供了大量最常見的數(shù)據(jù)轉換示例。正如書中所提到的，它是關于Python和數(shù)據(jù)建模的，所以讀者將專注于ETL技術，使用Python工具提取、清理和豐富數(shù)據(jù)集。它詳細解釋了Apache Kafka和Apache Spark，但也涵蓋了使用文件格式、數(shù)據(jù)轉換和清理的基本要素。這本書對數(shù)據(jù)管道部署以及數(shù)據(jù)環(huán)境提供了一些非常好的觀點。

02

數(shù)據(jù)工程基礎

Fundamentals of Data Engineering

Joe Reis, Matt Housley著

展開全文

2022年6月發(fā)布

出版商：O 'Reilly Media, Inc.

總的來說，這是一本非常好的書，我相信這是我目前正在寫的書中最接近的一本。它涵蓋了基本原理，確實很棒。然而，它并沒有解釋如何成為一名數(shù)據(jù)工程師。根據(jù)這本書，進入這個角色沒有捷徑，也沒有簡單的方法。讀者需要花2-3年的時間來研究這個特定的領域。

我喜歡這本書的地方在于，它提供了一種對技術和架構的獨立觀點。

我們不會在這本書看到任何營銷，在第2章中，它非常清晰地關注了數(shù)據(jù)工程生命周期，并解釋了它是如何從項目需求收集和管道設計開始工作的，并涵蓋了該領域的最佳實踐。

這本書都是關于SQL和Python以及如何使用它們來解決現(xiàn)實世界的數(shù)據(jù)工程任務。第4章介紹了選擇正確數(shù)據(jù)工程技術的框架。

總的來說，這是我的最愛之一。它不僅涵蓋了數(shù)據(jù)生成、ETL、聚合和清理的復雜性，而且還關注了可能對數(shù)據(jù)工程管理人員有用的策略。

03

數(shù)據(jù)倉庫工具包：維度的權威指南

The Data Warehouse Toolkit: The Definitive Guide to Dimensional

建模，第三版

Ralph Kimball , Margy Ross著

2013年發(fā)布

出版商(s)：Wiley

我記得在幾年前開始使用Snowflake時買了這本書。

這本書發(fā)布于2013年，仍然適用于許多數(shù)據(jù)建模場景。

我喜歡這本書的地方在于它的案例研究。它提供了來自不同行業(yè)的20多個真正有用的場景，如零售、營銷等。它幫助我在更高的層次上理解維度建模和數(shù)據(jù)倉庫設計。基本上，它解釋了關于事實表和維度表以及如何在數(shù)據(jù)倉庫解決方案中運行ETL的一切知識。

即使是現(xiàn)在，讀這本書來見證數(shù)據(jù)倉庫平臺的發(fā)展也是非常有趣的。

04

數(shù)據(jù)網(wǎng)格

Data Mesh

Zhamak Dehghani著

2022年發(fā)布

出版者：Wiley

對數(shù)據(jù)網(wǎng)格原理的清晰而新穎的概述。數(shù)據(jù)網(wǎng)格和分散的數(shù)據(jù)管理無疑是數(shù)據(jù)工程領域的主要趨勢之一。

數(shù)據(jù)網(wǎng)格定義了當我們擁有不同的數(shù)據(jù)領域（公司部門）及其團隊和共享數(shù)據(jù)資源時的狀態(tài)。

對于那些想要學習數(shù)據(jù)網(wǎng)格設計、策略和架構的人來說，這本書是一本很好的讀物。本書以邏輯一致的方式解釋了數(shù)據(jù)所有權模型，以超越傳統(tǒng)的數(shù)據(jù)倉庫方法，轉向分散和分布式的數(shù)據(jù)平臺。

05

數(shù)據(jù)管道口袋參考：移動和處理數(shù)據(jù)分析第1版

Data Pipelines Pocket Reference: Moving and Processing Data for Analytics 1st Edition

James Densmore著

格式:Kindle版

2021年2月發(fā)布

出版商：O 'Reilly Media, Inc.

這是我最喜歡的關于數(shù)據(jù)管道的書之一。在我的職業(yè)生涯中，一些Python和SQL代碼片段對我非常有用。本書的Github存儲庫代碼演示了如何從外部數(shù)據(jù)源提取數(shù)據(jù)并將其轉換為數(shù)據(jù)集。

這本書介紹了一種“構建vs購買”的方法，這是數(shù)據(jù)工程師的任務。事實上，目前市場上有許多托管ETL解決方案，如Stitch、Fivetran等。本書涵蓋了數(shù)據(jù)管道設計原則，并解釋了如何為成功的分析創(chuàng)建強大的數(shù)據(jù)處理。這本書從體系結構的角度解釋了數(shù)據(jù)管道設計的許多關鍵點。它還涵蓋了云中現(xiàn)代數(shù)據(jù)基礎設施、數(shù)據(jù)管道監(jiān)控和警報等方面。

06

構建現(xiàn)代數(shù)據(jù)平臺：大規(guī)模企業(yè)Hadoop指南

Architecting Modern Data Platforms: A Guide to Enterprise Hadoop at Scale

Jan Kunigk, Ian Buss, Paul Wilkinson, Lars George著

2019年發(fā)布

出版商：O 'Reilly Media, Inc.

這本書很好地解釋了Hadoop技術。盡管該技術在中小企業(yè)層面不是很流行，但它認為企業(yè)應用仍然是可行的。這是一本有趣的讀物，重點關注實際使用案例，旨在創(chuàng)建云端和本地的大數(shù)據(jù)基礎設施。我相信對于經(jīng)驗豐富的數(shù)據(jù)工程師來說，這本書將對他們在云端創(chuàng)建企業(yè)級管道并確保高水平的安全性和可用性非常有用。

這不是我經(jīng)常讀的書，但仍然很有用，因為它概述了一些被認為已經(jīng)過時的內容，了解到Hadoop仍然存在是一件好事。

07

Spark:權威指南：大數(shù)據(jù)處理簡化第一版

Spark: The Definitive Guide: Big Data Processing Made Simple 1st Edition

Bill Chambers, Matei Zaharia著

2018年發(fā)布

出版商：O 'Reilly Media, Inc.

當談到數(shù)據(jù)湖的大數(shù)據(jù)管道中的ETL時，這是我最喜歡的一個。我們都喜歡Spark的卓越可擴展性和成本效益。對于想要學習數(shù)據(jù)湖中可擴展數(shù)據(jù)處理的初學者和中級用戶來說，這是一本很棒的書。它涵蓋了一些基本的數(shù)據(jù)工程概念和使用Apache Spark進行數(shù)據(jù)湖數(shù)據(jù)處理。Apache Spark被用于許多云產(chǎn)品中，例如AWS Glue。它使本書成為有抱負的數(shù)據(jù)工程師的絕佳選擇。

08

流式系統(tǒng)：大規(guī)模數(shù)據(jù)處理的內容、地點、時間和方式第1版

Streaming Systems: The What, Where, When, and How of Large-Scale Data Processing 1st Edition

Tyler Akidau, Slava Chernyak, Reuven Lax著

2018年發(fā)布

出版商：O 'Reilly Media, Inc.

這是一本關于流式數(shù)據(jù)處理設計模式的優(yōu)秀書籍。它解釋了流數(shù)據(jù)處理管道及其核心原理。對于數(shù)據(jù)工程師來說，理解數(shù)據(jù)管道設計模式的本質并正確應用它們是非常重要的，例如批處理數(shù)據(jù)處理、流式ETL等。由于流處理，應用程序可以觸發(fā)對新數(shù)據(jù)事件的即時響應。

流式處理是企業(yè)數(shù)據(jù)必備的解決方案。

這本書幫助我選擇正確的方式來處理數(shù)據(jù)，并創(chuàng)建接近實時的分析管道。通常情況下，并不總是需要使用流式處理，這可能會成為一種昂貴的解決方案。

09

用數(shù)據(jù)講故事：商業(yè)專業(yè)人士的數(shù)據(jù)可視化指南第1版

Storytelling with Data: A Data Visualization Guide for Business Professionals 1st Edition

Cole Nussbaumer Knaflic(作者)

2015年發(fā)布

出版者：Wiley

這是一本關于數(shù)據(jù)可視化技術和商業(yè)智能（BI）的優(yōu)秀書籍。雖然商業(yè)智能是數(shù)據(jù)工程的重要組成部分（反之亦然），但這本書并不是一本職業(yè)指南。該書解釋了數(shù)據(jù)工程如何補充商業(yè)智能。它展示了如何以富有信息性、引人入勝的方式傳達數(shù)據(jù)洞見。這本書對我的儀表盤設計幫助很大。我會把它加入我的書架。

10

流利的Python：清晰，簡潔，有效的編程第二版

Fluent Python: Clear, Concise, and Effective Programming 2nd Edition

Luciano Ramalho著

2022年發(fā)布

出版商：O 'Reilly Media, Inc.

另一本關于Python的非常有用的書，我一直留著。Python是數(shù)據(jù)工程的重要組成部分，它使本書非常有用。本書分為五個部分，涵蓋了數(shù)據(jù)工程師在數(shù)據(jù)管道中可能需要使用的幾乎所有內容，例如上下文管理器、裝飾器、生成器和異步編程等。

11

數(shù)據(jù)工程師應該知道的97件事：來自專家的集體智慧

97 Things Every Data Engineer Should Know: Collective Wisdom from the Experts

Tobias Macey著

2021年發(fā)布

出版商：O 'Reilly Media, Inc.

這是一本很棒的書，它證實了現(xiàn)在對數(shù)據(jù)工程師的需求很高。本書匯集了數(shù)據(jù)工程師的經(jīng)驗。他們中的許多人為在大數(shù)據(jù)和人工智能領域取得顯著成功的公司設計了數(shù)據(jù)管道和ETL流程。很高興看到人們仍然愿意分享他們的知識并解釋他們是如何解決具有挑戰(zhàn)性的ETL問題的。本書包含97個用例，幾乎每個數(shù)據(jù)工程師都可以使用這些用例進行數(shù)據(jù)處理和數(shù)據(jù)管道設計。我喜歡每天讀一篇。

結論

如果你是一個學習者或渴望掌握新的數(shù)據(jù)技能的數(shù)據(jù)愛好者，那么在云中有很多免費的機會。我強烈建議在其中一家云平臺供應商那里建立帳戶，開始學習市場上可用的數(shù)據(jù)工程工具。其中許多平臺提供免費的基礎服務，探索最新的數(shù)據(jù)工程進展不需要任何費用。只需確保在使用免費服務時密切關注計費情況。本文中給出的書籍概述將支持你的學習曲線。其中大部分假設讀者能夠熟練地使用JSON、SQL、REST API，并了解Python編程的基礎知識。

原文作者：Mike Shakhomirov

翻譯作者：Dou

美工編輯：過兒

校對審稿：Jason

原文鏈接：https://towardsdatascience.com/data-engineering-books-f373005d53fc

Meta的數(shù)據(jù)工程：內部技術棧的高級概述

在2024年實現(xiàn)數(shù)據(jù)科學家更好的工作與生活平衡

使用生成式AI編寫代碼的正確方法

LeMA：對于一個LLM來說，學習數(shù)學就是在犯錯！

通過碎片化NFT實現(xiàn)商業(yè)模式創(chuàng)新

點「在看」的人都變好看了哦

點擊“閱讀原文”查看數(shù)據(jù)應用學院核心課程