免费下载书籍地址:PDF下载地址
精美图片

【正版 】流式系统 Sreaming Sysems 数据系统处理 流式作业和批处理作业的正确性 流式批量数据处理模式书籍东南大学出版ttx书籍详细信息
- ISBN:9787564183677
- 作者:暂无作者
- 出版社:暂无出版社
- 出版时间:2019-6
- 页数:329
- 价格:116.71
- 纸张:胶版纸
- 装帧:平装
- 开本:3开
- 语言:未知
- 丛书:暂无丛书
- TAG:暂无
- 豆瓣评分:暂无豆瓣评分
内容简介:
在传统的数据处理流程中,总是先收集数据,然后将数据放到DB中。当人们需要的时候通过DB对数据做query,得到答案或进行相关的处理。这样看起来虽然非常合理,但是结果却非常的紧凑,尤其是在一些实时搜索应用环境中的某些具体问题,类似于MapReduce方式的离线处理并不能很好地解决问题。这就引出了一种新的数据计算结构---流计算方式。它可以很好地对大规模流动数据在不断变化的运动过程中实时地进行分析,捕捉到可能有用的信息,并把结果发送到下一计算节点。本书讲解流计算原理。
书籍目录:
Preface Or: What Are You Getting Yourself Into Here?
Part Ⅰ.The Beam Model
1.Streaming 101
Terminology: What Is Streaming?
On the Greatly Exaggerated Limitations of Streaming
Event Time Versus Processing Time
Data Processing Patterns
Bounded Data
Unbounded Data: Batch
Unbounded Data: Streaming
Summary
2.The What, Where, When, and How of Data Processing
Roadmap
Batch Foundations: What and Where
What: Transformations
Where: Windowing
Going Streaming: When and How
When: The Wonderful Thing About Triggers Is Triggers Are Wonderful Things!
When: Watermarks
When: Early/On-Time~Late Triggers FTWI
When: Allowed Lateness (i.e., Garbage Collection
How: Accumulation
Summary
3.Watermarks
Definition
Source Watermark Creation
Perfect Watermark Creation
Heuristic Watermark Creation
Watermark Propagation
Understanding Watermark Propagation
Watermark Propagation and Output Timestamps
The Tricky Case of Overlapping Windows
Percentile Watermarks
Processing-Time Watermarks
Case Studies
Case Study: Watermarks in Google Cloud Dataflow
Case Study: Watermarks in Apache Flink
Case Study: Source Watermarks for Google Cloud Pub/Sub
Summary
4.Advanced Windowing
When/Where: Processing-Time Windows
Event-Time Windowing
Processing-Time Windowing via Triggers
Processing-Time Windowing via Ingress Time
Where: Session Windows
Where: Custom Windowing
Variations on Fixed Windows
Variations on Session Windows
One Size Does Not Fit All
Summary
5.Exactly-Once and Side Effects
Why Exactly Once Matters
Accuracy Versus Completeness
Side Effects
Problem Definition
Ensuring Exactly Once in Shuffle
Addressing Determinism
Performance
Graph Optimization
Bloom Filters
Garbage Collection
Exactly Once in Sources
Exactly Once in Sinks
Use Cases
Example Source: Cloud Pub/Sub
Example Sink: Files
Example Sink: Google BigQuery
Other Systems
Apache Spark Streaming
Apache Flink
Summary
Part Ⅱ.Streams and Tables
6.Streams and Tables
Stream-and-Table Basics Or: a Special Theory of Stream and Table Relativity
Toward a General Theory of Stream and Table Relativity
Batch Processing Versus Streams and Tables
A Streams and Tables Analysis of MapReduce
Reconciling with Batch Processing
What, Where, When, and How in a Streams and Tables World
What: Transformations
Where: Windowing
When: Triggers
How: Accumulation
A Holistic View Of Streams and Tables in the Beam Model
A General Theory of Stream and Table Relativity
Summary
7.The Practicalities of Persistent State
Motivation
The Inevitability of Failure
Correctness and Efficiency
Implicit State
Raw Grouping
Incremental Combining
Generalized State
Case Study: Conversion Attribution
Conversion Attribution with Apache Beam
Summary
8.Streaming SQL
What Is Streaming SQL?
Relational Algebra
Time-Varying Relations
Streams and Tables
Looking Backward: Stream and Table Biases
The Beam Model: A Stream-Biased Approach
The SQL Model: A Table-Biased Approach
Looking Forward: Toward Robust Streaming SQL
Stream and Table Selection
Temporal Operators
Summary
9.Streaming Joins
All Your loins Are Belong to Streaming
Unwindowed loins
FULL OUTER
LEFT OUTER
RIGHT OUTER
INNER
ANTI
SEMI
Windowed loins
Fixed Windows
Temporal Validity
Summary
10.The Evolution of Large-Scale Data Processing
MapReduce
Hadoop
Flume
Storm
Spark
MillWheel
Kafka
Cloud Dataflow
Flink
Beam
Summary
Index
作者介绍:
Tyler Akidau,是Google的高级软件工程师,担任着Data Processing Languages & Systems小组技术负责人的职务。他也是Apache Beam PMC的创始成员。
Slava Chernyak,是Google的高级软件工程师。他花了六年时间研究Google内部的大规模流式数据处理系统。
Reuven Lax,是Google的高级软件工程师,在过去十年间一直在帮助制定Google的数据处理和分析策略,同时他也是Apache Beam PMC的成员。
出版社信息:
暂无出版社相关信息,正在全力查找中!
书籍摘录:
暂无相关书籍摘录,正在全力查找中!
在线阅读/听书/购买/PDF下载地址:
在线阅读地址:【正版 】流式系统 Sreaming Sysems 数据系统处理 流式作业和批处理作业的正确性 流式批量数据处理模式书籍东南大学出版ttx在线阅读
在线听书地址:【正版 】流式系统 Sreaming Sysems 数据系统处理 流式作业和批处理作业的正确性 流式批量数据处理模式书籍东南大学出版ttx在线收听
在线购买地址:【正版 】流式系统 Sreaming Sysems 数据系统处理 流式作业和批处理作业的正确性 流式批量数据处理模式书籍东南大学出版ttx在线购买
原文赏析:
In a healthy pipeline, most arriving records will not be duplicates. We can use that fact to greatly improve performance via Bloom filters, which are compact data structures that allow for quick set-membership checks. Bloom filters have a very interesting property: they can return false positives but never false negatives. If the filter says “Yes, the element is in the set,” we know that the element is probably in the set (with a probability that can be calculated). However, if the filter says an element is not in the set, it definitely isn’t. This function is a perfect fit for the task at hand.
其它内容:
书籍介绍
在传统的数据处理流程中,总是先收集数据,然后将数据放到DB中。当人们需要的时候通过DB对数据做query,得到答案或进行相关的处理。这样看起来虽然非常合理,但是结果却非常的紧凑,尤其是在一些实时搜索应用环境中的某些具体问题,类似于MapReduce方式的离线处理并不能很好地解决问题。这就引出了一种新的数据计算结构---流计算方式。它可以很好地对大规模流动数据在不断变化的运动过程中实时地进行分析,捕捉到可能有用的信息,并把结果发送到下一计算节点。本书讲解流计算原理。
书籍真实打分
故事情节:5分
人物塑造:7分
主题深度:6分
文字风格:8分
语言运用:4分
文笔流畅:5分
思想传递:4分
知识深度:8分
知识广度:9分
实用性:9分
章节划分:8分
结构布局:9分
新颖与独特:6分
情感共鸣:5分
引人入胜:4分
现实相关:7分
沉浸感:7分
事实准确性:6分
文化贡献:5分
网站评分
书籍多样性:9分
书籍信息完全性:7分
网站更新速度:6分
使用便利性:5分
书籍清晰度:7分
书籍格式兼容性:4分
是否包含广告:8分
加载速度:9分
安全性:8分
稳定性:6分
搜索功能:4分
下载便捷性:3分
下载点评
- 章节完整(280+)
- 已买(191+)
- 傻瓜式服务(365+)
- 还行吧(365+)
- 一星好评(289+)
- 下载快(598+)
- 可以购买(132+)
- 简单(244+)
- 少量广告(150+)
- 愉快的找书体验(137+)
- 内容完整(284+)
- 经典(172+)
- 差评(501+)
下载评价
网友 师***怡:说的好不如用的好,真心很好。越来越完美
网友 詹***萍:好评的,这是自己一直选择的下载书的网站
网友 丁***菱:好好好好好好好好好好好好好好好好好好好好好好好好好
网友 蓬***之:好棒good
网友 菱***兰:特好。有好多书
网友 孙***夏:中评,比上不足比下有余
网友 谭***然:如果不要钱就好了
网友 曾***文:五星好评哦
网友 冯***卉:听说内置一千多万的书籍,不知道真假的
网友 方***旋:真的很好,里面很多小说都能搜到,但就是收费的太多了
网友 马***偲:好 很好 非常好 无比的好 史上最好的
网友 堵***格:OK,还可以