推荐序一拥抱“大数据时代”
宽带资本董事长田溯宁
推荐序二实实在在大数据
中国互联网发展的重要参与者，知名IT评论人谢文
译者序在路上·晃晃悠悠
电子科技大学教授，互联网科学中心主任周涛
引言一场生活、工作与思维的大变革
大数据，变革公共卫生
大数据，变革商业
大数据，变革思维
大数据，开启重大的时代转型
预测，大数据的核心
大数据，大挑战
第一部分大数据时代的思维变革
第1章更多：不是随机样本，而是全体数据
让数据“发声”
小数据时代的随机采样，最少的数据获得最多的信息
全数据模式，样本=总体
第2章更杂：不是精确性，而是混杂性
允许不精确
大数据的简单算法比小数据的复杂算法更有效
纷繁的数据越多越好
混杂性，不是竭力避免，而是标准途径
新的数据库设计的诞生
第3章更好：不是因果关系，而是相关关系
关联物，预测的关键
“是什么”，而不是“为什么”
改变，从操作方式开始
大数据，改变人类探索世界的方法
第二部分大数据时代的商业变革
第4章数据化：一切皆可“量化”
数据，从最不可能的地方提取出来
数据化，不是数字化
量化一切，数据化的核心
当文字变成数据
当方位变成数据
当沟通成为数据
一切事物的数据化
第5章价值：“取之不尽，用之不竭”的数据创新
数据创新1：数据的再利用
数据创新2：重组数据
数据创新3：可扩展数据
数据创新4：数据的折旧值
数据创新5：数据废气
数据创新6：开放数据
给数据估值
第6章角色定位：数据、技术与思维的三足鼎立
大数据价值链的3大构成
大数据掌控公司
大数据技术公司
大数据思维公司和个人
全新的数据中间商
专家的消亡与数据科学家的崛起
大数据，决定企业的竞争力
第三部分大数据时代的管理变革
第7章风险：让数据主宰一切的隐忧
无处不在的“第三只眼”
我们的隐私被二次利用了
预测与惩罚，不是因为所做，而是因为“将做”
数据独裁
挣脱大数据的困境
第8章掌控：责任与自由并举的信息管理
管理变革1：个人隐私保护，从个人许可到让数据使用者承担责任
管理变革2：个人动因VS预测分析
管理变革3：击碎黑盒子，大数据程序员的崛起
管理变革4：反数据垄断大亨
结语正在发生的未来

推荐序
中文版序
1浪潮：移动的力量
移动计算技术史无前例006
全球通用的电脑007
用软件代替实物产品008
将软件植入客户010
软件本质的改变—从固态到气态011
颠覆性变革即将到来012
网络空间的业务经营之道015
加速的信息革命018
2电脑：向移动技术演变
第一次浪潮：大型电脑024
第二次浪潮：小型电脑028
第三次浪潮：台式电脑029
第四次浪潮：互联网个人电脑031
移动技术发展之路033
移动电话：从蜂窝到黑莓034
第五次浪潮：移动互联网036
多点触控039
3纸张：正在消失
从黏土到纸张051
古登堡和复制革命054
信息时代056
古登堡之后第一大突破创新：桌面出版057
新的地图058
从写字板到神奇的平板电脑060
新型书店065
新型图书馆068
世界图书馆071
新型报纸074
新型杂志：特色出版物的黄金时代？080
无纸化办公082
拯救空气083
4娱乐：如此自由自在
相机的消失088
游戏：开放的游乐场090
电影：DVD的衰败096
移动电视098
新型的共享媒体100
电视和广告：一个截然不同的世界101
5钱包：智能货币就要到来了
无线射频技术：条形码就要过时了108
新一代身份证：天衣无缝109
超级安全的移动钥匙113
现金已经过时了116
信用卡122
新型银行：一个真正的大苹果125
折扣卡：不仅仅是团购128
让抢劫不再发生133
6社交网络：一个移动的社交世界
超大型城市的崛起144
社交网络的崛起147
社交网络的演变150
7医疗：全球医疗迎来新景象
纸质病历档案：浩如烟海170
远程医疗175
医院就是网络179
聋哑人和失明者的移动帮手181
全球医疗182
第三世界的普罗米修斯185
8教育：人人都可以平等地接受教育
新型教科书199
主动学习和虚拟世界202
数字办公室204
讲台上的诺贝尔奖得主206
“平板电脑老师”207
一对一学习模式208
让大学学费不再增长210
全球教育213
9发展中世界：移动浪潮最合适的实验场
移动互联网：即时的互联网基础设施223
移动技术将提高市场效率224
移动技术将削减中间成本227
移动技术让金融服务唾手可得229
移动技术消除腐败234
新型全球化237
移动技术释放后发优势239
10新世界：解放人类能量
农业革命：从旷野到城市246
工业革命：从农村到工厂247
重新分配人类能量250
信息革命：信息无所不在253
信息革命的经济意义258
变化即将到来262
新世界的隐私权263
新世界，新规则267
结语269
译后记273

序言I
1数据分析引言：分解数据1
2实验：检验你的理论37
3最优化：寻找最大值75
4数据图形化：图形让你更精明111
5假设检验：假设并非如此139
6贝叶斯统计：穿越第一关169
7主观概率：信念数字化191
8启发法：凭人类的天性作分析225
9直方图：数字的形状251
10回归：预测279
11误差：合理误差315
12相关数据库：你能关联吗？359
13整理数据：井然有序385
附录A尾声：正文未及的十大要诀417
附录B安装R：启动R！427
附录C安装Excel分析工具：ToolPak431

第1章 握住探险之鞭—认识Ruby
1.1 Ruby
1.1.1 为什么用Ruby
1.1.2 安装Ruby
1.1.3 运行Ruby
1.1.4 引用外部库
1.1.5 Ruby基础
1.1.6 一切皆对象
1.2 Shoes
1.2.1 何为Shoes
1.2.2 五彩的“鞋子”（Shoes）
1.2.3 安装Shoes
1.2.4 编写Shoes程序
1.3 小结
第2章 走进《黑客帝国》—认识R
2.1 R的简介
2.2 使用R
2.2.1 R控制台
2.2.2 源文件与命令行
2.2.3 程序包
2.3 R编程
2.3.1 变量和函数
2.3.2 条件语句与循环
2.3.3 数据结构
2.3.4 导入数据
2.4 作图
2.4.1 基本绘图
2.4.2 ggplot2简介
2.5 小结
第3章 探讨办公室与卫生间问题
3.1 简单的情形
3.2 表示卫生间等事物
3.3 初次模拟
3.4 解释数据
3.5 第二次模拟
3.6 第三次模拟
3.7 最后一个模拟
3.8 小结
第4章 当一回经济学家
4.1 看不见的手
4.2 一个简单的市场经济体系
4.2.1 生产者
4.2.2 消费者
4.2.3 一些使程序简化的方法
4.2.4 模拟
4.2.5 分析模拟结果
4.3 价格决定的资源分配
4.3.1 生产者
4.3.2 消费者
4.3.3 市场
4.3.4 模拟
4.3.5 分析第二个模拟的结果
4.3.6 价格控制
4.4 小结
第5章 对自己的电子邮件进行挖掘
5.1 思想
5.2 抓取和解析
5.3 对电子邮件进行挖掘
5.3.1 每月同一天的邮件数量
5.3.2 邮件挖掘者
5.3.3 每周同一天的邮件数量
5.3.4 每月的邮件数量
5.3.5 一天各小时的邮件数量
5.3.6 交互
5.3.7 交互中的比较
5.4 文本挖掘
5.5 小结
第6章 测一测我们的心脏
6.1 跳动的心脏
6.2 听诊
6.2.1 自制数字听诊器
6.2.2 从声音中提取数据
6.2.3 生成心音波形
6.2.4 找出心率
6.3 血氧定量法
6.3.1 自制脉搏血氧计
6.3.2 从视频中提取信息
6.3.3 生成心跳波形并计算心率
6.4 小结
第7章 模拟结群飞行的鸟
7.1 Boids的由来
7.2 模拟
7.3 Roid
7.4 boid群的规则
7.5 辅助规则
7.6 规则的变更
7.7 绕圈
7.8 加入障碍物
7.9 小结
第8章 是什么让世界运行不止
8.1 生活很美好
8.2 金钱
8.3 性别
8.3.1 生与死
8.3.2 变化
8.4 进化
8.4.1 我们将做哪些改变
8.4.2 实现
8.5 小结
关于作者
封面介绍

第一部分 缘起篇
第1章 云计算的兴起 2
1.1 云计算的身世 2
1.1.1 “上古”时期，摩尔定律刚起步 2
1.1.2 从互联网大爆炸中诞生 4
1.1.3 接棒Amazon 6
1.1.4 百花齐放的年代 7
1.2 云计算的DNA 8
1.3 云计算的五大特征 10
1.3.1 自助式服务 10
1.3.2 通过网络分发服务 11
1.3.3 资源池化 12
1.3.4 资源的灵活调度 12
1.3.5 可衡量的服务 13
1.4 IaaS/PaaS/SaaS，它们都是什么 13
1.4.1 位于最底层，基础架构即服务——IaaS 14
1.4.2 IaaS之上，平台即服务——PaaS 15
1.4.3 最上层，软件即服务——SaaS 15
1.5 各种云——私有云／社区云／公有云／混合云 15
1.5.1 私有云 16
1.5.2 公有云 16
1.5.3 社区云 16
1.5.4 混合云 17
1.6 云计算的独有优势 18
1.6.1 降低成本 18
1.6.2 扩展性 18
1.6.3 高可靠性 19
1.6.4 远程访问 20
1.6.5 模块化 20
1.6.6 高等级服务 21
第2章 云与网的关系 22
2.1 以数据中心为界，云计算网络的外延与内涵 22
2.2 外延——关注用户体验 24
2.2.1 可靠的网络 24
2.2.2 安全的网络 25
2.2.3 灵活的网络 25
2.3 内涵——关注系统效率，下一代数据中心的网络平台 25
第二部分 外延篇
第3章 安全的网络通道（一）——网络准入 28
3.1 为什么安全是云计算的基础 28
3.2 云计算安全的发展现状 29
3.3 网络在云计算安全防护中扮演的角色 30
3.4 网络准入的技术分类 31
3.4.1 二层准入 33
3.4.2 三层准入 36
3.4.3 客户端方式 39
3.5 二层准入vs.三层准入vs.客户端方式 40
3.5.1 二层准入的特点——成熟、实用 40
3.5.2 三层准入的特点——轻便、简单 42
3.5.3 客户端方式的特点——功能全面、无统一标准 44
3.6 最终用户需要什么样的方案 45
3.7 IT部门需要什么样的方案 46
3.8 什么是完美的产品 46
3.9 虚拟桌面的机会 47
第4章 安全的网络通道（二）——网络加密 48
4.1 通过VPN隧道保证云计算的数据安全 48
4.2 VPN技术选择——SSLPKIPsec 49
4.3 让SSL胜出的独门绝技 51
4.4 SSL的技术实现 51
4.4.1 SSL握手协议 52
4.4.2 SSL记录协议 53
4.5 几种SSLVPN类型 54
4.6 SSL的后续发展——DTLS/TLS 55
第5章 可靠的网络通道 57
5.1 云服务的用户体验与网络服务质量 57
5.2 为更好服务，先对云计算流量进行分类 58
5.3 不同流量分类不同服务质量的设计方法 59
5.3.1 流量识别 60
5.3.2 流量标记 61
5.3.3 流量处理 65
第6章 灵活的网络通道 66
6.1 移动性是云计算网络的基本特征 66
6.2 现有解决方案一——DNS重定向 67
6.3 现有解决方案二——健康路由注入 70
6.4 对现有方案的改进——用LISP将位置与身份分离 71
6.5 LISP的核心思想——Map—and—encap 72
6.6 LISP的基本架构 73
6.7 LISP的新包头 74
6.8 通过LISP—ALT实现可扩展网络 75
6.9 一个LISP转发实例 76
6.10 LISP的应用场景 77
6.10.1 IP终端的灵活移动 77
6.10.2 IPv6—IPv4混合部署 79
6.10.3 多租户VPN环境 80
6.11 我们真的需要LISP吗 81
第三部分 内涵篇
第7章 支持虚拟化数据中心的扩张——TRILL/FabricPath和SPB 84
7.1 二层网络的困境 84
7.2 为什么传统二层网络不给力 87
7.3 FabricPath的目标 89
7.4 FabricPath的实现：新的控制平面 89
7.4.1 新增一个二层帧头 89
7.4.2 增加一套简化的IS—IS路由协议 90
7.5 第一个问题——为什么需要新的地址空间 90
7.6 FabricPath的工作模式 91
7.7 第二个问题——现有技术不足够吗 92
7.8 TRILL——FabricPath的公开标准 93
7.9 另一个TRILL——SPB 95
7.10 TRILLvs.SPB 98
第8章 利用以太传输存储流量——FCoE 102
8.1 存储与网络的关系 102
8.2 传统存储网络面临的挑战——布线与能耗 103
8.3 融合！FCoE给出的解决方案 105
8.4 FCoE的基本面 105
8.5 给以太网动手术——FCoE的数据平面 107
8.5.1 PFC——不丢包以太网 107
8.5.2 ETS——灵活带宽调度 110
8.5.3 DCBX——与现有环境的兼容性 112
8.6 连接两个世界的FIP——FCoE的控制平面 113
8.6.1 FCoEVLAN发现 115
8.6.2 FLOGI注册和FPMA 115
8.7 典型的FCoE网络架构 117
8.8 FCoE架构中的两种设备类型 118
8.8.1 终结FCoE流量的设备——ENode 118
8.8.2 转发FCoE流量的交换机——FCF 119
8.9 FCoE的演化——四种多跳FCoE方案 120
8.9.1 纯以太网模式 120
8.9.2 FIPSnooping模式 122
8.9.3 NPV模式 125
8.9.4 VE_Port互联模式 126
8.10 一个FCoE数据帧的转发过程 127
8.11 FCoE的标准化与市场化进程 129
8.12 iSCSI行不行？非FCoE不可吗 130
第9章 连接虚拟机的交换机 133
9.1 为什么虚拟化数据中心需要一台新的交换机 133
9.2 仅仅在服务器内部实现简单交换是不够的 136
9.2.1 软件VEB 136
9.2.2 硬件VEB 137
9.3 识别特定虚拟机的流量——用VN—Tag为虚拟机打上网络标签 138
9.4 一个VN—Tag交换实例 142
9.5 基于VN—Tag的新一代网络设备 145
9.5.1 VN—Tag网卡 145
9.5.2 VN—Tag交换机 147
9.5.3 操作系统支持 148
9.6 VN—Tag之外的选择——VEPA 148
9.6.1 标准版VEPA 148
9.6.2 增强版VEPA 149
9.7 VEPA交换机扫描 151
9.7.1 HP5900 151
9.7.2 JuniperQFabric 152
9.7.3 JuniperEX4500和EX8200 152
9.7.4 ExtremeSummitX670 153
9.8 VN—Tag与VEPA的交锋 154
第10章 虚拟化的最后一公里——虚拟化网卡 158
10.1 补齐虚拟化的最后一公里 158
10.2 什么是虚拟化网卡 161
10.2.1 什么是虚拟接入 161
10.2.2 什么是虚拟通道 161
10.3 利用SR—IOV实现虚拟化网卡 162
10.4 SR—IOV的实践者——Palo 163
10.5 将SR—IOV带入现实的辅助技术 165
10.6 更加彻底的虚拟化——MR—IOV 166
10.7 后面的故事 168
第11章 数据中心互联设计——更广泛的二层网络 169
11.1 数据中心二层互联的需求 169
11.2 通过VPLS实现互联 171
11.3 一个VPLS转发实例 173
11.4 VPLS的限制 175
11.4.1 缺乏对局域网的优化 175
11.4.2 依赖运营商资源 176
11.4.3 配置复杂 176
11.5 通过OTV（上层传输虚拟化）实现互联 176
11.5.1 OTV的数据平面 177
11.5.2 OTV的控制平面 177
11.6 OTV对二层协议的优化 179
11.7 OTV对三层网关的优化 180
11.8 OTV环境下的多接入和流量负载均衡 180
11.9 LISPvs.VPLS 181
11.10 LISP与OTV的关系 183
第12章 自定义网络——OpenFlow与SDN 184
12.1 通过软件定义网络——SDN 184
12.2 实验室中走出的OpenFlow 186
12.3 OpenFlow的系统模型 189
12.4 OpenFlow交换机基本组成 192
12.5 两种OpenFlow交换机 193
12.5.1 OpenFlow专用交换机 193
12.5.2 OpenFlow兼容型交换机 194
12.6 OpenFlow中央控制器 195
12.6.1 控制器的主动工作模式 196
12.6.2 控制器的被动工作模式 197
12.7 一个OpenFlow实例 197
12.8 构建标准化的网络设计标准——OF—Config 199
12.8.1 OF—Config解决的问题 199
12.8.2 OF—Config的功能描述 199
12.9 认识一下OpenFlow的近亲 201
12.9.1 分布式转发模块化交换机 201
12.9.2 远端板卡 202
12.9.3 Nexus1000v 203
12.9.4 OpenvSwitch 204
12.9.5 EEM 204
12.10 Google的OpenFlow实践 206
12.11 网络厂家的SDN战略 208
12.11.1 NEC的OpenFlow战略 209
12.11.2 HP的OpenFlow战略 209
12.11.3 Juniper的OpenFlow战略 210
12.11.4 Nicira的OpenFlow战略 210
12.11.5 Cisco的OpenFlow战略 211
12.12 SDN/OpenFlow的前景 213
第13章 更大的云——VXLAN 217
13.1 VXLAN要解决的问题 217
13.2 VXLAN的新头部 219
13.3 VXLAN的数据平面——隧道机制 220
13.3.1 隧道机制减小对现网的改动 221
13.3.2 隧道机制对快速变更的支持 221
13.4 VXLAN的控制平面——改进的二层协议 221
13.5 纯VXLAN部署场景 223
13.6 VXLAN与非VXLAN混合部署 224
13.7 一个VXLAN转发实例 225
13.7.1 第一阶段——ARP请求 226
13.7.2 第二阶段——数据传输 226
13.8 VXLAN、OTV、LISP，它们都有什么关系 227
13.9 Microsoft的算盘——NVGRE 228
第14章 桌面虚拟化网络漫谈 230
14.1 桌面虚拟化的前身——远程桌面 230
14.2 虚拟桌面的诞生 231
14.3 虚拟桌面是怎样工作的 232
14.3.1 集中托管方式 232
14.3.2 远程同步方式 233
14.4 虚拟桌面的客户端类型 234
14.4.1 零客户端虚拟桌面 234
14.4.2 瘦客户端虚拟桌面 235
14.4.3 胖客户端虚拟桌面 235
14.5 一个典型的虚拟桌面后台架构 235
14.6 决定虚拟桌面的成败——用网络替代VGA线缆 237
14.7 虚拟桌面的核心网络技术——网络显示协议 238
14.8 网络显示协议三大要素 239
14.8.1 网络资源 239
14.8.2 用户体验 240
14.8.3 CPU占用率 240
14.9 显示协议——兵家必争之地 240
14.10 老牌显示协议——RDP 241
14.11 显示协议的王者——HDX/ICA 244
14.12 后起之秀——PCoIP 245
14.13 HDXvs.RDPvs.PCoIP，谁主沉浮 248
第15章 大数据网络设计要点 251
15.1 大数据的产生 251
15.2 全新的大数据 253
15.3 MapReduce的原理 254
15.4 MapReduce的业务流程 254
15.5 写入数据过程中的网络流量模型 255
15.6 MapReduce算法过程中的网络流量模型 255
15.6.1 Map过程 256
15.6.2 Shuffle过程 256
15.6.3 Reduce过程 257
15.6.4 OutPut过程 257
15.7 读取数据过程中的网络流量模型 257
15.8 MapReduce网络模型综述 257
第四部分 基石篇
第16章 怎样将服务器接入网络 260
16.1 ToR（柜顶接入）和EoR（列头接入） 260
16.2 从增加一台服务器到增加一个机柜的服务器 262
16.3 鱼与熊掌不可兼得？ 263
16.4 Cisco的提案——FEX远端板卡 265
16.5 Juniper的尝试——QFabric 267
第17章 VOQ解密 270
17.1 头端阻塞是实现DCE交换机的障碍 270
17.2 利用VOQ防止头端阻塞 271
17.3 针对组播的VOQ设计 273
17.4 VOQ的产业化发展 273
第18章 刀片服务器网络 275
18.1 刀片服务器渊源 275
18.2 刀片服务器同传统ToR接入的区别 276
18.3 把握刀片服务器的网络设计 278
18.3.1 直通模块 278
18.3.2 交换模块 279
18.3.3 集中接入模式 281
第19章 千兆不够，要万兆！ 283
19.1 千兆到万兆的质变 283
19.1.1 万兆网络是FCoE的基础 283
19.1.2 更高的传输效率 285
19.1.3 助推虚拟化 287
19.2 万兆以太网标准现状 288
19.3 盘点万兆以太网交换机 289
19.3.1 CiscoCatalyst6500 289
19.3.2 CiscoNexus7000 290
19.3.3 H3C12500 291
19.3.4 H3C10500 291
19.3.5 JuniperQFabric 292
19.3.6 华为CloudEngine12800 292
19.3.7 DELLForce10E1200i 293
19.3.8 BrocadeBigIronRX 294
19.3.9 ExtremeX8 294
19.3.10 Arista7500 295
19.3.11 AVAYA8800 295
19.3.12 Alcatel—LucentOmniSwitch10K 296
19.3.13 锐捷RG—S12000 297
后记 298

推荐序一 XI
推荐序二 XIII
推荐序三 XVII
前言 XXI
第1章 这是科幻吗，不，它将成为现实 001
第2章 一台几乎可造万物的机器 009
打印三维物体：哈利•波特的魔杖复活了 014
走向数字化和模拟化：跨越虚拟世界和实体世界的鸿沟 017
“请把我的鞋子传真过来”：3D打印机能做到 021
3D打印的十大优势 023
第3章 灵活制造：既好，又快，还省 029
兼具大规模生产和手工生产的特征 033
更快：从设计到产品交付的时间缩短了 036
更便宜：降低产品开发成本 038
更好：生产出最佳的定制部件 039
按大小对市场进行排列：中国仅占8.5% 040
21世纪的空白画布 041
研究杀手级应用程序 045
轮胎也可以打印了 046
第4章 3D打印的赚钱之道 051
云制造：像蚂蚁工厂 054
创客运动 056
体验经济 058
MakerBot公司 059
Shapeways公司 061
100kGarages公司 063
打印产品有经济效益吗 064
从零起点到规模化生产：3D打印兼职也可做到 065
FabApp：就像iPhone应用程序一样 066
连续定制和产品多样性 067
性和娱乐 068
微型金融和微型工厂 069
第5章 3D打印机是如何打印的 071
基本打印制造过程 073
3D打印机的两大家族 076
喷射、挤压或喷雾打印机 076
融合、凝固、黏合式打印机 080
整理设计文件 085
后处理：3D打印的最后工序 088
3D打印催生原材料革命 089
第6章 设计软件：只要你能想到，就能设计和打印 093
从绘图文字处理器到AutoCAD 095
设计软件：以数字化的方式呈现物理世界 097
让一切皆为可能：设计软件与3D打印的结合 100
设计机器零件：实体建模CAD 102
绘制屏幕上的字符：3D计算机图形软件 103
编辑物理世界就像编辑照片一样 104
设计软件的未来 106
把设计的东西完美打印出来 108
STL：目前的标准 109
增材制造：新标准 109
下一代的设计软件：数字化捕捉 110
第7章 “活墨”生物打印：人体器官可以打印了 113
3D打印：让你一夜之间年轻20岁 115
3D打印生命阶梯 117
组织工程学：3D打印干细胞 121
干细胞、生物墨与生物纸：3D打印活细胞 123
打印活性软骨 125
打印心脏瓣膜 127
我们能设计、打印自己的身体吗 130
打印人造身体部位 133
生物打印的未来 134
第8章 3D打印时代的数字厨房 139
数字烹饪：一场烹饪革命 142
打印汉堡包、肉饼和番茄酱 146
食品打印关键在分辨率 148
打印的饼干里面竟然有图案 150
疯狂科学家公司：他们成功了 152
自身量化饮食：你再也不用担心糖尿病和肥胖症了 154
打印的食品不仅仅是加工食品 156
从加工食品到合成食品 159
3D打印杀手级应用程序 162
第9章 教室里的工厂：3D打印颠覆传统教育方式 163
边做边学：孩子们的工程学 166
从高中阶段说开去 170
学习应该是令人愉快的 173
考试分数与动手能力 175
忘记学习方式 176
3D打印让学生不再遗忘 177
触觉教学：课堂教育的新革命 179
课堂教育如何应用3D打印 182
3D打印未来的课堂 184
第10章 美好的世界：3D打印时代的审美标准 187
计算机：如同大自然造物者 190
3D打印：让你脚上的鞋子舒适无比 195
获取生物数据：打印最优化产品 199
响应智能设计 202
用3D打印机打印建筑物 205
机器人设计师 209
第11章 3D打印：让制造业不再有污染 211
两个塑料玩具的故事 216
更绿色环保的制造 218
低碳制造：3D打印能做到 218
高效能零部件打印：喷气式客机也能打印 220
制造过程清洁化 221
3D打印的垃圾站更清洁、更美妙 222
变废为宝：绿色环保打印 224
3D打印如何既环保又不浪费 228
第12章 当武器和毒品也能打印、知识产权彻底失效时 231
打印武器、毒品和假冒伪劣产品 234
打印特制药物 236
3D打印时代消费者如何保护自身安全 238
3D打印时代的知识产权 239
商标 242
著作权 242
专利 244
数字版权 245
难道知识产权和专利保护过时了 246
RepRap打印机：改变商业模式 246
开源硬件：21世纪的专利制度 250
微专利 252
3D打印迫切需要法律保护 253
第13章 用3D打印设计你的未来 255
格雷伯爵茶 257
史蒂夫•乔布斯：“计算机是我们大脑中的自行车” 259
3D打印视觉设计：从游戏中获得灵感 259
物质编译器：让3D打印设计变得如此简单 263
交互式设计：和计算机交流设计想法 265
形式语言：设计师与计算机无缝协同工作 268
食谱式设计 270
生长式设计 271
反应蓝图：复杂形状的自动化生产 272
一种设计生产多种定制产品 273
会思考的打印机 274
改变设计工具的形状 275
第14章 3D打印的下一篇章 277
3D打印的三个篇章 281
多元材料的混合制造 282
活性系统打印：打印完整的机器人 286
最后的篇章：从模拟到数字 290
模拟—数字混合打印 294
机器制造机器的时代 295
译后记 297

出版者的话
推荐序
中文版序
译者序
前言
致谢
第1章简介
1.1如何阅读本书
1.2R简介
1.2.1R起步
1.2.2R对象
1.2.3向量
1.2.4向量化
1.2.5因子
1.2.6生成序列
1.2.7数据子集
1.2.8矩阵和数组
1.2.9列表
1.2.10数据框
1.2.11构建新函数
1.2.12对象、类和方法
1.2.13管理R会话
1.3MySQL简介
第2章预测海藻数量
2.1问题描述与目标
2.2数据说明
2.3数据加载到R
2.4数据可视化和摘要
2.5数据缺失
2.5.1将缺失部分剔除
2.5.2用最高频率值来填补缺失值
2.5.3通过变量的相关关系来填补缺失值
2.5.4通过探索案例之间的相似性来填补缺失值
2.6获取预测模型
2.6.1多元线性回归
2.6.2回归树
2.7模型的评价和选择
2.8预测7类海藻的频率
2.9小结
第3章预测股票市场收益
3.1问题描述与目标
3.2可用的数据
3.21在R中处理与时间有关的数据
3.22从CSV文件读取数据
3.23从网站上获取数据
3.24从MySQL数据库读取数据
3.3定义预测任务
3.3.1预测什么
3.3.2预测变量是什么
3.3.3预测任务
3.3.4模型评价准则
3.4预测模型
3.4.1如何应用训练集数据来建模
3.4.2建模工具
3.5从预测到实践
3.5.1如何应用预测模型
3.5.2与交易相关的评价准则
3.5.3模型集成：仿真交易
3.6模型评价和选择
3.6.1蒙特卡罗估计
3.6.2实验比较
3.6.3结果分析
3.7交易系统
3.7.1评估最终测试数据
3.7.2在线交易系统
3.8小结
第4章侦测欺诈交易
4.1问题描述与目标
4.2可用的数据
4.2.1加载数据至R
4.2.2探索数据集
4.2.3数据问题
4.3定义数据挖掘任务
4.3.1问题的不同解决方法
4.3.2评价准则
4.3.3实验方法
4.4计算离群值的排序
4.4.1无监督方法
4.4.2有监督方法
4.4.3半监督方法
4.5小结
第5章微阵列样本分类
5.1问题描述与目标
5.1.1微阵列实验背景简介
5.1.2数据集ALL
5.2可用的数据
5.3基因（特征）选择
5.3.1基于分布特征的简单过滤方法
5.3.2 ANOVA过滤
5.3.3用随机森林进行过滤
5.3.4用特征聚类的组合进行过滤
5.4遗传学异常的预测
5.4.1定义预测任务
5.4.2模型评价标准
5.4.3实验过程
5.4.4建模技术
5.4.5模型比较
5.5小结
参考文献
主题索引
数据挖掘术语索引
R函数索引

第1章  概述 1
1.1  操作系统基础 2
1.1.1  计算机系统的硬件资源管理 2
1.1.2  为应用程序提供执行环境 5
1.2  学习操作系统之必备知识 7
1.3  Windows操作系统发展历史 9
1.4  Windows内核的版本 11
1.5  操作系统的研究与发展 13
1.6  本章总结 16
第2章  Windows系统总述 17
2.1  现代操作系统的基本结构 17
2.2  Windows系统结构 18
2.2.1  Windows内核结构 20
2.2.2  Windows内核中的关键组件 22
2.2.3  Windows子系统 29
2.2.4  系统线程和系统进程 32
2.3  关于Windows研究内核 34
2.3.1  WRK包含了什么 35
2.3.2  WRK源代码说明 36
2.3.3  本书对WRK源代码的引用 38
2.4  Windows内核的基本概念 39
2.4.1  处理器模式 40
2.4.2  内存管理 41
2.4.3  进程和线程管理 43
2.4.4  中断和异常 45
2.4.5  同步 48
2.5  Windows内核中的公共管理设施 50
2.5.1  Windows内核中的对象管理 50
2.5.2  注册表和配置管理器 58
2.5.3  事件追踪（ETW） 69
2.5.4  安全性管理 72
2.6  Windows引导过程 79
2.6.1  内核加载 79
2.6.2  内核初始化 86
2.6.3  建立用户登录会话 91
2.7  本章总结 97
第3章  Windows进程和线程 99
3.1  进程基本概念 99
3.1.1  多进程模型 99
3.1.2  进程和程序 101
3.2  线程基本概念 104
3.2.1  线程模型 104
3.2.2  线程调度算法 106
3.2.3  线程和进程的关系 108
3.3  Windows中进程和线程数据结构 108
3.3.1  内核层的进程和线程对象 108
3.3.2  执行体层的进程和线程对象 120
3.4  Windows的进程和线程管理 131
3.4.1  Windows进程中的句柄表 131
3.4.2  获得当前线程和进程 136
3.4.3  进程和线程的创建过程 137
3.4.4  进程和线程的结束 147
3.4.5  系统初始进程和线程 149
3.5  Windows中的线程调度 151
3.5.1  线程优先级 152
3.5.2  线程状态转移 154
3.5.3  时限管理 164
3.5.4  优先级调度和环境切换 166
3.6  进程和线程状态监视工具 172
3.6.1  ProcMon使用示例 172
3.6.2  ProcMon实现原理 174
3.7  本章总结 174
第4章  Windows内存管理 175
4.1  内存管理概述 176
4.1.1  页式内存管理 177
4.1.2  段式内存管理 181
4.1.3  内存管理算法介绍 184
4.1.4  Windows内存管理概述 192
4.2  Windows系统内存管理 194
4.2.1  系统地址空间初始化 194
4.2.2  系统地址空间内存管理 209
4.2.3  系统PTE区域的管理 224
4.3  进程虚拟内存管理 229
4.3.1  地址空间的创建和初始化 229
4.3.2  地址空间切换 234
4.3.3  虚拟地址空间的管理 235
4.3.4  内存区对象 241
4.4  内存页面交换 249
4.4.1  x86中的PTE 250
4.4.2  软件PTE：无效PTE和原型PTE 253
4.4.3  页面错误处理 257
4.4.4  Windows的写时复制 263
4.5  物理内存管理 265
4.5.1  PFN数据库 265
4.5.2  物理页面的状态变化 270
4.5.3  物理页面链表的管理和操作 274
4.5.4  修改页面写出器 279
4.5.5  进程/栈交换器 281
4.5.6  低内存通知和高内存通知 284
4.6  工作集管理 285
4.6.1  Windows工作集管理器 285
4.6.2  平衡集管理器 291
4.7  内存监视工具Mem_Mon 292
4.7.1  Mem_Mon使用介绍 292
4.7.2  Mem_Mon实现原理 293
4.8  本章总结 294
第5章  Windows中的并发和同步 295
5.1  进程和线程同步基础 295
5.1.1  并发性基础 296
5.1.2  进程或线程之间的通讯 299
5.1.3  经典的同步问题 303
5.2  Windows中断与异常 308
5.2.1  硬件中断的发生和处理 308
5.2.2  中断请求级别（IRQL） 314
5.2.3  中断对象 317
5.2.4  DPC（延迟过程调用） 320
5.2.5  时钟中断和定时器管理 324
5.2.6  APC（异步过程调用） 328
5.2.7  异常分发 333
5.3  不依赖于线程调度的同步机制 340
5.3.1  提升IRQL实现数据同步 340
5.3.2  互锁操作 342
5.3.3  无锁的单链表实现 343
5.3.4  自旋锁 345
5.4  基于线程调度的同步机制 351
5.4.1  线程进入等待 351
5.4.2  分发器对象 358
5.4.3  门等待 365
5.4.4  执行体资源（executive resource） 367
5.4.5  推锁（push lock） 370
5.4.6  死锁 375
5.5  使用工具DPerfLite 376
5.5.1  DPerfLite使用示例 376
5.5.2  DPerfLite实现原理 378
5.6  本章总结 379
第6章  Windows I/O系统 381
6.1  I/O概述 382
6.1.1  现代计算机系统的I/O 382
6.1.2  I/O软件技术 386
6.1.3  Windows的I/O系统结构 388
6.2  I/O管理器 390
6.2.1  驱动程序初始化 390
6.2.2  驱动程序对象和设备对象 397
6.2.3  文件对象 401
6.2.4  对象生命周期管理 405
6.3  即插即用管理器 406
6.3.1  即插即用的基本要求 407
6.3.2  Windows中驱动程序的即插即用支持 408
6.3.3  设备列举与设备树 409
6.4  电源管理器 411
6.4.1  电源管理概述 412
6.4.2  Windows中的电源管理 415
6.5  设备驱动程序 420
6.5.1  驱动程序分类 420
6.5.2  例子驱动程序toaster 423
6.5.3  驱动程序的代码结构 425
6.5.4  toaster设备的设备栈 430
6.5.5  过滤驱动程序的配置和加载 431
6.5.6  非即插即用驱动程序 435
6.6  I/O处理 437
6.6.1  I/O请求包（IRP） 438
6.6.2  针对独立设备对象的I/O处理 444
6.6.3  处理I/O请求过程中的事项 449
6.6.4  针对设备栈的I/O处理 459
6.6.5  I/O完成端口 463
6.7  I/O监视工具IRPMon 466
6.7.1  IRPMon使用介绍 466
6.7.2  IRPMon实现原理 467
6.8  本章总结 468
第7章  Windows存储管理 469
7.1  存储管理概述 469
7.1.1  硬件存储体系（Memory hierarchy） 470
7.1.2  Windows的存储管理结构 472
7.2  Windows缓存管理 474
7.2.1  Windows缓存空间的内存管理 474
7.2.2  缓存管理器的数据访问路径 481
7.2.3  直接使用缓存中的数据 484
7.2.4  缓存管理器的预读处理 491
7.2.5  缓存管理器的延迟写 494
7.3  Windows卷管理 497
7.3.1  Windows中存储栈结构 497
7.3.2  卷的挂载 501
7.3.3  卷与文件系统 504
7.3.4  文件对象的I/O处理 508
7.4  Windows文件系统 510
7.4.1  文件系统驱动程序结构 511
7.4.2  RAW文件系统和FsRtl 516
7.4.3  文件系统的过滤 520
7.4.4  FAT文件系统 527
7.4.5  NTFS文件系统 532
7.5  本章总结 540
第8章  Windows系统服务 541
8.1  Windows系统服务原理 541
8.1.1  Intel x86的用户模式-内核模式切换 541
8.1.2  Windows的用户模式-内核模式切换 546
8.1.3  Windows中的系统服务分发 550
8.1.4  增加系统服务表或表项 557
8.2  LPC（本地过程调用）服务 561
8.2.1  LPC结构模型 561
8.2.2  LPC端口和LPC消息 563
8.2.3  LPC通讯模型的实现 565
8.2.4  LPC应用 571
8.3  命名管道（Named Pipe）服务 573
8.3.1  命名管道的名称解析 573
8.3.2  命名管道的通讯模型 575
8.3.3  命名管道的实现 577
8.4  邮件槽（Mailslot）服务 580
8.4.1  邮件槽的名称解析 580
8.4.2  邮件槽的通讯模型 581
8.4.3  邮件槽的实现 581
8.5  SDT显示工具SDTViewer 583
8.5.1  SDTViewer使用介绍 583
8.5.2  SDTViewer实现原理 584
8.6  本章总结 585
第9章  Windows内核高级话题 587
9.1  网络 587
9.1.1  Windows网络体系结构 587
9.1.2  TDI（传输驱动程序接口） 591
9.1.3  NDSI（网络驱动程序接口规范） 594
9.1.4  Windows Vista以后的网络结构 597
9.2  Windows子系统 599
9.2.1  Windows子系统结构 599
9.2.2  Windows子系统初始化与GUI线程 602
9.2.3  窗口管理 606
9.2.4  GDI（图形设备接口） 616
9.2.5  Windows Vista以后的子系统变化 622
9.3  内核日志 625
9.3.1  WRK中的内核记录器 625
9.3.2  利用ETW信息诊断性能问题 628
9.4  Windows Vista/Server 2008/7的重要变化 636
9.4.1  MinWin工程 636
9.4.2  ？？ 639
附录A  建立编译和调试WRK环境 641
A.1  编译WRK 641
A.2  启动WRK 645
A.3  调试WRK 648
附录B  内核代码插入工具KInjectToolKit 657
B.1  KInjectToolKit功能介绍 658
B.2  KInjectToolKit的代码实现 659
B.3  KInjectToolKit的限制 663

开篇语 1
任何足够先进的技术都与魔术无异。
——阿瑟·C.克拉克，“技术及未来前景”，《三号行星的报告》，1972年
第一部分 硬件
第1章 计算机里有什么 11
1.1 逻辑构造 13
1.2 物理构造 18
1.3 摩尔定律 21
第2章 比特、字节与信息表示 23
2.1 模拟与数字 23
2.2 模数转换 25
2.3 比特、字节与二进制 30
2.4 小结 37
第3章 深入了解CPU 39
3.1 玩具计算机 40
3.2 真正的CPU 45
3.3 缓存 47
3.4 其他计算机 49
硬件部分小结 51
第二部分 软件
第4章 算法 57
4.1 线性算法 58
4.2 二分搜索 60
4.3 排序 62
4.4 难题与复杂性 66
4.5 小结 68
第5章 编程与编程语言 71
5.1 汇编语言 72
5.2 高级语言 73
5.3 软件开发 79
5.4 软件资产 84
第6章 软件系统 93
6.1 操作系统 94
6.2 操作系统怎么工作 98
6.3 其他操作系统 101
6.4 文件系统 102
6.5 应用程序 108
6.6 软件分层 111
第7章 学习编程 115
7.1 编程语言的基本概念 116
7.2 第一个JavaScript程序 117
7.3 第二个JavaScript程序 119
7.4 循环 121
7.5 条件 122
7.6 库和接口 124
7.7 JavaScript怎么工作 125
软件部分小结 127
第三部分 通信
第8章 网络 135
电话网作为一个覆盖全球的大型网络，从一开始只传送语音，到后来同时传输语音和可观的数据，为人类做出了贡献。大约有近20年的时间，人们都是通过电话网把家用计算机接入互联网的。
8.1 电话与调制解调器 136
8.2 有线和DSL 136
8.3 局域网和以太网 138
8.4 无线网络 141
8.5 手机 144
8.6 小结 147
第9章 互联网 149
9.1 互联网概述 150
9.2 域名和地址 153
9.3 路由 157
9.4 协议 159
9.5 高层协议 162
9.6 带宽 172
9.7 压缩 173
9.8 错误检测和校正 176
9.9 小结 177
第10章 万维网 179
10.1 万维网如何工作 180
10.2 HTML 182
10.3 表单 183
10.4 cookie 184
10.5 动态网页 186
10.6 网页之外的动态内容 189
10.7 病毒和蠕虫 190
10.8 万维网安全 192
10.9 密码术 201
10.10 小结 208
第11章 数据、信息和隐私 211
11.1 搜索 212
11.2 跟踪 216
11.3 数据库、信息与聚合 221
11.4 隐私失控 224
11.5 云计算 225
11.6 小结 230
第12章 结束语 231
注解 236
词汇表 242
索引 253
版权声明 256

第1篇概述
1大型网站架构演化2
1.1大型网站软件系统的特点3
1.2大型网站架构演化发展历程4
1.2.1初始阶段的网站架构4
1.2.2应用服务和数据服务分离4
1.2.3使用缓存改善网站性能5
1.2.4使用应用服务器集群改善网站的并发处理能力6
1.2.5数据库读写分离7
1.2.6使用反向代理和CDN加速网站响应8
1.2.7使用分布式文件系统和分布式数据库系统9
1.2.8使用NoSQL和搜索引擎10
1.2.9业务拆分11
1.2.10分布式服务11
1.3大型网站架构演化的价值观13
1.3.1大型网站架构技术的核心价值是随网站所需灵活应对13
1.3.2驱动大型网站技术发展的主要力量是网站的业务发展13
1.4网站架构设计误区14
1.4.1一味追随大公司的解决方案14
1.4.2为了技术而技术14
1.4.3企图用技术解决所有问题14
1.5小结15
2大型网站架构模式16
2.1网站架构模式16
2.1.1分层17
2.1.2分割18
2.1.3分布式18
2.1.4集群19
2.1.5缓存20
2.1.6异步20
2.1.7冗余21
2.1.8自动化22
2.1.9安全23
2.2架构模式在新浪微博的应用23
2.3小结25
3大型网站核心架构要素26
3.1性能27
3.2可用性28
3.3伸缩性29
3.4扩展性30
3.5安全性30
3.6小结31
第2篇架构
4瞬时响应：网站的高性能架构34
4.1网站性能测试35
4.1.1不同视角下的网站性能35
4.1.2性能测试指标36
4.1.3性能测试方法39
4.1.4性能测试报告41
4.1.5性能优化策略41
4.2Web前端性能优化42
4.2.1浏览器访问优化42
4.2.2CDN加速43
4.2.3反向代理44
4.3应用服务器性能优化45
4.3.1分布式缓存45
4.3.2异步操作52
4.3.3使用集群53
4.3.4代码优化54
4.4存储性能优化58
4.4.1机械硬盘vs.固态硬盘58
4.4.2B+树vs.LSM树59
4.4.3RAIDvs.HDFS61
4.5小结64
5万无一失：网站的高可用架构66
5.1网站可用性的度量与考核67
5.1.1网站可用性度量67
5.1.2网站可用性考核67
5.2高可用的网站架构69
5.3高可用的应用71
5.3.1通过负载均衡进行无状态服务的失效转移72
5.3.2应用服务器集群的Session管理73
5.4高可用的服务76
5.5高可用的数据78
5.5.1CAP原理79
5.5.2数据备份82
5.5.3失效转移84
5.6高可用网站的软件质量保证85
5.6.1网站发布85
5.6.2自动化测试86
5.6.3预发布验证87
5.6.4代码控制88
5.6.5自动化发布90
5.6.6灰度发布91
5.7网站运行监控91
5.7.1监控数据采集92
5.7.2监控管理93
5.8小结94
6永无止境：网站的伸缩性架构95
6.1网站架构的伸缩性设计97
6.1.1不同功能进行物理分离实现伸缩97
6.1.2单一功能通过集群规模实现伸缩98
6.2应用服务器集群的伸缩性设计99
6.2.1HTTP重定向负载均衡100
6.2.2DNS域名解析负载均衡101
6.2.3反向代理负载均衡102
6.2.4IP负载均衡103
6.2.5数据链路层负载均衡104
6.2.6负载均衡算法105
6.3分布式缓存集群的伸缩性设计106
6.3.1Memcached分布式缓存集群的访问模型107
6.3.2Memcached分布式缓存集群的伸缩性挑战107
6.3.3分布式缓存的一致性Hash算法109
6.4数据存储服务器集群的伸缩性设计112
6.4.1关系数据库集群的伸缩性设计113
6.4.2NoSQL数据库的伸缩性设计117
6.5小结119
7随需应变：网站的可扩展架构121
7.1构建可扩展的网站架构122
7.2利用分布式消息队列降低系统耦合性123
7.2.1事件驱动架构123
7.2.2分布式消息队列124
7.3利用分布式服务打造可复用的业务平台126
7.3.1WebService与企业级分布式服务128
7.3.2大型网站分布式服务的需求与特点129
7.3.3分布式服务框架设计130
7.4可扩展的数据结构131
7.5利用开放平台建设网站生态圈132
7.6小结134
8固若金汤：网站的安全架构135
8.1道高一尺魔高一丈的网站应用攻击与防御136
8.1.1XSS攻击136
8.1.2注入攻击138
8.1.3CSRF攻击139
8.1.4其他攻击和漏洞140
8.1.5Web应用防火墙141
8.1.6网站安全漏洞扫描142
8.2信息加密技术及密钥安全管理142
8.2.1单向散列加密143
8.2.2对称加密144
8.2.3非对称加密144
8.2.4密钥安全管理145
8.3信息过滤与反垃圾146
8.3.1文本匹配147
8.3.2分类算法148
8.3.3黑名单149
8.4电子商务风险控制150
8.4.1风险151
8.4.2风控151
8.5小结153
第3篇案例
9淘宝网的架构演化案例分析156
9.1淘宝网的业务发展历程157
9.2淘宝网技术架构演化158
9.3小结162
10维基百科的高性能架构设计分析163
10.1Wikipedia网站整体架构163
10.2Wikipedia性能优化策略165
10.2.1Wikipedia前端性能优化165
10.2.2Wikipedia服务端性能优化166
10.2.3Wikipedia后端性能优化167
11海量分布式存储系统Doris的高可用架构设计分析169
11.1分布式存储系统的高可用架构170
11.2不同故障情况下的高可用解决方案171
11.2.1分布式存储系统的故障分类172
11.2.2正常情况下系统访问结构172
11.2.3瞬时故障的高可用解决方案173
11.2.4临时故障的高可用解决方案174
11.2.5永久故障的高可用解决方案175
12网购秒杀系统架构设计案例分析176
12.1秒杀活动的技术挑战177
12.2秒杀系统的应对策略177
12.3秒杀系统架构设计178
12.4小结182
13大型网站典型故障案例分析183
13.1写日志也会引发故障184
13.2高并发访问数据库引发的故障184
13.3高并发情况下锁引发的故障185
13.4缓存引发的故障185
13.5应用启动不同步引发的故障186
13.6大文件读写独占磁盘引发的故障186
13.7滥用生产环境引发的故障187
13.8不规范的流程引发的故障187
13.9不好的编程习惯引发的故障188
13.10小结188
第4篇架构师
14架构师领导艺术190
14.1关注人而不是产品191
14.2发掘人的优秀191
14.3共享美好蓝图192
14.4共同参与架构193
14.5学会妥协194
14.6成就他人194
15网站架构师职场攻略196
15.1发现问题，寻找突破197
15.2提出问题，寻求支持199
15.3解决问题，达成绩效201
16漫话网站架构师203
16.1按作用划分架构师203
16.2按效果划分架构师204
16.3按职责角色划分架构师205
16.4按关注层次划分架构师205
16.5按口碑划分架构师206
16.6非主流方式划分架构师207
附录A大型网站架构技术一览208
附录BWeb开发技术发展历程215
后记218