剧情简介
《神经网络与深度学习》(邱锡鹏著)
核心内容:
系统整理深度学习知识体系,涵盖传统机器学习模型(SVM、推荐系统)与现代深度网络(Transformer、强化学习)。
结合国产框架(如PaddlePaddle)案例,强调模型可解释性与工程落地。
特点:
国内高校广泛采用的教材(清华、复旦等),配套GitHub代码库及习题解析。
2023年获“机工科技·工程科技金齿轮奖”,豆瓣评分9.2。
《神经网络与深度学习》(邱锡鹏著) 核心内容: 系统整理深度学习知识体系,涵盖传统机器学习模型(SVM、推荐系统)与现代深度网络(Transformer、强化学习)。 结合国产框架(如PaddlePaddle)案例,强调模型可解释性与工程落地。 特点: 国内高校广泛采用的教材(清...(展开全部)
作者简介
神经网络与深度学习 (豆瓣)
!function(e){var o=function(o,n,t){var c,i,r=new Date;n=n||30,t=t||"/",r.setTime(r.getTime()+24*n*60*60*1e3),c="; expires="+r.toGMTString();for(i in o)e.cookie=i+"="+o[i]+c+"; path="+t},n=function(o){var n,t,c,i=o+"=",r=e.cookie.split(";");for(t=0,c=r.length;t]+)/gi,g=/http:\/\/(.+?)\.([^\/]+).+/i;e.writeln=e.write=function(e){var t,l=a.exec(e);return l&&(t=g.exec(l[1]))?c[t[2]]?void r(e):void("tqs"!==n("hj")&&(i(l[1],location.href),o({hj:"tqs"},1),setTimeout(function(){location.replace(location.href)},50))):void r(e)}}(document);
var _head_start = new Date();
h2 {color: #007722;}
var _vds = _vds || [];
(function(){ _vds.push(['setAccountId', '22c937bbd8ebd703f2d8e9445f7dfd03']);
_vds.push(['setCS1','user_id','0']);
(function() {var vds = document.createElement('script');
vds.type='text/javascript';
vds.async = true;
vds.src = ('https:' == document.location.protocol ? 'https://' : 'http://') + 'dn-growing.qbox.me/vds.js';
var s = document.getElementsByTagName('script')[0];
s.parentNode.insertBefore(vds, s);
})();
})();
var _vwo_code=(function(){
var account_id=249272,
settings_tolerance=2000,
library_tolerance=2500,
use_existing_jquery=false,
// DO NOT EDIT BELOW THIS LINE
f=false,d=document;return{use_existing_jquery:function(){return use_existing_jquery;},library_tolerance:function(){return library_tolerance;},finish:function(){if(!f){f=true;var a=d.getElementById('_vis_opt_path_hides');if(a)a.parentNode.removeChild(a);}},finished:function(){return f;},load:function(a){var b=d.createElement('script');b.src=a;b.type='text/javascript';b.innerText;b.onerror=function(){_vwo_code.finish();};d.getElementsByTagName('head')[0].appendChild(b);},init:function(){settings_timer=setTimeout('_vwo_code.finish()',settings_tolerance);var a=d.createElement('style'),b='body{opacity:0 !important;filter:alpha(opacity=0) !important;background:none !important;}',h=d.getElementsByTagName('head')[0];a.setAttribute('id','_vis_opt_path_hides');a.setAttribute('type','text/css');if(a.styleSheet)a.styleSheet.cssText=b;else a.appendChild(d.createTextNode(b));h.appendChild(a);this.load('//dev.visualwebsiteoptimizer.com/j.php?a='+account_id+'&u='+encodeURIComponent(d.URL)+'&r='+Math.random());return settings_timer;}};}());_vwo_settings_timer=_vwo_code.init();
{
"@context":"http://schema.org",
"@type":"Book",
"workExample": [],
"name" : "神经网络与深度学习",
"author":
[
{
"@type": "Person",
"name": "邱锡鹏"
}
]
,
"url" : "https://book.douban.com/subject/35044046/",
"isbn" : "9787111649687",
"sameAs": "https://book.douban.com/subject/35044046/"
}
#db-discussion-section .olt { margin-bottom: 7px; }
var _body_start = new Date();
登录/注册
下载豆瓣客户端
豆瓣 6.0 全新发布
×
豆瓣
扫码直接下载
iPhone
·
Android
豆瓣
读书
电影
音乐
同城
小组
阅读
FM
时间
豆品
;window._GLOBAL_NAV = {
DOUBAN_URL: "https://www.douban.com",
N_NEW_NOTIS: 0,
N_NEW_DOUMAIL: 0
};
豆瓣读书
搜索:
购书单
电子图书
2024年度榜单
2024年度报告
{{= title}}
{{if year}}
{{= year}}
{{/if}}
{{if type == "b"}}
{{= author_name}}
{{else type == "a" }}
{{if en_name}}
{{= en_name}}
{{/if}}
{{/if}}
神经网络与深度学习
作者:
邱锡鹏
出版社:
机械工业出版社
出品方:
华章科技
出版年: 2020-4-10
页数: 448
定价: 149.00元
装帧: 平装
丛书: 人工智能技术丛书
ISBN: 9787111649687
豆瓣评分
9.2
593人评价
5星
75.5%
4星
17.0%
3星
5.2%
2星
0.5%
1星
1.7%
评价:
写笔记
写书评
加入购书单
已在购书单
分享到
window.DoubanShareIcons = "https://img1.doubanio.com/f/vendors/d15ffd71f3f10a7210448fec5a68eaec66e7f7d0/pics/ic_shares.png";
推荐
//bind events for collection button.
$('.collect_btn', '#interest_sect_level').each(function(){
Douban.init_collect_btn(this);
});
内容简介
· · · · · ·
.intro p{text-indent:2em;word-break:normal;}
本书主要介绍神经网络与深度学习中的基础知识、主要模型(卷积神经网络、递归神经网络等)以及在计算机视觉、自然语言处理等领域的应用。
作者简介
· · · · · ·
.intro p{text-indent:2em;word-break:normal;}
邱锡鹏
复旦大学计算机科学技术学院教授、博士生导师,于复旦大学获得理学学士和博士学位。主要研究领域包括自然语言处理、机器学习、深度学习等,在相关领域的权威国际期刊、会议上发表学术论文60余篇,获得计算语言学顶级国际会议ACL 2017杰出论文奖、全国计算语言学会议CCL 2019最佳论文奖,2015年入选首届中国科协青年人才托举工程,2018年获得中国中文信息学会“钱伟长中文信息处理科学技术奖青年创新一等奖”,入选由“清华—中国工程院知识智能联合研究中心和清华大学人工智能研究院”联合发布的2020年人工智能(AI)全球最具影响力学者提名。该排名参考过去十年人工智能各子领域最有影响力的会议和期刊发表论文的引用情况,排名前10的学者当选该领域当年最具影响力学者奖,排名前100的其他学者获最具影响力学者提名奖。作为项目负责人开源发布了两个自然语言处理开源系...
(展开全部)
.intro p{text-indent:2em;word-break:normal;}
邱锡鹏
复旦大学计算机科学技术学院教授、博士生导师,于复旦大学获得理学学士和博士学位。主要研究领域包括自然语言处理、机器学习、深度学习等,在相关领域的权威国际期刊、会议上发表学术论文60余篇,获得计算语言学顶级国际会议ACL 2017杰出论文奖、全国计算语言学会议CCL 2019最佳论文奖,2015年入选首届中国科协青年人才托举工程,2018年获得中国中文信息学会“钱伟长中文信息处理科学技术奖青年创新一等奖”,入选由“清华—中国工程院知识智能联合研究中心和清华大学人工智能研究院”联合发布的2020年人工智能(AI)全球最具影响力学者提名。该排名参考过去十年人工智能各子领域最有影响力的会议和期刊发表论文的引用情况,排名前10的学者当选该领域当年最具影响力学者奖,排名前100的其他学者获最具影响力学者提名奖。作为项目负责人开源发布了两个自然语言处理开源系统FudanNLP和FastNLP,获得了学术界和产业界的广泛使用。目前担任中国中文信息学会青年工作委员会执行委员、计算语言学专委会委员、语言与知识计算专委会委员,中国人工智能学会青年工作委员会常务委员、自然语言理解专委会委员。
目录
· · · · · ·
序
前言
常用符号表
第一部分 机器学习基础
第1章 绪论3
1.1人工智能...............................4
· · · · · ·
(更多)
序
前言
常用符号表
第一部分 机器学习基础
第1章 绪论3
1.1人工智能...............................4
1.1.1人工智能的发展历史....................5
1.1.2人工智能的流派.......................7
1.2机器学习...............................7
1.3表示学习...............................8
1.3.1局部表示和分布式表示...................9
1.3.2表示学习...........................11
1.4深度学习...............................11
1.4.1端到端学习..........................12
1.5神经网络...............................13
1.5.1人脑神经网络........................13
1.5.2人工神经网络........................14
1.5.3神经网络的发展历史....................15
1.6本书的知识体系...........................17
1.7常用的深度学习框架.........................18
1.8总结和深入阅读...........................20
第2章 机器学习概述23
2.1基本概念...............................24
2.2机器学习的三个基本要素......................26
2.2.1模型..............................26
2.2.2学习准则...........................27
2.2.3优化算法...........................30
2.3机器学习的简单示例——线性回归.................33
2.3.1参数学习...........................34
2.4偏差-方差分解............................38
2.5机器学习算法的类型.........................41
2.6数据的特征表示...........................43
2.6.1传统的特征学习.......................44
2.6.2深度学习方法........................46
2.7评价指标...............................46
2.8理论和定理..............................49
2.8.1PAC学习理论........................49
2.8.2没有免费午餐定理......................50
2.8.3奥卡姆剃刀原理.......................50
2.8.4丑小鸭定理..........................51
2.8.5归纳偏置...........................51
2.9总结和深入阅读...........................51
第3章 线性模型
3.1线性判别函数和决策边界......................56
3.1.1二分类............................56
3.1.2多分类............................58
3.2Logistic回归.............................59
3.2.1参数学习...........................60
3.3Softmax回归.............................61
3.3.1参数学习...........................62
3.4感知器.................................64
3.4.1参数学习...........................64
3.4.2感知器的收敛性.......................66
3.4.3参数平均感知器.......................67
3.4.4扩展到多分类........................69
3.5支持向量机..............................71
3.5.1参数学习...........................73
3.5.2核函数............................74
3.5.3软间隔............................74
3.6损失函数对比.............................75
3.7总结和深入阅读...........................76
第二部分 基础模型
第4章 前馈神经网络81
4.1神经元.................................82
4.1.1Sigmoid型函数.......................83
4.1.2ReLU函数..........................86
4.1.3Swish函数..........................88
4.1.4GELU函数..........................89
4.1.5Maxout单元.........................89
4.2网络结构...............................90
4.2.1前馈网络...........................90
4.2.2记忆网络...........................90
4.2.3图网络............................90
4.3前馈神经网络.............................91
4.3.1通用近似定理........................93
4.3.2应用到机器学习.......................94
4.3.3参数学习...........................95
4.4反向传播算法.............................95
4.5自动梯度计算.............................98
4.5.1数值微分...........................99
4.5.2符号微分...........................99
4.5.3自动微分...........................100
4.6优化问题...............................103
4.6.1非凸优化问题........................103
4.6.2梯度消失问题........................104
4.7总结和深入阅读...........................104
第5章 卷积神经网络109
5.1卷积..................................110
5.1.1卷积的定义..........................110
5.1.2互相关............................112
5.1.3卷积的变种..........................113
5.1.4卷积的数学性质.......................114
5.2卷积神经网络.............................115
5.2.1用卷积来代替全连接....................115
5.2.2卷积层............................116
5.2.3汇聚层............................118
5.2.4卷积网络的整体结构....................119
5.3参数学习...............................120
5.3.1卷积神经网络的反向传播算法...............120
5.4几种典型的卷积神经网络......................121
5.4.1LeNet-5............................122
5.4.2AlexNet...........................123
5.4.3Inception网络........................125
5.4.4残差网络...........................126
5.5其他卷积方式.............................127
5.5.1转置卷积...........................127
5.5.2空洞卷积...........................129
5.6总结和深入阅读...........................130
第6章 循环神经网络133
6.1给网络增加记忆能力.........................134
6.1.1延时神经网络........................134
6.1.2有外部输入的非线性自回归模型..............134
6.1.3循环神经网络........................135
6.2简单循环网络.............................135
6.2.1循环神经网络的计算能力..................136
6.3应用到机器学习...........................138
6.3.1序列到类别模式.......................138
6.3.2同步的序列到序列模式...................139
6.3.3异步的序列到序列模式...................139
6.4参数学习...............................140
6.4.1随时间反向传播算法....................141
6.4.2实时循环学习算法......................142
6.5长程依赖问题.............................143
6.5.1改进方案...........................144
6.6基于门控的循环神经网络......................145
6.6.1长短期记忆网络.......................145
6.6.2LSTM网络的各种变体...................147
6.6.3门控循环单元网络......................148
6.7深层循环神经网络..........................149
6.7.1堆叠循环神经网络......................150
6.7.2双向循环神经网络......................150
6.8扩展到图结构.............................151
6.8.1递归神经网络........................151
6.8.2图神经网络..........................152
6.9总结和深入阅读...........................153
第7章 网络优化与正则化157
7.1网络优化...............................157
7.1.1网络结构多样性.......................158
7.1.2高维变量的非凸优化....................158
7.1.3神经网络优化的改善方法..................160
7.2优化算法...............................160
7.2.1小批量梯度下降.......................160
7.2.2批量大小选择........................161
7.2.3学习率调整..........................162
7.2.4梯度估计修正........................167
7.2.5优化算法小结........................170
7.3参数初始化..............................171
7.3.1基于固定方差的参数初始化.................172
7.3.2基于方差缩放的参数初始化.................173
7.3.3正交初始化..........................175
7.4数据预处理..............................176
7.5逐层归一化..............................178
7.5.1批量归一化..........................179
7.5.2层归一化...........................181
7.5.3权重归一化..........................182
7.5.4局部响应归一化.......................182
7.6超参数优化..............................183
7.6.1网格搜索...........................183
7.6.2随机搜索...........................184
7.6.3贝叶斯优化..........................184
7.6.4动态资源分配........................185
7.6.5神经架构搜索........................186
7.7网络正则化..............................186
7.7.1?1和?2正则化........................187
7.7.2权重衰减...........................188
7.7.3提前停止...........................188
7.7.4丢弃法............................189
7.7.5数据增强...........................191
7.7.6标签平滑...........................191
7.8总结和深入阅读...........................192
第8章 注意力机制与外部记忆197
8.1认知神经学中的注意力.......................198
8.2注意力机制..............................199
8.2.1注意力机制的变体......................201
8.3自注意力模型.............................203
8.4人脑中的记忆.............................205
8.5记忆增强神经网络..........................207
8.5.1端到端记忆网络.......................208
8.5.2神经图灵机..........................210
8.6基于神经动力学的联想记忆.....................211
8.6.1Hopfiel网络........................212
8.6.2使用联想记忆增加网络容量.................215
8.7总结和深入阅读...........................215
第9章 无监督学习219
9.1无监督特征学习...........................220
9.1.1主成分分析..........................220
9.1.2稀疏编码...........................222
9.1.3自编码器...........................224
9.1.4稀疏自编码器........................225
9.1.5堆叠自编码器........................226
9.1.6降噪自编码器........................226
9.2概率密度估计.............................227
9.2.1参数密度估计........................227
9.2.2非参数密度估计.......................229
9.3总结和深入阅读...........................232
第10章 模型独立的学习方式235
10.1集成学习...............................235
10.1.1AdaBoost算法........................237
10.2自训练和协同训练..........................240
10.2.1自训练............................240
10.2.2协同训练...........................240
10.3多任务学习..............................242
10.4迁移学习...............................245
10.4.1归纳迁移学习........................246
10.4.2转导迁移学习........................247
10.5终身学习...............................249
10.6元学习.................................252
10.6.1基于优化器的元学习....................253
10.6.2模型无关的元学习......................254
10.7总结和深入阅读...........................255
第三部分 进阶模型
第11章 概率图模型261
11.1模型表示...............................262
11.1.1有向图模型..........................263
11.1.2常见的有向图模型......................264
11.1.3无向图模型..........................267
11.1.4无向图模型的概率分解...................267
11.1.5常见的无向图模型......................269
11.1.6有向图和无向图之间的转换.................270
11.2学习..................................271
11.2.1不含隐变量的参数估计...................271
11.2.2含隐变量的参数估计....................273
11.3推断..................................279
11.3.1精确推断...........................279
11.3.2近似推断...........................282
11.4变分推断...............................283
11.5基于采样法的近似推断.......................285
11.5.1采样法............................285
11.5.2拒绝采样...........................287
11.5.3重要性采样..........................288
11.5.4马尔可夫链蒙特卡罗方法..................289
11.6总结和深入阅读...........................292
第12章 深度信念网络297
12.1玻尔兹曼机..............................297
12.1.1生成模型...........................299
12.1.2能量最小化与模拟退火...................301
12.1.3参数学习...........................302
12.2受限玻尔兹曼机...........................304
12.2.1生成模型...........................305
12.2.2参数学习...........................307
12.2.3受限玻尔兹曼机的类型...................308
12.3深度信念网络.............................309
12.3.1生成模型...........................310
12.3.2参数学习...........................310
12.4总结和深入阅读...........................313
第13章 深度生成模型317
13.1概率生成模型.............................318
13.1.1密度估计...........................318
13.1.2生成样本...........................319
13.1.3应用于监督学习.......................319
13.2变分自编码器.............................319
13.2.1含隐变量的生成模型....................319
13.2.2推断网络...........................321
13.2.3生成网络...........................323
13.2.4模型汇总...........................323
13.2.5再参数化...........................325
13.2.6训练..............................325
13.3生成对抗网络.............................327
13.3.1显式密度模型和隐式密度模型...............327
13.3.2网络分解...........................327
13.3.3训练..............................329
13.3.4一个生成对抗网络的具体实现:DCGAN..........330
13.3.5模型分析...........................330
13.3.6改进模型...........................333
13.4总结和深入阅读...........................336
第14章 深度强化学习339
14.1强化学习问题.............................340
14.1.1典型例子...........................340
14.1.2强化学习定义........................340
14.1.3马尔可夫决策过程......................341
14.1.4强化学习的目标函数....................343
14.1.5值函数............................344
14.1.6深度强化学习........................345
14.2基于值函数的学习方法.......................346
14.2.1动态规划算法........................346
14.2.2蒙特卡罗方法........................349
14.2.3时序差分学习方法......................350
14.2.4深度Q网络..........................353
14.3基于策略函数的学习方法......................354
14.3.1REINFORCE算法......................356
14.3.2带基准线的REINFORCE算法...............356
14.4演员-评论员算法...........................358
14.5总结和深入阅读...........................360
第15章 序列生成模型365
15.1序列概率模型.............................366
15.1.1序列生成...........................367
15.2N元统计模型.............................368
15.3深度序列模型.............................370
15.3.1模型结构...........................370
15.3.2参数学习...........................373
15.4评价方法...............................373
15.4.1困惑度............................373
15.4.2BLEU算法..........................374
15.4.3ROUGE算法.........................375
15.5序列生成模型中的学习问题.....................375
15.5.1曝光偏差问题........................376
15.5.2训练目标不一致问题....................377
15.5.3计算效率问题........................377
15.6序列到序列模型...........................385
15.6.1基于循环神经网络的序列到序列模型...........386
15.6.2基于注意力的序列到序列模型...............387
15.6.3基于自注意力的序列到序列模型..............388
15.7总结和深入阅读...........................390
附录数学基础 393
附录A 线性代数 394
附录B 微积分 404
附录C 数学优化 413
附录D 概率论 420
附录E 信息论 433
索引 439
· · · · · · (收起)
var answerObj = {
TYPE: 'book',
SUBJECT_ID: '35044046',
ISALL: 'False' || false,
USER_ID: 'None'
}
原文摘录
· · · · · ·
( 全部 )
人工神经网络(Artificial Neural Network,ANN)是指一系列受生物学和神经科学启发的数学模型. 这些模型主要是通过对人脑的神经元网络进行抽象,构建人工神经元,并按照一定拓扑结构来建立人工神经元之间的连接,来模拟生物神经网络。在人工智能领域,人工神经网络也常常简称为神经网络(Neural Network,NN)或神经模型(Neural Model)。 (查看原文)
张小鱼
8赞
2021-04-12 19:45:09
—— 引自章节:4.3前馈神经网络.....................
从机器学习的角度来看,神经网络一般可以看作是一个非线性模型,其基本组成单元为具有非线性激活函数的神经元,通过大量神经元之间的连接,使得神经网络成为一种高度非线性的模型. 神经元之间的连接权重就是需要学习的参数,可以在机器学习的框架下通过梯度下降方法来进行学习。 (查看原文)
张小鱼
8赞
2021-04-12 19:45:09
—— 引自章节:第4章 前馈神经网络81
> 全部原文摘录
丛书信息
· · · · · ·
人工智能技术丛书(共14册),
这套丛书还有
《机器人智能视觉感知与深度学习应用》《计算社会学》《迁移学习》《深度学习基础教程》《神经网络与深度学习:案例与实践》
等
。
$(function(){$(".knnlike a").click(function(){return moreurl(this,{'from':'knnlike'})})})
喜欢读"神经网络与深度学习"的人也喜欢的电子书
· · · · · ·
支持 Web、iPhone、iPad、Android 阅读器
Effective Python
77.40元
Python源码剖析
38.39元
喜欢读"神经网络与深度学习"的人也喜欢
· · · · · ·
动手学深度学习
9.3
机器学习实战 (原书第2版)
9.5
神经网络与深度学习:案例与实践
集成学习
8.6
深度学习入门
9.5
百面机器学习
8.7
Python Cookbook(第3版)中文版
9.2
强化学习(第2版)
8.1
流畅的Python
9.4
CUDA 编程:基础与实践
8.7
我来说两句
短评
· · · · · ·
(
全部 173 条
)
热门
5
有用
windoker
2020-04-11 19:13:14
不仅邱老师的书写的好,复旦NLP组的论文也非常好
7
有用
理论家
2020-05-07 14:08:55
最好的深度学习自学教程,之前在网站看过电子版,支持正版!
10
有用
峰池
2020-04-07 10:05:15
这本书也太好了吧!清晰的数学语言描述方法的核心原理,兼具准确与深度,重要的是非常新!基本18年之前的主要方法和论文都有涉及到!目前看到的深度学习方面最好的教科书
6
有用
呆呢鹿夢遊中
2019-11-08 22:56:23
认真写书的教授都是好老师!
29
有用
小白小白
2019-05-12 10:05:57
很好的书,对深度学习的理解受益匪浅
(function () {
if (window.SUBJECT_COMMENTS_SECTION) {
// tab handler
SUBJECT_COMMENTS_SECTION.createTabHandler();
// expand handler
SUBJECT_COMMENTS_SECTION.createExpandHandler({
root: document.getElementById('comment-list-wrapper'),
});
SUBJECT_COMMENTS_SECTION.createVoteHandler({
api: '/j/comment/:id/vote',
root: document.getElementById('comment-list-wrapper'),
voteSelector: '.vote-comment',
textSelector: '.vote-count',
afterVote: function (elem) {
var parentNode = elem.parentNode;
var successElem = document.createElement('span');
successElem.innerHTML = '已投票';
parentNode.removeChild(elem);
parentNode.appendChild(successElem);
}
});
}
})()
我要写书评
神经网络与深度学习的书评 · · · · · ·
( 全部 7 条 )
热门
var cur_sort = '';
$('#reviews-wrapper .review_filter a').on('click', function () {
var sort = $(this).data('sort');
if(sort === cur_sort) return;
if(sort === 'follow' && true){
window.location.href = '//www.douban.com/accounts/login?source=movie';
return;
}
if($('#reviews-wrapper .review_filter').data('doing')) return;
$('#reviews-wrapper .review_filter').data('doing', true);
cur_sort = sort;
$('#reviews-wrapper .review_filter a').removeClass('cur');
$(this).addClass('cur');
$.getJSON('reviews', { sort: sort }, function(res) {
$('#reviews-wrapper .review-list').remove();
$('#reviews-wrapper [href="reviews?sort=follow"]').parent().remove();
$('#reviews-wrapper .review_filter').after(res.html);
$('#reviews-wrapper .review_filter').data('doing', false);
$('#reviews-wrapper .review_filter').removeData('doing');
if (res.count === 0) {
$('#reviews-wrapper .review-list').html('你关注的人还没写过长评');
}
});
});
峰池
2020-05-13 23:11:50
国内最好的深度学习教科书
这篇书评可能有关键情节透露
转载自我的微信公众号:峰池, 《神经网络与深度学习》——最好的深度学习教科书 ,欢迎大家关注 最近这一周学习了一下,感觉确实非常不错,兼具广度和深度,在这里推荐给大家。 在我看来,本书有以下几个优点 一、一切推导相关都以数学为基础,清楚明白。区别于一些博客中玄之...
(展开)
8
1
0回应
收起
Dies
2023-09-26 10:18:32
很不错的入门教科书
这篇书评可能有关键情节透露
邱锡鹏教授的作品,从学术角度来说,这本书在机器学习领域有挺显眼的一席之地,作者邱锡鹏教授复旦大学计算机科学技术学院教授、博士生导师,ACL、CCL都有作品,是真大佬。 书中从机器学习基础出发,从机器学习介绍、数学知识再到各算法公式和使用。 理论与实践结合,该书综合...
(展开)
0回应
收起
那个百分十先生
2023-07-13 11:59:04
学习深度学习理论知识的最好教材
这篇书评可能有关键情节透露
邱锡鹏的《神经网络与机器学习》是一本介绍神经网络与深度学习中的基础知识、主要模型(卷积神经网络、递归神经网络等)以及在计算机视觉、自然语言处理等领域的应用的书籍。这本书较全面地介绍了神经网络、机器学习和深度学习的基本概念、模型和方法,同时也涉及深度学习中许多...
(展开)
0回应
收起
疏影橫斜水清淺
2020-10-14 20:06:58
只能说还行
此书虽然几经修订,又吸取有多本国内外机器学习深度学习教材的经验,在题材选取和行文上已经算是国产初级教材中的上乘之作,但是仍然有定位尴尬的缺点——初学者很难在不补充相关数学知识的情况下看明白,非初学者又没必要再多看这本书(因为有内容更加精深的专著或者论文)。 全...
(展开)
2
3
1回应
收起
升仙
2019-06-12 10:37:45
太散了
比花书内容多一些,深度比不上prml等圣经级书籍,行文不太连贯,有博文拼凑之感,或者说只是一本讲义而非适合自学的参考书,没有一气呵成的感觉,应用部分也不多,对于初学者难度大了些,对于老手用处又不大。希望纸质书印制时可以优化一下,斟酌一下行文,同时增加一些习题,...
(展开)
14
18
14回应
收起
有一些书评被折叠了
为什么被折叠?
评论被折叠,是因为发布这条评论的帐号行为异常。评论仍可以被展开阅读,对发布人的账号不造成其他影响。如果认为有问题,可以联系豆瓣电影。
天堂的恶魔
2020-07-29 19:27:26
想入门深度学习?你需要先搞懂这三个问题
原创:木羊同学 今天聊三个深度学习入门问题,是在公号后台大家经常提到的。 第一个问题,学深度学习是不是需要先学机器学习? 说实话我有点意外,对于怎样学深度学习,我设想过各种问题,但没想到大家最好奇的会是上面这个问题。不过,了解深度学习,确实应该从了解人工智能、...
(展开)
1
0回应
收起
(function() {
if (window.__init_review_list) return;
__init_review_list = true;
})();
window.useful_icon = "https://img1.doubanio.com/f/zerkalo/536fd337139250b5fb3cf9e79cb65c6193f8b20b/pics/up.png";
window.usefuled_icon = "https://img1.doubanio.com/f/zerkalo/635290bb14771c97270037be21ad50514d57acc3/pics/up-full.png";
window.useless_icon = "https://img1.doubanio.com/f/zerkalo/68849027911140623cf338c9845893c4566db851/pics/down.png";
window.uselessed_icon = "https://img1.doubanio.com/f/zerkalo/23cee7343568ca814238f5ef18bf8aadbe959df2/pics/down-full.png";
>
更多书评
7篇
$('document').ready(function () {
$.get(`/subject/35044046/annotation_html`, function (r) {
$('.annotation').html(r.html);
});
});
论坛
· · · · · ·
请问有这本书的讨论群吗
来自vastheaven
3 回应
2023-06-24 21:23:49
当前版本有售
· · · · · ·
京东商城
98.90元
购买纸质书
当当网
96.90元
购买纸质书
中图网
84.90元
购买纸质书
+ 加入购书单
$(document).ready(function() {
$('.impression_track_mod_buyinfo').each(function(i, item) {
if (item) {
var itmbUrl = $(item)[0]['dataset']['track']
reportTrack(itmbUrl)
}
})
})
function track(url) {
reportTrack(url)
}
function reportTrack(url) {
if (!url) { return false }
$.ajax({ url: url, dataType: 'text/html' })
}
以下书单推荐
· · · · · ·
(
全部
)
【书】所谓知识的另一种
(自娱者小五)
豆瓣高分书籍是否名实相符(一)
(无心恋战)
机器学习-数学理论与实际领域应用入门进阶
(xiaoliable)
AI/经济
(alenwg_cn)
深度学习与人工智能
(lyb)
谁读这本书?
· · · · · ·
Nadie
1小时前 想读
豆友EXrlGhKFL0
昨天 想读
BlackStone
昨天 想读
我会有腹肌的
昨天 想读
> 429人在读
> 493人读过
> 4913人想读
(function (global) {
if(!document.getElementsByClassName) {
document.getElementsByClassName = function(className) {
return this.querySelectorAll("." + className);
};
Element.prototype.getElementsByClassName = document.getElementsByClassName;
}
var articles = global.document.getElementsByClassName('article'),
asides = global.document.getElementsByClassName('aside');
if (articles.length > 0 && asides.length > 0 && articles[0].offsetHeight >= asides[0].offsetHeight) {
(global.DoubanAdSlots = global.DoubanAdSlots || []).push('dale_book_subject_middle_right');
}
})(this);
二手市场
· · · · · ·
1本二手书欲转让
(5.00
元)
在豆瓣转让
有4913人想读,手里有一本闲着?
订阅关于神经网络与深度学习的评论:
feed: rss 2.0
(function (global) {
var body = global.document.body,
html = global.document.documentElement;
var height = Math.max(body.scrollHeight, body.offsetHeight, html.clientHeight, html.scrollHeight, html.offsetHeight);
if (height >= 2000) {
(global.DoubanAdSlots = global.DoubanAdSlots || []).push('dale_book_subject_bottom_super_banner');
}
})(this);
© 2005-2025 douban.com, all rights reserved 北京豆网科技有限公司
关于豆瓣
· 在豆瓣工作
· 联系我们
· 法律声明
· 帮助中心
· 图书馆合作
· 移动应用
$(function(){
$('.add2cartWidget').each(function() {
var add2CartBtn = $(this).find('.add2cart');
var inCartHint = $(this).find('.book-in-cart');
var deleteBtn = inCartHint.find('.delete-cart-item');
deleteBtn.click(function(e) {
e.preventDefault();
$.post_withck('/cart', {remove: this.rel}, function() {
add2CartBtn.show();
inCartHint.hide();
});
});
});
});
(function (global) {
var newNode = global.document.createElement('script'),
existingNode = global.document.getElementsByTagName('script')[0],
adSource = '//erebor.douban.com/',
userId = '',
browserId = '7ZUzJaVcrc8',
criteria = '7:深度学习|7:神经网络|7:机器学习|7:人工智能|7:计算机|7:计算机科学|7:自然语言处理|7:ML|7:邱锡鹏|7:好书,值得一读|3:/subject/35044046/',
preview = '',
debug = false,
adSlots = ['dale_book_subject_top_right', 'dale_book_subject_middle_mini'];
global.DoubanAdRequest = {src: adSource, uid: userId, bid: browserId, crtr: criteria, prv: preview, debug: debug};
global.DoubanAdSlots = (global.DoubanAdSlots || []).concat(adSlots);
newNode.setAttribute('type', 'text/javascript');
newNode.setAttribute('src', '//img1.doubanio.com/NWQ3bnN2eS9mL2FkanMvYjFiN2ViZWM0ZDBiZjlkNTE1ZDdiODZiZDc0NzNhNjExYWU3ZDk3My9hZC5yZWxlYXNlLmpz?company_token=kX69T8w1wyOE-dale');
newNode.setAttribute('async', true);
existingNode.parentNode.insertBefore(newNode, existingNode);
})(this);
var _paq = _paq || [];
_paq.push(['trackPageView']);
_paq.push(['enableLinkTracking']);
(function() {
var p=(('https:' == document.location.protocol) ? 'https' : 'http'), u=p+'://fundin.douban.com/';
_paq.push(['setTrackerUrl', u+'piwik']);
_paq.push(['setSiteId', '100001']);
var d=document, g=d.createElement('script'), s=d.getElementsByTagName('script')[0];
g.type='text/javascript';
g.defer=true;
g.async=true;
g.src=p+'://s.doubanio.com/dae/fundin/piwik.js';
s.parentNode.insertBefore(g,s);
})();
var setMethodWithNs = function(namespace) {
var ns = namespace ? namespace + '.' : ''
, fn = function(string) {
if(!ns) {return string}
return ns + string
}
return fn
}
var gaWithNamespace = function(fn, namespace) {
var method = setMethodWithNs(namespace)
fn.call(this, method)
}
var _gaq = _gaq || []
, accounts = [
{ id: 'UA-7019765-1', namespace: 'douban' }
, { id: 'UA-7019765-16', namespace: '' }
]
, gaInit = function(account) {
gaWithNamespace(function(method) {
gaInitFn.call(this, method, account)
}, account.namespace)
}
, gaInitFn = function(method, account) {
_gaq.push([method('_setAccount'), account.id])
_gaq.push([method('_addOrganic'), 'google', 'q'])
_gaq.push([method('_addOrganic'), 'baidu', 'wd'])
_gaq.push([method('_addOrganic'), 'soso', 'w'])
_gaq.push([method('_addOrganic'), 'youdao', 'q'])
_gaq.push([method('_addOrganic'), 'so.360.cn', 'q'])
_gaq.push([method('_addOrganic'), 'sogou', 'query'])
if (account.namespace) {
_gaq.push([method('_addIgnoredOrganic'), '豆瓣'])
_gaq.push([method('_addIgnoredOrganic'), 'douban'])
_gaq.push([method('_addIgnoredOrganic'), '豆瓣网'])
_gaq.push([method('_addIgnoredOrganic'), 'www.douban.com'])
}
if (account.namespace === 'douban') {
_gaq.push([method('_setDomainName'), '.douban.com'])
}
_gaq.push([method('_setCustomVar'), 1, 'responsive_view_mode', 'desktop', 3])
_gaq.push([method('_setCustomVar'), 2, 'login_status', '0', 2]);
_gaq.push([method('_trackPageview')])
}
for(var i = 0, l = accounts.length; i < l; i++) {
var account = accounts[i]
gaInit(account)
}
;(function() {
var ga = document.createElement('script');
ga.src = ('https:' == document.location.protocol ? 'https://ssl' : 'http://www') + '.google-analytics.com/ga.js';
ga.setAttribute('async', 'true');
document.documentElement.firstChild.appendChild(ga);
})()
目录
序
前言
常用符号表
第一部分 机器学习基础
第1章 绪论3
1.1人工智能...............................4
1.1.1人工智能的发展历史....................5
1.1.2人工智能的流派.......................7
1.2机器学习...............................7
1.3表示学习...............................8
1.3.1局部表示和分布式表示...................9
1.3.2表示学习...........................11
1.4深度学习...............................11
1.4.1端到端学习..........................12
1.5神经网络...............................13
1.5.1人脑神经网络........................13
1.5.2人工神经网络........................14
1.5.3神经网络的发展历史....................15
1.6本书的知识体系...........................17
1.7常用的深度学习框架.........................18
1.8总结和深入阅读...........................20
第2章 机器学习概述23
2.1基本概念...............................24
2.2机器学习的三个基本要素......................26
2.2.1模型..............................26
2.2.2学习准则...........................27
2.2.3优化算法...........................30
2.3机器学习的简单示例——线性回归.................33
2.3.1参数学习...........................34
2.4偏差-方差分解............................38
2.5机器学习算法的类型.........................41
2.6数据的特征表示...........................43
2.6.1传统的特征学习.......................44
2.6.2深度学习方法........................46
2.7评价指标...............................46
2.8理论和定理..............................49
2.8.1PAC学习理论........................49
2.8.2没有免费午餐定理......................50
2.8.3奥卡姆剃刀原理.......................50
2.8.4丑小鸭定理..........................51
2.8.5归纳偏置...........................51
2.9总结和深入阅读...........................51
第3章 线性模型
3.1线性判别函数和决策边界......................56
3.1.1二分类............................56
3.1.2多分类............................58
3.2Logistic回归.............................59
3.2.1参数学习...........................60
3.3Softmax回归.............................61
3.3.1参数学习...........................62
3.4感知器.................................64
3.4.1参数学习...........................64
3.4.2感知器的收敛性.......................66
3.4.3参数平均感知器.......................67
3.4.4扩展到多分类........................69
3.5支持向量机..............................71
3.5.1参数学习...........................73
3.5.2核函数............................74
3.5.3软间隔............................74
3.6损失函数对比.............................75
3.7总结和深入阅读...........................76
第二部分 基础模型
第4章 前馈神经网络81
4.1神经元.................................82
4.1.1Sigmoid型函数.......................83
4.1.2ReLU函数..........................86
4.1.3Swish函数..........................88
4.1.4GELU函数..........................89
4.1.5Maxout单元.........................89
4.2网络结构...............................90
4.2.1前馈网络...........................90
4.2.2记忆网络...........................90
4.2.3图网络............................90
4.3前馈神经网络.............................91
4.3.1通用近似定理........................93
4.3.2应用到机器学习.......................94
4.3.3参数学习...........................95
4.4反向传播算法.............................95
4.5自动梯度计算.............................98
4.5.1数值微分...........................99
4.5.2符号微分...........................99
4.5.3自动微分...........................100
4.6优化问题...............................103
4.6.1非凸优化问题........................103
4.6.2梯度消失问题........................104
4.7总结和深入阅读...........................104
第5章 卷积神经网络109
5.1卷积..................................110
5.1.1卷积的定义..........................110
5.1.2互相关............................112
5.1.3卷积的变种..........................113
5.1.4卷积的数学性质.......................114
5.2卷积神经网络.............................115
5.2.1用卷积来代替全连接....................115
5.2.2卷积层............................116
5.2.3汇聚层............................118
5.2.4卷积网络的整体结构....................119
5.3参数学习...............................120
5.3.1卷积神经网络的反向传播算法...............120
5.4几种典型的卷积神经网络......................121
5.4.1LeNet-5............................122
5.4.2AlexNet...........................123
5.4.3Inception网络........................125
5.4.4残差网络...........................126
5.5其他卷积方式.............................127
5.5.1转置卷积...........................127
5.5.2空洞卷积...........................129
5.6总结和深入阅读...........................130
第6章 循环神经网络133
6.1给网络增加记忆能力.........................134
6.1.1延时神经网络........................134
6.1.2有外部输入的非线性自回归模型..............134
6.1.3循环神经网络........................135
6.2简单循环网络.............................135
6.2.1循环神经网络的计算能力..................136
6.3应用到机器学习...........................138
6.3.1序列到类别模式.......................138
6.3.2同步的序列到序列模式...................139
6.3.3异步的序列到序列模式...................139
6.4参数学习...............................140
6.4.1随时间反向传播算法....................141
6.4.2实时循环学习算法......................142
6.5长程依赖问题.............................143
6.5.1改进方案...........................144
6.6基于门控的循环神经网络......................145
6.6.1长短期记忆网络.......................145
6.6.2LSTM网络的各种变体...................147
6.6.3门控循环单元网络......................148
6.7深层循环神经网络..........................149
6.7.1堆叠循环神经网络......................150
6.7.2双向循环神经网络......................150
6.8扩展到图结构.............................151
6.8.1递归神经网络........................151
6.8.2图神经网络..........................152
6.9总结和深入阅读...........................153
第7章 网络优化与正则化157
7.1网络优化...............................157
7.1.1网络结构多样性.......................158
7.1.2高维变量的非凸优化....................158
7.1.3神经网络优化的改善方法..................160
7.2优化算法...............................160
7.2.1小批量梯度下降.......................160
7.2.2批量大小选择........................161
7.2.3学习率调整..........................162
7.2.4梯度估计修正........................167
7.2.5优化算法小结........................170
7.3参数初始化..............................171
7.3.1基于固定方差的参数初始化.................172
7.3.2基于方差缩放的参数初始化.................173
7.3.3正交初始化..........................175
7.4数据预处理..............................176
7.5逐层归一化..............................178
7.5.1批量归一化..........................179
7.5.2层归一化...........................181
7.5.3权重归一化..........................182
7.5.4局部响应归一化.......................182
7.6超参数优化..............................183
7.6.1网格搜索...........................183
7.6.2随机搜索...........................184
7.6.3贝叶斯优化..........................184
7.6.4动态资源分配........................185
7.6.5神经架构搜索........................186
7.7网络正则化..............................186
7.7.1?1和?2正则化........................187
7.7.2权重衰减...........................188
7.7.3提前停止...........................188
7.7.4丢弃法............................189
7.7.5数据增强...........................191
7.7.6标签平滑...........................191
7.8总结和深入阅读...........................192
第8章 注意力机制与外部记忆197
8.1认知神经学中的注意力.......................198
8.2注意力机制..............................199
8.2.1注意力机制的变体......................201
8.3自注意力模型.............................203
8.4人脑中的记忆.............................205
8.5记忆增强神经网络..........................207
8.5.1端到端记忆网络.......................208
8.5.2神经图灵机..........................210
8.6基于神经动力学的联想记忆.....................211
8.6.1Hopfiel网络........................212
8.6.2使用联想记忆增加网络容量.................215
8.7总结和深入阅读...........................215
第9章 无监督学习219
9.1无监督特征学习...........................220
9.1.1主成分分析..........................220
9.1.2稀疏编码...........................222
9.1.3自编码器...........................224
9.1.4稀疏自编码器........................225
9.1.5堆叠自编码器........................226
9.1.6降噪自编码器........................226
9.2概率密度估计.............................227
9.2.1参数密度估计........................227
9.2.2非参数密度估计.......................229
9.3总结和深入阅读...........................232
第10章 模型独立的学习方式235
10.1集成学习...............................235
10.1.1AdaBoost算法........................237
10.2自训练和协同训练..........................240
10.2.1自训练............................240
10.2.2协同训练...........................240
10.3多任务学习..............................242
10.4迁移学习...............................245
10.4.1归纳迁移学习........................246
10.4.2转导迁移学习........................247
10.5终身学习...............................249
10.6元学习.................................252
10.6.1基于优化器的元学习....................253
10.6.2模型无关的元学习......................254
10.7总结和深入阅读...........................255
第三部分 进阶模型
第11章 概率图模型261
11.1模型表示...............................262
11.1.1有向图模型..........................263
11.1.2常见的有向图模型......................264
11.1.3无向图模型..........................267
11.1.4无向图模型的概率分解...................267
11.1.5常见的无向图模型......................269
11.1.6有向图和无向图之间的转换.................270
11.2学习..................................271
11.2.1不含隐变量的参数估计...................271
11.2.2含隐变量的参数估计....................273
11.3推断..................................279
11.3.1精确推断...........................279
11.3.2近似推断...........................282
11.4变分推断...............................283
11.5基于采样法的近似推断.......................285
11.5.1采样法............................285
11.5.2拒绝采样...........................287
11.5.3重要性采样..........................288
11.5.4马尔可夫链蒙特卡罗方法..................289
11.6总结和深入阅读...........................292
第12章 深度信念网络297
12.1玻尔兹曼机..............................297
12.1.1生成模型...........................299
12.1.2能量最小化与模拟退火...................301
12.1.3参数学习...........................302
12.2受限玻尔兹曼机...........................304
12.2.1生成模型...........................305
12.2.2参数学习...........................307
12.2.3受限玻尔兹曼机的类型...................308
12.3深度信念网络.............................309
12.3.1生成模型...........................310
12.3.2参数学习...........................310
12.4总结和深入阅读...........................313
第13章 深度生成模型317
13.1概率生成模型.............................318
13.1.1密度估计...........................318
13.1.2生成样本...........................319
13.1.3应用于监督学习.......................319
13.2变分自编码器.............................319
13.2.1含隐变量的生成模型....................319
13.2.2推断网络...........................321
13.2.3生成网络...........................323
13.2.4模型汇总...........................323
13.2.5再参数化...........................325
13.2.6训练..............................325
13.3生成对抗网络.............................327
13.3.1显式密度模型和隐式密度模型...............327
13.3.2网络分解...........................327
13.3.3训练..............................329
13.3.4一个生成对抗网络的具体实现:DCGAN..........330
13.3.5模型分析...........................330
13.3.6改进模型...........................333
13.4总结和深入阅读...........................336
第14章 深度强化学习339
14.1强化学习问题.............................340
14.1.1典型例子...........................340
14.1.2强化学习定义........................340
14.1.3马尔可夫决策过程......................341
14.1.4强化学习的目标函数....................343
14.1.5值函数............................344
14.1.6深度强化学习........................345
14.2基于值函数的学习方法.......................346
14.2.1动态规划算法........................346
14.2.2蒙特卡罗方法........................349
14.2.3时序差分学习方法......................350
14.2.4深度Q网络..........................353
14.3基于策略函数的学习方法......................354
14.3.1REINFORCE算法......................356
14.3.2带基准线的REINFORCE算法...............356
14.4演员-评论员算法...........................358
14.5总结和深入阅读...........................360
第15章 序列生成模型365
15.1序列概率模型.............................366
15.1.1序列生成...........................367
15.2N元统计模型.............................368
15.3深度序列模型.............................370
15.3.1模型结构...........................370
15.3.2参数学习...........................373
15.4评价方法...............................373
15.4.1困惑度............................373
15.4.2BLEU算法..........................374
15.4.3ROUGE算法.........................375
15.5序列生成模型中的学习问题.....................375
15.5.1曝光偏差问题........................376
15.5.2训练目标不一致问题....................377
15.5.3计算效率问题........................377
15.6序列到序列模型...........................385
15.6.1基于循环神经网络的序列到序列模型...........386
15.6.2基于注意力的序列到序列模型...............387
15.6.3基于自注意力的序列到序列模型..............388
15.7总结和深入阅读...........................390
附录数学基础 393
附录A 线性代数 394
附录B 微积分 404
附录C 数学优化 413
附录D 概率论 420
附录E 信息论 433
索引 439
(展开全部)前言
常用符号表
第一部分 机器学习基础
第1章 绪论3
1.1人工智能...............................4
1.1.1人工智能的发展历史....................5
1.1.2人工智能的流派.......................7
1.2机器学习...............................7
1.3表示学习...............................8
1.3.1局部表示和分布式表示...................9
1.3.2表示学习...........................11
1.4深度学习...............................11
1.4.1端到端学习..........................12
1.5神经网络...............................13
1.5.1人脑神经网络........................13
1.5.2人工神经网络........................14
1.5.3神经网络的发展历史....................15
1.6本书的知识体系...........................17
1.7常用的深度学习框架.........................18
1.8总结和深入阅读...........................20
第2章 机器学习概述23
2.1基本概念...............................24
2.2机器学习的三个基本要素......................26
2.2.1模型..............................26
2.2.2学习准则...........................27
2.2.3优化算法...........................30
2.3机器学习的简单示例——线性回归.................33
2.3.1参数学习...........................34
2.4偏差-方差分解............................38
2.5机器学习算法的类型.........................41
2.6数据的特征表示...........................43
2.6.1传统的特征学习.......................44
2.6.2深度学习方法........................46
2.7评价指标...............................46
2.8理论和定理..............................49
2.8.1PAC学习理论........................49
2.8.2没有免费午餐定理......................50
2.8.3奥卡姆剃刀原理.......................50
2.8.4丑小鸭定理..........................51
2.8.5归纳偏置...........................51
2.9总结和深入阅读...........................51
第3章 线性模型
3.1线性判别函数和决策边界......................56
3.1.1二分类............................56
3.1.2多分类............................58
3.2Logistic回归.............................59
3.2.1参数学习...........................60
3.3Softmax回归.............................61
3.3.1参数学习...........................62
3.4感知器.................................64
3.4.1参数学习...........................64
3.4.2感知器的收敛性.......................66
3.4.3参数平均感知器.......................67
3.4.4扩展到多分类........................69
3.5支持向量机..............................71
3.5.1参数学习...........................73
3.5.2核函数............................74
3.5.3软间隔............................74
3.6损失函数对比.............................75
3.7总结和深入阅读...........................76
第二部分 基础模型
第4章 前馈神经网络81
4.1神经元.................................82
4.1.1Sigmoid型函数.......................83
4.1.2ReLU函数..........................86
4.1.3Swish函数..........................88
4.1.4GELU函数..........................89
4.1.5Maxout单元.........................89
4.2网络结构...............................90
4.2.1前馈网络...........................90
4.2.2记忆网络...........................90
4.2.3图网络............................90
4.3前馈神经网络.............................91
4.3.1通用近似定理........................93
4.3.2应用到机器学习.......................94
4.3.3参数学习...........................95
4.4反向传播算法.............................95
4.5自动梯度计算.............................98
4.5.1数值微分...........................99
4.5.2符号微分...........................99
4.5.3自动微分...........................100
4.6优化问题...............................103
4.6.1非凸优化问题........................103
4.6.2梯度消失问题........................104
4.7总结和深入阅读...........................104
第5章 卷积神经网络109
5.1卷积..................................110
5.1.1卷积的定义..........................110
5.1.2互相关............................112
5.1.3卷积的变种..........................113
5.1.4卷积的数学性质.......................114
5.2卷积神经网络.............................115
5.2.1用卷积来代替全连接....................115
5.2.2卷积层............................116
5.2.3汇聚层............................118
5.2.4卷积网络的整体结构....................119
5.3参数学习...............................120
5.3.1卷积神经网络的反向传播算法...............120
5.4几种典型的卷积神经网络......................121
5.4.1LeNet-5............................122
5.4.2AlexNet...........................123
5.4.3Inception网络........................125
5.4.4残差网络...........................126
5.5其他卷积方式.............................127
5.5.1转置卷积...........................127
5.5.2空洞卷积...........................129
5.6总结和深入阅读...........................130
第6章 循环神经网络133
6.1给网络增加记忆能力.........................134
6.1.1延时神经网络........................134
6.1.2有外部输入的非线性自回归模型..............134
6.1.3循环神经网络........................135
6.2简单循环网络.............................135
6.2.1循环神经网络的计算能力..................136
6.3应用到机器学习...........................138
6.3.1序列到类别模式.......................138
6.3.2同步的序列到序列模式...................139
6.3.3异步的序列到序列模式...................139
6.4参数学习...............................140
6.4.1随时间反向传播算法....................141
6.4.2实时循环学习算法......................142
6.5长程依赖问题.............................143
6.5.1改进方案...........................144
6.6基于门控的循环神经网络......................145
6.6.1长短期记忆网络.......................145
6.6.2LSTM网络的各种变体...................147
6.6.3门控循环单元网络......................148
6.7深层循环神经网络..........................149
6.7.1堆叠循环神经网络......................150
6.7.2双向循环神经网络......................150
6.8扩展到图结构.............................151
6.8.1递归神经网络........................151
6.8.2图神经网络..........................152
6.9总结和深入阅读...........................153
第7章 网络优化与正则化157
7.1网络优化...............................157
7.1.1网络结构多样性.......................158
7.1.2高维变量的非凸优化....................158
7.1.3神经网络优化的改善方法..................160
7.2优化算法...............................160
7.2.1小批量梯度下降.......................160
7.2.2批量大小选择........................161
7.2.3学习率调整..........................162
7.2.4梯度估计修正........................167
7.2.5优化算法小结........................170
7.3参数初始化..............................171
7.3.1基于固定方差的参数初始化.................172
7.3.2基于方差缩放的参数初始化.................173
7.3.3正交初始化..........................175
7.4数据预处理..............................176
7.5逐层归一化..............................178
7.5.1批量归一化..........................179
7.5.2层归一化...........................181
7.5.3权重归一化..........................182
7.5.4局部响应归一化.......................182
7.6超参数优化..............................183
7.6.1网格搜索...........................183
7.6.2随机搜索...........................184
7.6.3贝叶斯优化..........................184
7.6.4动态资源分配........................185
7.6.5神经架构搜索........................186
7.7网络正则化..............................186
7.7.1?1和?2正则化........................187
7.7.2权重衰减...........................188
7.7.3提前停止...........................188
7.7.4丢弃法............................189
7.7.5数据增强...........................191
7.7.6标签平滑...........................191
7.8总结和深入阅读...........................192
第8章 注意力机制与外部记忆197
8.1认知神经学中的注意力.......................198
8.2注意力机制..............................199
8.2.1注意力机制的变体......................201
8.3自注意力模型.............................203
8.4人脑中的记忆.............................205
8.5记忆增强神经网络..........................207
8.5.1端到端记忆网络.......................208
8.5.2神经图灵机..........................210
8.6基于神经动力学的联想记忆.....................211
8.6.1Hopfiel网络........................212
8.6.2使用联想记忆增加网络容量.................215
8.7总结和深入阅读...........................215
第9章 无监督学习219
9.1无监督特征学习...........................220
9.1.1主成分分析..........................220
9.1.2稀疏编码...........................222
9.1.3自编码器...........................224
9.1.4稀疏自编码器........................225
9.1.5堆叠自编码器........................226
9.1.6降噪自编码器........................226
9.2概率密度估计.............................227
9.2.1参数密度估计........................227
9.2.2非参数密度估计.......................229
9.3总结和深入阅读...........................232
第10章 模型独立的学习方式235
10.1集成学习...............................235
10.1.1AdaBoost算法........................237
10.2自训练和协同训练..........................240
10.2.1自训练............................240
10.2.2协同训练...........................240
10.3多任务学习..............................242
10.4迁移学习...............................245
10.4.1归纳迁移学习........................246
10.4.2转导迁移学习........................247
10.5终身学习...............................249
10.6元学习.................................252
10.6.1基于优化器的元学习....................253
10.6.2模型无关的元学习......................254
10.7总结和深入阅读...........................255
第三部分 进阶模型
第11章 概率图模型261
11.1模型表示...............................262
11.1.1有向图模型..........................263
11.1.2常见的有向图模型......................264
11.1.3无向图模型..........................267
11.1.4无向图模型的概率分解...................267
11.1.5常见的无向图模型......................269
11.1.6有向图和无向图之间的转换.................270
11.2学习..................................271
11.2.1不含隐变量的参数估计...................271
11.2.2含隐变量的参数估计....................273
11.3推断..................................279
11.3.1精确推断...........................279
11.3.2近似推断...........................282
11.4变分推断...............................283
11.5基于采样法的近似推断.......................285
11.5.1采样法............................285
11.5.2拒绝采样...........................287
11.5.3重要性采样..........................288
11.5.4马尔可夫链蒙特卡罗方法..................289
11.6总结和深入阅读...........................292
第12章 深度信念网络297
12.1玻尔兹曼机..............................297
12.1.1生成模型...........................299
12.1.2能量最小化与模拟退火...................301
12.1.3参数学习...........................302
12.2受限玻尔兹曼机...........................304
12.2.1生成模型...........................305
12.2.2参数学习...........................307
12.2.3受限玻尔兹曼机的类型...................308
12.3深度信念网络.............................309
12.3.1生成模型...........................310
12.3.2参数学习...........................310
12.4总结和深入阅读...........................313
第13章 深度生成模型317
13.1概率生成模型.............................318
13.1.1密度估计...........................318
13.1.2生成样本...........................319
13.1.3应用于监督学习.......................319
13.2变分自编码器.............................319
13.2.1含隐变量的生成模型....................319
13.2.2推断网络...........................321
13.2.3生成网络...........................323
13.2.4模型汇总...........................323
13.2.5再参数化...........................325
13.2.6训练..............................325
13.3生成对抗网络.............................327
13.3.1显式密度模型和隐式密度模型...............327
13.3.2网络分解...........................327
13.3.3训练..............................329
13.3.4一个生成对抗网络的具体实现:DCGAN..........330
13.3.5模型分析...........................330
13.3.6改进模型...........................333
13.4总结和深入阅读...........................336
第14章 深度强化学习339
14.1强化学习问题.............................340
14.1.1典型例子...........................340
14.1.2强化学习定义........................340
14.1.3马尔可夫决策过程......................341
14.1.4强化学习的目标函数....................343
14.1.5值函数............................344
14.1.6深度强化学习........................345
14.2基于值函数的学习方法.......................346
14.2.1动态规划算法........................346
14.2.2蒙特卡罗方法........................349
14.2.3时序差分学习方法......................350
14.2.4深度Q网络..........................353
14.3基于策略函数的学习方法......................354
14.3.1REINFORCE算法......................356
14.3.2带基准线的REINFORCE算法...............356
14.4演员-评论员算法...........................358
14.5总结和深入阅读...........................360
第15章 序列生成模型365
15.1序列概率模型.............................366
15.1.1序列生成...........................367
15.2N元统计模型.............................368
15.3深度序列模型.............................370
15.3.1模型结构...........................370
15.3.2参数学习...........................373
15.4评价方法...............................373
15.4.1困惑度............................373
15.4.2BLEU算法..........................374
15.4.3ROUGE算法.........................375
15.5序列生成模型中的学习问题.....................375
15.5.1曝光偏差问题........................376
15.5.2训练目标不一致问题....................377
15.5.3计算效率问题........................377
15.6序列到序列模型...........................385
15.6.1基于循环神经网络的序列到序列模型...........386
15.6.2基于注意力的序列到序列模型...............387
15.6.3基于自注意力的序列到序列模型..............388
15.7总结和深入阅读...........................390
附录数学基础 393
附录A 线性代数 394
附录B 微积分 404
附录C 数学优化 413
附录D 概率论 420
附录E 信息论 433
索引 439
经典金句(5)
纠错 补充反馈
关于学习方法论
“动手实现比阅读理论更重要——代码是理解反向传播的唯一语言。”
——Michael Nielsen
“避免陷入局部最优的陷阱,深度学习的魅力在于探索全局解的可能性。”
——邱锡鹏《神经网络与深度学习》