往长短期记忆神经网络那个方向想……”
埃克莱尔·基尔卡加能理解哈雷·普莱斯为什么没在第一时间想到长短期记忆神经网络。
近几年长短期记忆神经网络主要都是用于语音识别方面的原因。
现在这个阶段一般的研究学者还真不会想到会将长短期记忆神经网络用在文本摘要这方面。
不过理论上讲将长短期记忆神经网络神经网路用于文本识别方面完全是可行的。
但具体如何将长短期记忆神经网络应用于文本识别，暂时埃克莱尔·基尔卡加也不太清楚。
这个还需要一段时间的研究来探索。
哈雷·普莱斯没有想到长短期记忆神经网络神经网路应该还有另一方面的原因。
因为长短期记忆神经网络并不是什么新鲜玩意。
hochreiter和schmidhuber于1997年提出了长短期记忆神经网络。
距今天已经将近二十年了，可以说是很久远了。
虽然长短期记忆神经网络在处理长序列文本的时候可能会有一定的优势。
但实际上当初提出长短期记忆神经网络并不是为了文本处理。
当时之所以提出长短期记忆神经网络神经网路是为了处理训练传统循环神经网路时可能遇到的梯度消失和梯度爆炸问题。2
在机器学习中，用基于梯度的学习方法和反向传播训练人工神经网络时。
有时会遇到梯度消失和梯度爆炸的问题。
这两种情况都不是研究人员希望看到的情况。
出现梯度消失或梯度爆炸后，原本的深度学习根本深不起来，只能说是浅度学习。
个别极端情况，别说浅度学习了，连最起码的机器学习都做不到。
总而言之，梯度消失和梯度爆炸问题会极大地降低利用神经网络的深度学习的训练效率。
梯度消失和梯度爆炸问题也是一个极其难缠的问题。
和神经网络有关
本网站为网友提供小说上传储存空间平台，为网友提供在线阅读交流、txt下载，平台上的所有文学作品均来源于网友的上传
用户上传的文学作品均由网站程序自动分割展现，无人工干预，本站自身不编辑或修改网友上传的内容（请上传有合法版权的作品）
如发现本站有侵犯权利人版权内容的，请向本站投诉，一经核实，本站将立即删除相关作品并对上传人ID账号作封号处理