分类 PyTorch 教程 下的文章


撰写于:  浏览:1083 次  分类:PyTorch 教程
Transformer模型简介《Attention Is All You Need》是一篇Google提出的将Attention思想发挥到极致的论文。这篇论文中提出一个全新的模型,叫 Transformer,抛弃了以往深度学习任务里面使用到的CNN和RNN,这个模型广泛应用于NLP领域,例如机器翻译,问答系统,文本摘要和语音识别等等方向。Trans[...]

撰写于:  浏览:1462 次  分类:PyTorch 教程
lr_scheduler 简介torch.optim.lr_scheduler模块提供了一些根据epoch训练次数来调整学习率(learning rate)的方法。一般情况下我们会设置随着epoch的增大而逐渐减小学习率从而达到更好的训练效果。为什么需要调整学习率在深度学习训练过程中,最重要的参数就是学习率,通常来说,在整个训练过层中,学习率不会一[...]

撰写于:  浏览:1783 次  分类:PyTorch 教程
1、什么是学习率?学习率是指导我们在梯度下降法中,如何使用损失函数的梯度调整网络权重的超参数。其数学表达式如下所:new_weight = old_weight - learning_rate * gradient2、学习率的数学本质如上述公式,我们可以看到,学习率类似于微积分中的dx,所以学习率也被称为步长。3、学习率对损失值甚至深度网络的影响?[...]

撰写于:  浏览:1369 次  分类:PyTorch 教程
AdaGrad算法是什么?AdaGrad算法就是将每一个参数的每一次迭代的梯度取平方累加后在开方,用全局学习率除以这个数,作为学习率的动态更新。梯度下降算法、随机梯度下降算法(SGD)、小批量梯度下降算法(mini-batch SGD)、动量法(momentum)、Nesterov动量法有一个共同的特点是:对于每一个参数都用相同的学习率进行更新。但[...]

撰写于:  浏览:1398 次  分类:PyTorch 教程
AdaGrad是解决不同参数应该使用不同的更新速率的问题。Adagrad自适应地为各个参数分配不同学习率的算法。其公式如下:但是我们发现一个现象,本来应该是随着gradient的增大,我们的学习率是希望增大的,也就是图中的gt;但是与此同时随着gradient的增大,我们的分母是在逐渐增大,也就对整体学习率是减少的,这是为什么呢?这是因为随着我们更[...]

撰写于:  浏览:1166 次  分类:PyTorch 教程
Adam优化器是深度学习中最流行的优化器之一。它适用于很多种问题,包括带稀疏或带噪声梯度的模型。其易于精调的特性使得它能够快速获得很好的结果,实际上,默认的参数配置通常就能实现很好的效果。Adam 优化器结合了 AdaGrad 和 RMSProp 的优点。Adam 对每个参数使用相同的学习率,并随着学习的进行而独立地适应。此外,Adam 是基于动量[...]

撰写于:  浏览:1376 次  分类:PyTorch 教程
1、GAN原理介绍生成式对抗网络(GAN, Generative Adversarial Networks )是一种深度学习模型,是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中(至少)两个模块:生成模型(Generative Model)和判别模型(Discriminative Model)的互相博弈学习产生相当好的输出。GAN出自[...]

撰写于:  浏览:4923 次  分类:PyTorch 教程
1、封面介绍2、出版时间2019年5月3、推荐理由《深度学习的数学》基于丰富的图示和具体示例,通俗易懂地介绍了深度学习相关的数学知识。第1章介绍神经网络的概况;第2章介绍理解神经网络所需的数学基础知识;第3章介绍神经网络的最优化;第4章介绍神经网络和误差反向传播法;第5章介绍深度学习和卷积神经网络。书中使用Excel进行理论验证,帮助读者直观地体验[...]

撰写于:  浏览:1896 次  分类:PyTorch 教程
1、封面介绍2、出版时间2019年6月3、推荐理由我们正在进入一个高度信息化的时代,从方便快捷的手机移动支付到高效灵活的高铁刷脸检票; 从随时随地的在线课程学习到日新月异的无人驾驶技术,越来越多的行业正在拥抱互联网、拥抱信息 技术,这无疑给软件行业和软件开发者都带来了巨大的机遇。与此同时,开发技术更新越来越快、新 技术(新应用)越来越多、开发周期越[...]

撰写于:  浏览:2938 次  分类:PyTorch 教程
1、封面介绍2、出版时间2018年8月3、推荐理由适读人群 :适合刚学Python的数据分析师或刚学数据科学以及科学计算的Python编程者。阅读本书可以获得一份关于在Python下操作、处理、清洗、规整数据集的完整说明。本书第二版针对Python 3.6进行了更新,并增加实际案例向你展示如何高效地解决一系列数据分析问题。你将在阅读过程中学习到新版[...]

撰写于:  浏览:4563 次  分类:PyTorch 教程
1、封面介绍2、出版时间2021年1月3、推荐理由这是一本权威的人工智能从入门到精通的读本从人工智能的发展之路说起,结合丰富的应用与实战实例,详细阐述了Python入门、人工智能数学基础、手工打造神经网络、TensorFlow与PyTorch、卷积神经网络、目标分类、目标检测、图像语义分割、循环神经网络、自然语言处理、生成对抗网络、强化学习等行业前[...]

撰写于:  浏览:2285 次  分类:PyTorch 教程
1、封面介绍2、出版时间2021年1月3、推荐理由本书从概念和数学原理上对人工智能所涉及的数据处理常用算法、图像识别、语音识别、自然语言处理、深度学习几个主要方面进行了阐述,并以Python为主要工具进行了相应的编程实践,以使读者对人工智能相关技术有更直观和深入的理解。此外,本书也用几个D立的章节从原理和实践上介绍了量子计算、区块链技术、并行计算、[...]

撰写于:  浏览:2451 次  分类:PyTorch 教程
1、封面介绍2、出版时间2021年2月3、推荐理由本书基于Python以及两个深度学习框架Keras与TensorFlow,讲述深度学习在实际项目中的应用。本书共10章,首先介绍线性回归模型、逻辑回归模型、Softmax多分类器,然后讲述全连接神经网络、神经网络模型的优化、卷积神经网络、循环神经网络,最后讨论自编码模型、对抗生成网络、深度强化学习。[...]

撰写于:  浏览:1451 次  分类:PyTorch 教程
1、封面介绍2、出版时间2020年1月3、推荐理由本书是一本系统介绍深度学习基础知识和理论原理的入门书籍。本书从神经网络的基本结构入手,详细推导了前向传播与反向传播的数学公式和理论支持,详细介绍了如今各种优化神经网络的梯度优化算法和正则化技巧,给出了在实际应用中的超参数调试和网络训练的技巧。同时,也介绍了典型的卷积神经网络(CNN)和循环神经网络([...]

撰写于:  浏览:1312 次  分类:PyTorch 教程
1、封面介绍2、出版时间2018年11月3、推荐理由适读人群 :本书主要面向对TensorFlow、深度学习、人工智能具有强烈兴趣且希望尽快入门的相关从业人员、高校相关专业的教育工作者和在校学生,以及正在从事深度学习工作且希望深入的数据科学家、软件工程师、大数据平台工程师、项目管理者等。《TensorFlow进阶指南:基础、算法与应用》是由人工智能[...]

关注公众号,了解站长最新动态

    友情链接