手机浏览器扫描二维码访问
“你这里说的深度神经网络指的应该是你自己提出的那种上百上千层的神经网络,而不是目前业界的深度网络吧?”
付院长转过头来,微笑问道。……
“你这里说的深度神经网络指的应该是你自己提出的那种上百上千层的神经网络,而不是目前业界的深度网络吧?”
付院长转过头来,微笑问道。
“付院长您是怎么..”
孟繁岐先是愣了一下,然后猛地反应过来,目前只有那个女生看到过自己提前准备的残差网络草稿。“是那个女生跟您说的?”
“哈哈哈,她是我的小师妹。”
付院长笑道,“前段时间来这里,也顺便来拜访了我一下,提到了我们学校有个学生在研究什么深百层千层的神经网络,研究得像模像样的。”
“说实在的,这也不是我的领域,如果不是以前的老师让我关注一下这方面,我还真是一窍不通。这两天我还在查询资料呢,我说这哪有什么上百层的神经网络,去年年底那个夺冠的a1exnet不也才8层的深度吗。”
“我也只是刚刚有一些想法。”
孟繁岐连忙解释道。
“你不用紧张,我只是稍微有些好奇,想看看咱们学校到底是不是出了个这方面的天才。若是真的,我肯定大力支持。”
孟繁岐连忙先请付院长坐下,先为他大概介绍了一下背景,原理和现阶段难题。
付院长本身是纯数学出身,此前又在老师的指示之下对这个领域稍稍了解过一些,因此孟繁岐没说太多,他就已经掌握了大概。
“你认为深度网络难训练的问题本质上是梯度问题,所以你想使用残差的形式。”
付院长喃喃自语,左手握拳,撑住了自己的下巴。
“如果不去深究神经网络本身的变换,而只是将其的变换理解为一个未知的高维函数的话,f(x)的多次累加会比x+f(x)的残差形式要不稳定太多。”
孟繁岐后世主要以理解算法的流程,了解几种对比方法的优缺点为主。
对于其具体的内在原理,数学推导,平心而论,他的关心远远不足。现下正是弥补这部分短板的大好机会。
“如果我们讨论一个函数的多次嵌套,f(f(f(f(..f(x)..))))的话,不管是否是残差的形式,都是相当难以分析的。从数学上直观来看,两个相同次数的嵌套,有残差与否,不应当会改变该函数的实际表达能力。也就说,你构建的模型其对函数拟合的能力是与原本相当的。”
“倘若真的可以观察到明显的改善,那说明这种残差的形式只是能够让你所说的模型更容易被优化。换言之,以我的视角来说,该函数的求解变得更加精确了,从这个角度来看,残差是一种简洁的欧拉前向形式。”
付德清说着,拿起了纸开始了一些推演。孟繁岐疏于数学上的推演,但他很熟悉这种形式构建的网络有什么特性,因而越听越觉得惊奇。付院长的数学分析竟然相当接近不少后来的实验结果。
只可惜自己看他亲自上手推论,却稍微有些吃力了。
此时此刻和他一样一头雾水的还有附近竖起耳朵吃瓜的几名高年级学长学姐。
本章完
简介关于火影我用生物学横扫忍界开局一个鬼芽罗,血继界限全靠自己见证战争残酷的卑留呼决定走上革命的道路,掀翻木叶暴政,让世界充满爱与正义宇智波斑卑留呼是我的好大孙宇智波一族大长老卑留呼是带领我们走向光明的希望猿飞日斩他是一个冷酷无情的人大蛇丸卑留呼是一个和我有着相同理想的同类。...
简介关于孕期王爷要休妻,重生王妃笑喷了前世苏南依轮为李玉珠的踏脚石,儿子被换,最后惨死,重来一世,她掌先机,夺机缘,得一手无双医术,更是得一对双胞胎,将李玉珠踩进泥,看着她在泥潭里挣扎。凌霄苏氏,本王要休了你。苏南依哈哈哈,求之不得...
C遍天下无敌手,赫赫有名,没节操,没素质,没底线的三无阴鸷暴躁记仇哥,池骋。他的生活就是泡吧,飙车,找美男,顺便给死对头添堵。被死对头阴了一把正不爽,眼睁睁的看着秋晨滑着滑板摔进路边花坛里,就这样手里还高高举着刚得的糖人,糖人一点没摔,他人摔的四仰八叉,直接给哥们整笑了。真他妈是个活宝!管家好久没看到少爷笑过了...
末世囤货重生苟无限空间腹黑不圣母突如其来的宇宙未知射线影响了蓝星的气候,气温骤降,几十亿人类寒冷中死去。食物,我的商城里有吃不完的食物,喝不完的哈哈水。抵御寒冷?我花了上千万把烂尾的别墅变成了温暖舒适的顶级安全屋。想要得到庇护,除非你能倒立拉稀。末世里别人为了食物泯灭人性,而我吃着烧烤喝着啤酒。敌人来了花生米随便赏。我不只是有武器,我还有坦克,就是这么不讲武德。...
穿越到亘古大6,附身大夏国五皇子,被人陷害,暗杀,这让古剑魂知道,实力才是一切。从小便佩戴的太极阴阳图能够让他对任何武学都极快的参悟,掌控,当他以绝强修为出现在那些瞧不起他,甚至即将灭国的大夏国国主面前的时候,众人不淡定了,一人一剑,力保大夏国不亡,这个时候开始,古剑魂开启了右手执剑,左手掌控天下的局面。玄幻之顿悟三千剑道...
时隔三年,南栀重生了,成了宁川富之女,却所嫁非人,夫婿和青梅竹马暗渡陈仓,一家子想方设法要谋她财害她命。南栀冷笑,那就让他们知道害人是要付出代价的。等她终于解决了原主的烂摊子,打算开各位书友要是觉得万贯娘子还不错的话请不要忘记向您QQ群和微博里的朋友推荐哦!...