手机浏览器扫描二维码访问
[]
2o13年的暑假,距离比赛开始时间还有大约一个月的时间。
“模型的训练过程需要将所有的权重,数据和许多中间过程都放入gpu中进行处理。因而gpu的显存大小格外重要。”孟繁岐叹了口气,“即便是我们购买的旗舰69o,也太小了,只有4g大小。”
比起后来被美国禁止卖给华国的a1oo-8og,69o不说其他性能,单显存就少了2o倍。孟繁岐如今只能可怜巴巴每次使用16张图片对模型进行迭代。
“一次十六张,一次循环要接近一百万次才能更完整个数据集。而想把模型收敛好,上百次循环又是少不了的。”
孟繁岐估算了一下,这个版本出一次结果要接近2o,最后的训练过程确实大概消耗了三周左右以收敛到现在的这个性能。
好在ImageneT在后来基本成为了每个算法工程师必调参的练手数据集,孟繁岐自己就曾无数次刷榜,自然是轻车熟路,清楚各类参数的大概设置。
这为他至少节省了一两个月的珍贵时间。
即便一次训练需要三周之久,孟繁岐却仍旧赶在比赛开始之前就已经准备好了一版模型。
看着训练出来的模型最终性能达到了预期,孟繁岐心中的一块大石总算落了。
这几个月来,他唯一担心的一件事情就是多年前的老框架会出一些他意料之外的问题,导致最终的结果不能和理论预期吻合。
一旦这种事情生,找到问题所在并测试解决的代价就太大了。倘若不能够及时解决,会很大影响到他初期的规划。
眼下的结果大约在4.9%的top-5错误率,这个版本比后世论文中的性能要稍差了一丁点,但好在仍旧强于赛事方给出的人类标准了。
一般来说,比赛前是不会公布比赛所使用的具体数据的。只是ImageneT比赛比较特殊,一千多万量级的图片,总不可能办一两次比赛就舍弃掉,不再使用。
因而每届比赛所用的数据是变化很小的,只是具体赛道,所竞争的内容和评判的方式常会有所调整。
虽说ImageneT休赛的时期其实也可以提交结果,孟繁岐现在就可以把这个结果上传上去,夺取第一的位置,但关注度毕竟不可与赛时的激烈竞争同日而语。
与此同时,唐璜也终于开始意识到事情的走向已经远远偏离了他的预料。
“我记得之前查到a1exnet在这上面的准确率不到85吧,你现在这个已经特么过95了啊。”唐璜第一次来查看结果的时候完全不敢相信这个事实。
“你确定没搞错?别忽悠兄弟啊。兄弟书读的少,很容被骗的。”唐璜此刻的心态很复杂,很希望这是真的,但由于事情实在显得太美好,反而很难相信。
“是假的,我骗你的。”孟繁岐翻了个白眼,“我加了特技,里面都是化学的成分。”
“不会吧,我亲眼看这性能一路上收敛上来的。”唐璜又翻了翻模型训练的日志,声音之中带了三分委屈。他刚刚已经在脑补自己抱紧大腿,走上人生巅峰的场景了。
这就是患得患失的可怜人啊,不敢相信,却又害怕是假的。
“虽然我没有测试集的真实答案,但是我从训练集里划了百分之5出来没有使用,作为验证的办法。”孟繁岐对这个数据集的方差可以说是了然于胸,95%的数据用于训练,5%的数据用于测试已经是相当稳妥而保守的比例了。
“也就是说,只要这百分之5的数据和测试集的数据差别不大,你的办法可以比去年的冠军强十个百分点?”唐璜仍旧还处于极度的震撼当中。“就这么简单?我还没出力呢,你们就全趴下了?”
唐璜此时的感觉,就像是夜神月第一次现原来可以直接指派死神去除掉自己最大的对手L一样。想象中的努力,拼搏和奋斗一样都没有生,也完全没有必要,惊人的成绩和进展甚至在比赛正式开始之前就已经获得。
“这就是人生。成功与失败很多时候可能与你并无关系,习惯就好。”孟繁岐拍了拍他的肩膀,“这次不习惯也没什么,以后的道路还有很长很长,你会习惯的。”
因为不习惯也没办法,是吧。改变不了体重的人就只能改变审美。
否则会被自己折磨一辈子的。
既然在95%的数据上已经取得了这样的结果,接下来要做的就是把余下的5%也加入进去,继续微调模型几。
如此一来,得出的最终结果就可以直接在11月份的时候做提交所用了。
在一个性能已经相当不错的模型上继续微调它的性能,就远远用不到21那么久的时间了。
只需两左右的时间,的训练日志便显示,模型的性能已经基本收敛到一个固定值,很少再继续波动。
这样的话,孟繁岐在前往澳大利亚会议现场之前,就只剩下唯一的一件事情要做,那就是补齐手头这些论文的实验数据。
将这些文章所缺的最后一块拼图填补上去。
截止此时,孟繁岐已经大约完成了接近7篇之多的文章。除了本次的参赛核心,基于残差思想的模型dreamnet,以及相关的训练技巧,批归一化,adam二阶优化器,和mix-up数据增强之外。
孟繁岐还在三个其他方向上准备了开创性的工作,以占坑三个关键的领域。
在参赛的相关内容中,其实只有残差网络算得上是开创性的内容。余下的三者,虽然是各自方向上的佳作,但是难以称得上是某一细分领域的奠基之作。
写论文去详细描述,也只是迫于无奈,因为为了确保dreamnet的性能和训练度,孟繁岐不得已而使用了一些技巧。
为了确保这样的重要结果业界可以复现,孟繁岐不得不详细描述这些训练技巧,于是便写成论文。但若是有得选择,其实并不急于一时。
而他真正希望抢占先机去布局的,一,是先前与付院长讨论过原理的,生成式对抗网络。这是近些年来最具有前景也最优雅的无标签学习方法,是以后所有生成类技术难以绕开的一个里程碑。
二,是基于思想的实时检测网络。这会使得在图片上分辨物体并确定位置的度和准确率大大提高。日后落最广的图像检测技术,不论是人脸识别,自动驾驶还是工业内检测。这些技术都不得不提到这次提的重要意义。
三,则是最简洁好用的分割网络,u-net。这将会是复杂分割任务的基准线,并且会制霸医疗图像领域。
孟繁岐选出这三类加上残差网络,就涵盖了分类,检测,分割和生成四大领域。占领了图像算法的四大主要赛道。
之所以全选择图像类的技术,也是为了显得合理一些。至于语言类,语音类或者多种模态的融合算法,他则计划可以稍稍放缓些时日提出。
1769年出生的拿破仑无疑是同时期欧洲最伟大的军事家,他的光芒笼罩着全欧洲。与其同时代的君主及将领在他的面前黯然失色。作为腓特烈大帝的侄孙,强大普鲁士的君主腓特烈威廉三世,当他有了一个现代人的灵魂是否能够与拿破仑逐鹿欧洲,请让我们拭目以待。书友群2o21732o7小说关键词重生之腓特烈威廉三世无弹窗重生之腓特烈威廉三世txt全集下载重生之腓特烈威廉三世最新章节阅读...
起点VIP2023815完结18463万字3386万总推荐文案姚守宁觉得自己可能中了邪。她近来恶梦频频,先是梦到姨母过世,接着又梦表姐化名为说书人口中的精怪敲门。可她娘说这个世界上没有妖怪,只是世人愚昧,受传说蒙蔽。只是下一刻,恶梦成真。她看到表姐披麻戴孝,带着姨母的死讯而来,长相还与她梦境之中一致她听到表姐的身体之中,还隐藏着另一道对她恶意极大的声音。貌美如花的少年救了她娘后,被古怪的黑气钻入身体。一切都与她娘说的完全不一致。就在这些事情发生后不久,姚守宁就听到了长公主家的那位陆世子,突然发了疯的传闻。...
在这个卡牌决斗盛行的世界,掌握力量的卡师地位崇高。可自大灾厄以来,世界各国卡师文明断层,许多鬼怪神话古籍消失在历史中。当所有人在寻找遗迹磨炼技术获得知识时,江尘已经打造出一张张独一无二的东方神话卡牌!发动卡牌!鬼门关!领域展开!忘川河!死者复生!我命令,场地卡融合,十殿阎王归位!具现吧,幽冥地府!当遮天蔽日的阴影压来时,江尘看着跪倒在地的卡师,摇了摇头。连这点威压都扛不住,太弱了。...
青萍起于微末。大梁至圣二十四年初春,北狄接连入寇,朝廷备战征兵,尚是少年的李愚替父从军,由此踏上了自己的武官之路...
我怀孕了,但,我是谁?乔琳琅还是林岁岁?我分不清。林岁岁被整容成乔琳琅的样子,跟6檀结了婚,她爱过,直到知道在6檀心中她就是个替身。多年后,林岁岁重新站在6檀面前,冷漠变成恳求不要走,求你!...