请选择 进入手机版 | 继续访问电脑版
 找回密码
 立即注册
搜索

本文来自

0523科技

0523科技

人已关注

请添加对本版块的简短描述

精选帖子

AAAI2020线上分享|加州大学伯克利分校:Hessian矩阵下的神经网络

[复制链接]

794

主题

819

帖子

1687

积分

金牌会员

Rank: 6Rank: 6

积分
1687
7130 舒淇妹纸 发表于 2020-1-17 16:21:14
最新一期机器之心 AAAI 2020 线上分享,我们邀请到了加州大学伯克利分校 Zhewei Yao 博士为我们介绍将二阶方法用于训练深度神经网络的最新成果。这是一期硬核的线上分享。
今年春节后不久,人工智能学术顶会 AAAI 2020 就将于美国纽约开幕。为向读者们介绍更多 AAAI 2020 优质论文,机器之心组织策划了 AAAI 2020 线上论文分享。
目前,机器之心 AAAI 2020 论文分享进行到了第三期,本期我们邀请到了加州大学伯克利分校 Zhewei Yao 博士,他的论文《Q-BERT: Hessian Based Ultra Low Precision Quantization of BERT》被 AAAI 2020 所接收。在这期分享中,他将介绍把二阶方法用于训练深度神经网络的最新结果。


讲者简介:Zhewei Yao,加州大学伯克利分校 BAIR、RISELab(前 AMPLab)、BDD 和数学系博士。他的研究兴趣包括计算统计,优化和机器学习。目前,他对利用随机线性代数中的工具来为大规模优化和学习问题提供有效且可扩展的解决方案感兴趣。他也在研究于深度学习的理论和应用。
演讲概要:在此演讲中,我将介绍把二阶方法用于训练深度神经网络的最新结果。首先,我会介绍一种使用二阶信息进行模型压缩的新系统性方法,这种方法能够在图像分类、目标检测和自然语言处理等一系列具有挑战性的任务中产生前所未有的小模型,超越所有的行业水平,包括昂贵的、可大规模搜索的 AutoML 方法。
其次,我将介绍一个用于计算 Hessian 信息的全新可扩展框架,以解决二阶信息计算速度很慢的问题。此外,我还将为大家展示在训练期间也可以使用 Hessian 信息,且开销很少。与 ImageNet 上基于一阶方法训练 ResNet18 的时间相比,我们的方法可提速 3.58 倍。
论文链接:https://arxiv.org/pdf/1909.05840.pdf
时间:北京时间 2020 年 1 月 9 日 20:00-21:00
AAAI 2020 机器之心线上分享
2020 年 2 月 7 日-2 月 12 日,AAAI 2020 将于美国纽约举办。不久之前,大会官方公布了今年的论文收录信息:收到 8800 篇提交论文,评审了 7737 篇,接收 1591 篇,接收率 20.6%。
为向读者们分享更多的优质内容、促进学术交流,在 AAAI 2020 开幕之前,机器之心将选出数篇优质论文,邀请论文作者来做线上分享。整场分享包括两个部分:论文解读和互动答疑。
线上分享将在「AAAI 2020 交流群」中进行,加群方式:添加机器之心小助手(syncedai4),备注「AAAI」,邀请入群。入群后将会公布直播链接。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则





亲,赶快加入我们吧!
X
泰州网,泰州新闻,泰州房产,泰州论坛,0523,泰州汽车X

0511.net镇江网 分享生活 温暖你我

0511.net镇江网|镇江大小事,尽在镇江网! 镇江网由镇江亿速网络科技有限公司组建。镇江网汇集了镇江本地新闻信息,视频专题、国内外新闻、民生资讯、社会新闻、镇江论坛等。镇江网是镇江地区最具影响力的综合性门户网站,是镇江人浏览本地新闻的首选网站。...

点击查看详情 
快速回复 返回顶部 返回列表
友情链接