ICML2023杰出论文大幅减少至6篇，北大、武理工校友获奖，大模型水印受青睐

太白山 · 发表于: 2023-7-27 18:13:52

源自：机器之心Pro

　　机器之心报道　编辑：杜伟、小舟
　　相比去年评出的 15 篇杰出论文，ICML 2023 的获奖论文数量大大减少，只有 6 篇。
　　ICML 全称是 International Conference on Machine Learning，由国际机器学习学会（IMLS）举办，是计算机人工智能领域的顶级会议。今年的 ICML 大会已是第 40 届，于 2023年 7月 23日至 29日在美国夏威夷会议中心举行。

eb3c-7926b8ca84b1d696308e49cc98e3db2d.png 保存到相册

　　今年，ICML 共收到 6538 份投稿，其中 1827 份被接收，接收率约为 27.9%。相较于 2022年，本届的投稿、接收论文数量以及接收率都有所增加（投稿 5630 篇、接收短论文 1117 篇、长论文 118 篇、接收率 21.9%）。
　　ICML 官方表示，每一份投稿都由领域主席和高级领域主席进行评审，以确保每一份投稿都得到适当的评估。
　　今日，ICML 官方放出了杰出论文奖获奖论文。
　　六篇杰出论文奖
　　本届会议共评出了 6 篇杰出论文，研究覆盖了无学习率、为 LLM 加水印、未见过域泛化、不完全信息零和博弈的近优策略、MCMC 和频率顺序学习的贝叶斯设计原则等课题。
　　论文 1：Learning-Rate-Free Learning by D-Adaptation

　　机构：Meta AI、Inria Sierra
⊙作者：Aaron Defazio、Konstantin Mishchenko（现为三星人工智能中心研究科学家）
　　论文地址：https://openreview.net/forum?id=GXZ6cT5cvY

813a-14f733f77b55b1bb75b51b8ad5c581d6.png 保存到相册

　　该研究旨在为非光滑随机凸优化获取无学习率的最优界限，所提方法克服了优化此类问题时传统学习率选择的限制，为优化领域做出了有价值且实际的贡献。

aaa8-33d6a5c87e0542e28f5cf7a3d65ed63b.png 保存到相册

　　该研究还提出了新方法的 SGD 和 Adam 变体，将用于大规模CV 和 NLP 问题。

3953-01e0468a43d4a76d8506f15f7a439ec6.png 保存到相册

　　论文 2：A Watermark for Large Language Models

　　机构：马里兰大学
⊙作者：John Kirchenbauer、Jonas Geiping、Yuxin Wen、Jonathan Katz、Ian Miers、Tom Goldstein
　　论文地址：https://openreview.net/forum?id=aX8ig9×2a7

5704-fc146feb99750ca094e740547393793e.png 保存到相册

　　论文简介：该论文提出了一种对大型语言模型的输出添加水印的方法──将信号嵌入到生成的文本中，这些信号对人类来说是不可见的，但可以通过算法检测到。无需重新训练语言模型即可生成水印，无需访问 API 或参数即可检测水印。

5717-97ddc773084eacd597020bb3a11b29cb.png 保存到相册

　　为了检测水印，该论文还提出了一种具有可解释 p 值的统计测试方法，以及用于分析水印敏感度的信息论框架。该研究所提方法简单新颖，并提供了彻底的理论分析和扎实的实验。鉴于检测和大型语言模型（LLM）生成的文本正面临严峻的挑战，该研究可能会对机器学习社区产生重大影响。
　　论文 3：Generalization on the Unseen，Logic Reasoning and Degree Curriculum

　　机构：EPFL、苹果
⊙作者：Emmanuel Abbe、Samy Bengio、Aryo Lotfi、Kevin Rizk
　　论文地址：https://openreview.net/forum?id=3dqwXb1te4

e1aa-a140f6a1a0eee63be65366a6813e3dd8.png 保存到相册

　　论文简介：该论文在布尔函数的学习方面取得了重要进展，尤其是针对未见过域的泛化（Generalization on the Unseen，GOTU），这是一个具有挑战性的分布外泛化问题。该论文深入探究了这一课题，提出了一种结构良好的方法，并有充足的理论分析和大量实验支撑。此外该论文还概述了深度神经网络领域的一个关键研究方向。
　　具体而言，研究者探究了具有 holdout 的函数学习问题，其中部分分布支持在训练中几乎或从来没有见过，并使用布尔目标函数来捕捉各种推理任务（如算术、决策树和逻辑电路）的离散和组合属性。
　　最终，研究者对长度泛化问题给出了自己的解释，并提出了一种名为「Degree-Curriculum」的课程式学习算法，该算法通过增加支持更高效地学习单项式。算法如下所示：

cbb3-4590553ba336f7bbeca9f53eb2bad599.png 保存到相册

　　论文 4：Adapting to game trees in zero-sum imperfect information games

　　机构：CREST、ENS Lyon、Omron Sinic X、Deepmind 等
⊙作者：Cme Fiegel、Pierre MENARD、Tadashi Kozuno、Remi Munos、Vianney Perchet、Michal Valko
　　论文地址：https://openreview.net/forum?id=O1j4uFuSVW

43a4-35f811b734af131af4a44d14a59de276.png 保存到相册

　　论文简介：该论文介绍了不完全信息零和博弈的近优策略。研究者建立了一个新颖的下界，并提出了两种算法— 平衡 FTRL 和自适应 FTRL。这些贡献极大地推动了不完全信息博弈优化领域的发展。论文的多项实验证实了这些说法，为研究结果提供了充分的支持。

d92a-ae9fd2819a490033d5839bd9f90b0bb2.png 保存到相册

dc6b-7ac0c6c2b6dad039dc526ab2d930cda7.png 保存到相册

　　论文 5：Self-Repellent Random Walks on General Graphs-Achieving Minimal Sampling Variance via Nonlinear Markov Chains

　　机构：IQVIA Inc、北卡罗来纳州立大学
⊙作者：Vishwaraj Doshi、Jie Hu、Do Young Eun
　　论文地址：https://openreview.net/forum?id=450iImFM4U

a402-66f577d7e924748a492b6e2d1caea0f2.png 保存到相册

　　论文简介：该论文解决了一组具有挑战性的开放问题，提出了具有自排斥随机游走的马尔可夫链蒙特卡洛（MCMC）。给定任何对应目标概率分布的马尔可夫链，这种自排斥随机游走（SRRW）不太可能过渡到过去高访问量的节点，而更有可能过渡到很少访问的节点。
　　该方法超越了传统的无回溯方法，并为 MCMC 采样的新研究方向铺平了道路。研究者为 MCMC 研究做出了原创性和重大的贡献，更值得一提的是过程可以被严格地分析和证明。结果也非常全面，令人信服。

05b5-89dd43fe8756fbe95f5b87e0e0d6b74f.png 保存到相册

　　这篇论文的作者之一 Jie Hu，现为北卡罗来纳州立大学博士生，他在武汉理工大学获得了本科学位，在美国西北大学获得了硕士学位。

c25b-407dac6ec1bc41013c20824c59f64e0d.png 保存到相册

c363-6cd38284026516421d233bc33122dba6.png 保存到相册

　　论文 6：Bayesian Design Principles for Frequentist Sequential Learning

帐号		自动登录	找回密码
密码			免费注册

[2023年] ICML2023杰出论文大幅减少至6篇，北大、武理工校友获奖，大模型水印受青睐