NeurIPS2023获奖论文合集惊艳登场！

NeurIPS 2023 获奖论文合集惊艳登场！

原创

重磅干货，第一时间送达

NIPS 2023

第三十七届信息处理系统大会NIPS（NeurIPS，Conference and Workshop on Neural Information Processing Systems)已于2023年12月10日-16日在美国 · 新奥尔良圆满举行！本届会议共有 12343 篇有效论文投稿，接收率为 26.1％，高于 2022 年的 25.6％！NIPS是CCF推荐的A类会议和Core Ranking推荐的A类会议之一，其H5指数达到惊人的309，位列Google Scholar上人工智能领域会议和期刊的榜首，与ICML、ICLR等被誉为机器学习领域“三大会议”之一。大会的主题涵盖了深度学习、机器学习，人工智能和统计学等多个领域，吸引了世界范围内顶尖的学者、科学家和工程师聚集一堂，是一场规模空前的盛事。小编将带领大家探索NIPS 2023获奖论文的精华，一同见证这些令人惊叹的卓越研究成果！

Main Track杰出论文奖1

题目：Privacy Auditing with One (1) Training Run

作者：Thomas Steinke · Milad Nasr · Matthew Jagielski

简介：本文提出了一种只需一次训练运行即可对不同的私有机器学习系统进行审计的方案。这利用了能够独立添加或删除多个训练示例的并行性。我们利用差异隐私和统计泛化之间的联系来分析这一点，从而避免了群体隐私的代价。我们的审计方案对算法的假设要求极低，可应用于黑盒或白盒环境。我们通过将其应用于DP-SGD 来证明我们框架的有效性，在 DP-SGD 中，我们只需训练一个模型就能实现有意义的经验隐私下限。相比之下，标准方法需要训练数百个模型。

论文链接：https://arxiv.org/pdf/2305.08846.pdf

Main Track杰出论文奖2

题目： Are Emergent Abilities of Large Language Models a Mirage?

作者：Rylan Schaeffer · Brando Miranda · Sanmi Koyejo

简介：最新研究发现，大型语言模型具有突发能力，这种能力在小型模型中不存在，只存在于大型模型中。突发能力之所以引人注目，是因为它们表现出的敏锐性和不可预测性，但这种能力其实是由度量选择引起的非线性或不连续度量所致。本文提出了选择先用一个简单的数学模型来解释，然后用三个互补的模型来检验它方法:我们(1)对度量的效果做出三个预测，并进行验证(2)在BIG-Bench上对突发能力的元分析中，做出、测试并证实了两个关于度量选择的预测;(3)说明如何选择指标在多种视觉任务中产生从未见过的看似突发的能力跨越不同的深度网络。通过这三种分析，我们提供了证据，证明所谓的突发能力会随着不同的衡量标准或更好的统计数据而消失，并且可能不是扩展AI模型的基本属性。

论文链接：https://arxiv.org/abs/2304.15004

Runner-up 杰出论文奖 1

题目：Scaling Data-Constrained Language Models

作者：Niklas Muennighoff · Alexander Rush · Boaz Barak · Teven Le Scao · Nouamane Tazi · Aleksandra Piktus · Sampo Pyysalo · Thomas Wolf · Colin Raffel

简介：本文研究了数据受限情况下的扩展语言模型。具体来说，作者进行了大量实验，这些实验改变了数据重复程度和计算预算，最高可达9000 亿个训练标记和 90 亿个参数模型。我们发现，在计算预算固定、数据受限的情况下，使用最多 4 次重复数据进行训练与使用唯一数据相比，损失的变化可以忽略不计。然而，随着重复次数的增加，增加计算量的价值最终会降至零。我们提出了计算优化的缩放规律，并进行了经验验证，该规律考虑了重复标记和多余参数的递减值。最后，我们尝试了缓解数据稀缺的方法，包括用代码数据或移除常用过滤器来增强训练数据集。来自 400 次训练运行的模型和数据集可在此 https 网址免费获取。

论文链接：https://arxiv.org/abs/2305.16264

Runner-up 杰出论文奖 2

题目：Direct Preference Optimization: Your Language Model is Secretly a Reward Model

作者：Rafael Rafailov · Archit Sharma · Eric Mitchell · Christopher D Manning · Stefano Ermon · Chelsea Finn

简介：大规模无监督语言模型(LMs)的行为很难被精确控制，因为它们的训练没有监督。现有的方法是使用人类标签来微调无监督LM以与人类偏好保持一致。本文提出了一种新的参数化方法，称为直接偏好优化(DPO)，用于在RLHF中提取奖励模型，并且仅使用分类损失来解决标准的RLHF问题。实验表明，DPO可以进行微调LMs以与人类偏好保持一致，并且在控制代情绪的能力上超过了基于ppo的RLHF。同时，DPO更容易执行和训练，且更具稳定性和高性能。

论文链接：https://arxiv.org/abs/2305.18290

杰出数据集和基准论文奖1

题目： ClimSim: A large multi-scale dataset for hybrid physics-ML climate emulation

作者：Sungduk Yu · Walter Hannah · Liran Peng · Jerry Lin · Mohamed Aziz Bhouri · Ritwik Gupta · Björn Lütjens · Justus C. Will · Gunnar Behrens · Julius Busecke · Nora Loose · Charles Stern · Tom Beucler · Bryce Harrop · Benjamin Hillman · Andrea Jenney · Savannah L. Ferretti · Nana Liu · Animashree Anandkumar · Noah Brenowitz · Veronika Eyring · Nicholas Geneva · Pierre Gentine · Stephan Mandt · Jaideep Pathak · Akshay Subramaniam · Carl Vondrick · Rose Yu · Laure Zanna · Tian Zheng · Ryan Abernathey · Fiaz Ahmed · David Bader · Pierre Baldi · Elizabeth Barnes · Christopher Bretherton · Peter Caldwell · Wayne Chuang · Yilun Han · YU HUANG · Fernando Iglesias-Suarez · Sanket Jantre · Karthik Kashinath · Marat Khairoutdinov · Thorsten Kurth · Nicholas Lutsko · Po-Lun Ma · Griffin Mooers · J. David Neelin · David Randall · Sara Shamekh · Mark Taylor · Nathan Urban · Janni Yuval · Guang Zhang · Mike Pritchard

简介：由于计算限制，传统气候模拟无法提供足够的时空分辨率，导致对关键过程的预测不准确。为了克服这个问题，本文引入了一种混合机器学习-物理学的方法，利用机器学习模拟器来处理计算密集、短时、高分辨率的模拟。然而，这种方法需要特定领域的处理，并且缺乏训练数据和易于使用的工作流程，对机器学习专家来说难以实现。为此，本文提出了ClimSim数据集，这是迄今为止最大的用于混合机器学习-物理学研究的数据集。该数据集由气候科学家和机器学习研究人员共同开发，包含大量多变量的输入和输出向量，可以将高分辨率的物理过程与宏观尺度的气候模拟器隔离开来。该数据集具有全球覆盖范围，采样频率高，适用于生成的仿真器和操作性气候模拟器的后续耦合。作者还实施了一系列回归基线模型，以评估机器学习在气候模拟中的挑战。该数据集和代码已经公开发布，旨在促进混合机器学习-物理学和高保真度气候模拟的发展，造福科学和社会。

论文链接：https://arxiv.org/abs/2306.08754

杰出数据集和基准论文奖2

题目：DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT Models

作者：Boxin Wang · Weixin Chen · Hengzhi Pei · Chulin Xie · Mintong Kang · Chenhui Zhang · Chejian Xu · Zidi Xiong · Ritik Dutta · Rylan Schaeffer · Sang Truong · Simran Arora · Mantas Mazeika · Dan Hendrycks · Zinan Lin · Yu Cheng · Sanmi Koyejo · Dawn Song · Bo Li

简介：本文关注在医疗保健和金融等敏感领域中使用功能强大的GPT模型可能面临的可信性问题。他们以GPT-4和GPT-3.5为重点，在毒性、刻板偏见、对抗稳健性、分布外稳健性、对抗演示稳健性、隐私、机器伦理和公平性等不同角度对这些大型语言模型进行了评估。评估结果发现了一些未公开的可信性威胁漏洞，包括模型易受误导、产生有毒和有偏见的输出，以及泄漏隐私信息。研究还发现，虽然在标准基准上，GPT-4通常比GPT-3.5更可信，但在越狱系统或用户提示下，GPT-4更容易受到攻击。该研究呼吁对GPT模型进行全面可信度评估，并揭示了可信度之间的差距。他们的基准可以在https://decodingtrust.github.io/上公开获取。