作为全球最负盛名的AI学术会议之一，NeurIPS是每年学术界的重要盛会。全称是NeuralInformationProcessingSystems，一般在每年12月举行。由NeurIPS基金会主办。会议讨论的内容包括深度学习、计算机视觉、大规模机器学习、学习理论、优化、稀疏理论等诸多细分领域。今年，NeurIPS是第36届，将于11月28日至12月9日举行，为期两周。第一周将在美国新奥尔良的ErnestN.Morial会议中心现场举行，第二周将以虚拟方式举行。IBM研究中心等学者谈到了大模型的鲁棒性，非常值得关注！基础模型采用深度学习的方法，在大规模未标注数据上进行预训练，通过特定任务的监督进行微调，正在成为机器学习的主流技术。虽然底层模型对学习一般表示和跨领域和数据模式的泛化很少/零泛化有很大希望，但与此同时，由于使用过多的数据量和复杂的神经网络架构，它们在稳健性和隐私方面受到限制。性行为带来了前所未有的挑战和相当大的风险。本教程旨在提供类似Coursera的在线教程，其中包含全面的讲座、Jupyter/Colab中的动手和交互式实时编码演示，以及关于基本模型合理性不同方面的小组讨论。https://sites.google.com/view/neurips2022-frfm-turotial目录内容：基础模型和稳健性基础知识深入研究计算机视觉的基础模型深入研究代码的基础模型动手代码演练结束语Q&A小组讨论演讲者：真实-世界机器学习系统需要对分布变化具有鲁棒性——它们应该在不同于训练分布的测试分布上运行良好。例子包括资源贫乏国家的贫困地图[Xieetal.2016;让等人。2016]，自动驾驶汽车[Yuetal。2020a;孙等。2020a]，医疗诊断[AlBadawy等。2018;Dai和Gool2018]这种高风险应用要求模型能够很好地泛化到训练数据中未见的环境，例如来自不同国家、不同驾驶条件或来自不同医院的测试示例。以前的工作表明，即使对于最先进的模型，这些分布变化也会导致性能大幅下降[Blitzeretal。2006年；多美三世2007；杉山等。2007年；Ganin和Lempitsky2015；彭等。2019;库马尔等。2020a;Arjovsky等。2019;塞格迪等人。2014;亨德里克斯和迪特里希2019；佐川等。2020a;Recht等人，2019年；;库马尔等。2020b;余等。2020b;Geirhos等人。2020;谢等。2021a;Koh等人。2021]。基础模型在从分布中采样的大量未标记数据集上进行训练，然后可以适应许多下游任务。对于每个下游任务，基础模型在从训练分布采样的带标签的分布内(ID)训练数据上进行训练，然后在分布外(OOD)测试分布上进行评估。例如，贫困地图预测模型[Xieetal。2016;让等人。2016]可以在全球未标记的卫星数据中为所有国家学习有用的特征，然后在来自尼日利亚的标记示例上进行微调，最后在缺乏标记示例的马拉维上进行评估。我们认为：1）基本模型在鲁棒性方面是一种特别有前途的方法。现有工作表明，与许多仅限于有限分布变化的稳健干预相比，对未标记数据进行预训练是提高OOD测试分布准确性的一种有效且通用的方法。然而，我们还讨论了2）为什么底层模型可能并不总是能够应对分布变化，例如有些是由于虚假相关或分布随时间变化。最后，3)我们概述了几个研究方向，用于开发和改进基础模型的稳健性。我们注意到，基础模型提高下游任务性能的一种方法是为适应模型提供归纳偏差（通过模型初始化），这些偏差是在下游训练数据之外的各种数据集上学习的。然而，同样的归纳偏差也可以编码来自预训练数据的有害关联，并在存在分布变化的情况下导致表示和分配危险。
