chihungchan.com
[PLM#2] (OpenAI 2019) Language Models are Unsupervised Multitask Learners
1. 背景 动机:(1)单个域的单个任务上的训练缺乏泛化性能;(2)多任务训练意味着需要更多的训练数据来实现良好的泛化性能;(3)目前的PLM仍需要具体任务进行fine-tuning。 贡献点:(1)连接了两类工作(预训练和多任务学习),继续探索迁移;(2)展示了Language Model可以以zero-shot形式应用到下游任务。 2. 方法 方法的本质:语言建模(Language Mo