Freedom

Good luck is another name for tenacity of purpose

Gated-Attention Readers for Text Comprehension

reading note

Motivation本文的研究领域为完形填空类型阅读理解，但当时（2016年）关于该方向的工作独立应用多跳推理和注意力，没有以互补的方式将二者结合；此外，它们应用的查询注意力要么是逐token，要么逐句，非细粒度注意力交互，从而使得当时的模型性能不够强。 Contribution 提出一种新的门控注意力机制，以互补的方式将多跳推理以及注意力相结合，使得在每一跳都更新token表示。本文使用......

Posted by You Hao on 2020-09-29

Natural Language Processing Question Answering Cloze-style Machine Reading Comprehension

Cross-Lingual Transfer Learning for Question Answering

reading note

动机大多数语言缺乏高质量的训练样本来训练QA模型，并且为QA注释大规模的数据代价很大，因此可以考虑用训练样本丰富的语言如英语，利用其训练数据训练的QA模型将知识迁移到具有较少训练样本的目标语言（甚至无训练样本）。贡献证明句子级的机器翻译模型对解决针对问答的跨语言迁移学习非常有效。提出使用域对抗训练方法，即基于GAN的方法，仅使用逐词双语词典来学习QA模型的不变隐式表示，并且其性能匹......

Posted by You Hao on 2020-09-25

Natural Language Processing Question Answering Machine Translation Cross-Lingual Transfer Learning Generative Adversarial Network

Harvesting and Refining Question-Answer Pairs for Unsupervised QA

reading note

动机高质量的训练数据收集费时费力，虽然Lewis等人[1]使用无监督机器翻译的方法解决该问题，但是该方法有许多缺点，如生成的问题于答案之间有较多的词汇重复；答案类型局限于命名实体或者名词短语，限制学得模型的覆盖度。因此，作者提出两种方法解决上述问题。贡献提出REFQA数据集，即使用维基百科的陈述句及其对引用文档来生成<问题，上下文，答案>三元组。利用现有QA模型对REF......

Posted by You Hao on 2020-09-24

Natural Language Processing Question Answering Unsupervised Question Answering

Unsupervised Question Answering by Cloze Translation

reading note

动机获取问答的训练数据费时费力，尤其是对于很多新领域或者语言，因此作者研究在完全没有训练数据（上下文-问题-答案）的情况下如何解决抽取式问答任务。贡献首次提出用于无监督问答的方法，即使用无监督机器翻译方法将生成的完形填空类型问题转化为自然问题。提出四种针对答案被隐藏的完形填空类型问题翻译成自然问题的方法，并且通过消融实验分析各种算法对性能的影响。该架构具有较强的灵活性和扩展性，可......

Posted by You Hao on 2020-09-22

Natural Language Processing Question Answering Machine Translation Unsupervised Question Answering

Unsupervised Domain Adaptation on Reading Comprehension

reading note

Motivation 现实世界中存在很多无标签的数据，而现有的机器阅读理解模型的泛化能力差，即从一个领域学到的知识很难用于其他无标签的数据集的答案预测。甚至即便是BERT这种在巨型无监督数据集上预训练的模型，在某个数据集上微调后用于其他数据集时，性能会急剧降低。对于能解决该问题的无监督域适应(Unsupervised Domain Adaptation)的研究较少，即便有，现存研究(如C......

Posted by You Hao on 2020-09-21

Transfer Learning Natural Language Processing Question Answering Unsupervised Question Answering Domain Adaptation Machine Reading Comprehension

Experience

时空变换

What happened?2020.9.6 北京2020.9.14 福建莆田 ...

Posted by You Hao on 2020-09-20

Travel Experience