微软研究院发布了BioGPT，这是一个基于生物医学研究文献的大型语言模型。根据PubMedQA的评价，该模型在回答生物医学文献中的问题方面表现优于人类。
BioGPT是在生物医学出版物而不是整个互联网上培训的，因此它在生物医学任务方面比以下模型做得更好。
好处：
- 提取诸如基因或疾病的生物医学实体
- 可以回答生物医学问题的聊天机器人
- 生物医学领域的总结和自动完成
这是一种生物医学领域的生成式预训练 Transformer 语言模型。可用于生命科学文献文本生成和挖掘。
微软研究院团队研究了将 BioGPT 应用于下游任务时的提示设计和目标序列设计，发现具有自然语言语义的目标序列优于之前工作中探索的结构化提示。
该团队设计并检查了提示和目标序列格式，同时将预训练的 BioGPT 应用于基于 GPT-2 的下游任务，并在 1500 万个 PubMed 摘要语料库上进行了预训练。它在其评估的六项生物医学 NLP 任务中的大部分任务中表现优于早期模型。
BioGPT 在三项端到端关系抽取任务和一项问答任务上实现了 SOTA 此外，在生命科学文本生成能力方面，它在文本生成任务上优于 GPT-2。
它在 BC5CDR、KD-DTI 和 DDI 端到端关系提取任务上的 F1 分数分别为 44.98%、38.42% 和 40.76%，在 PubMedQA 上的准确率为 78.2%，创下了新纪录。
在 PubMedQA 上，较大的模型“BioGPT-Large”获得了 81.0% 的准确率。他们关于文本生成的案例研究进一步强调了使用 BioGPT 为生物学术语创建简单定义的好处。
点击标题
背景资料
预训练语言模型由于在一般自然语言领域的成功而在生物医学领域获得了极大的关注。在这个领域内，预训练语言模型有两个主要分支：BERT（及其变体）和 GPT（及其变体）。BioBERT 和 PubMedBERT 是生物医学领域最受关注的第一个分支的例子。虽然它们在许多有鉴别力的下游生物医学任务中表现良好，但它们的使用受到无法生成文本的限制。