上周大语言模型顶级ML论文概要


这是上周顶级 ML 论文(3 月 27 日至 4 月 2 日):

BloombergGPT 
一个新的 50B 参数的金融 LLM。声称拥有 3630 亿个令牌的最大特定领域数据集......进一步增加了来自通用数据集的 3450 亿个令牌;在财务任务上优于现有模型。

ALOHA
一个低成本的系统,可以从真实的演示中进行端到端的模仿学习;提出了一种称为 Action Chunking with Transformers 的算法来学习生成模型,该模型允许机器人学习现实世界中的困难任务。

HuggingGPT 
一个利用像 ChatGPT 这样的 LLM 来进行任务规划、选择模型并充当控制器来执行子任务并根据执行结果汇总响应的系统。

ChatDoctor
一个使用医疗领域知识在LLaMA上进行微调的医疗聊天模型。收集了约700种疾病的数据,并产生了5K个医生和病人的对话,以微调LLM。

LLaMA-Adapter
一种轻量级的适应方法,可将LLaMA有效地微调为指令跟随模型;产生的响应可与具有完全微调的7B参数的Alpaca相媲美;它还为多模式输入支持进行了扩展。

用于文本注释的ChatGPT
显示ChatGPT在相关性、主题和框架检测等几个注释任务上优于众人工作;除了更好的0-shot准确性,ChatGPT的每个注释成本也比MTurk便宜20倍。

用于计算机任务的LLM
表明一个预先训练好的LLM代理可以使用一个简单的提示方案来执行计算机任务,该代理会递归地批评和改进其输出。

Dialog-Enabled Resolving Agents (DERA)
一种通过允许模型交流反馈和迭代改进输出来提高大型语言模型完成度的范式;DERA在以临床为重点的任务上优于基础GPT-4。