NLP 在金融技术领域的应用广泛而复杂，应用范围从情感分析和命名实体识别到问答。
大语言模型 (LLM) 已被证明对各种任务有效；但是，文献中没有报道过专门针对金融领域的LLM。在这项工作中，我们展示了 BloombergGPT，这是一个 500 亿参数的语言模型，它在广泛的金融数据上进行了训练。
我们基于 Bloomberg彭博社广泛的数据源构建了一个 3630 亿个令牌数据集，这可能是迄今为止最大的特定领域数据集，并增加了来自通用数据集的 3450 亿个令牌。
我们在标准 LLM 基准、开放金融基准和一套最准确地反映我们预期用途的内部基准上验证了 BloombergGPT。我们的混合数据集训练导致一个模型在不牺牲一般 LLM 基准测试性能的情况下，在金融任务上的性能明显优于现有模型。
此外，我们还解释了我们的建模选择、训练过程和评估方法。
BloombergGPT是一个基于BLOOM的仅解码器因果语言模型。70层变压器解码器块。
该模型可以利用输入提示中的一些示例，利用有关股票报价机和金融术语的知识来组合查询以进行数据检索。
BloombergGPT的另一个功能是生成简短的标题建议。可能有助于编辑每日通讯。
这是一个很好的例子，说明LLM将如何变得普遍，但秘密来源将取决于公司可以使用的独特/专有数据集。
新的BloombergGPT AI可能是下一波企业AI的预兆。
目前的人工智能是在网络数据上训练的，BloombergGPT是52%的专有数据或清理的财务数据。而且它显示出更擅长财务任务的迹象。