Mata论文:大模型首次用于自动化单元测试改进


这篇论文介绍了 Meta 公司的 TestGen-LLM 工具,该工具利用 LLM 技术自动改进现有的人工编写的测试,并在 Instagram 和 Facebook 平台上进行了测试。

通过测试,发现 TestGen-LLM 的测试用例有 75% 正确构建,57% 可靠地通过,并且覆盖率提高了 25%。

在 Meta 公司的测试活动中,应用了 TestGen-LLM 的所有类别的性能提高了 11.5%,其中 73% 的建议被 Meta 软件工程师接受用于生产部署。

作者认为这是关于 LLM 生成代码的工业规模部署的首份报告,并得到了支持。

要点:

  • TestGen-LLM 是 Meta 公司的工具,利用 LLM 技术自动改进测试用例。
  • 在 Instagram 和 Facebook 平台的 Meta 测试马拉松中,TestGen-LLM 的测试用例在 Reels 和 Stories 产品上取得了显著的改进,并得到了工程师的接受。
  • 这是关于 LLM 生成代码工业规模部署的第一份报告,证实了这种代码改进的有效性。