律师事务所本地模型案例

banq

有人昨日发帖，人说他刚刚和一家中型律师事务所签了一个35000美元的大单子。他们要为这家事务所搭建一个完全私密的人工智能系统，用的是LLAMA 3 70B这个模型，完全自己托管，不使用第三方API，还符合严格的法律数据政策。他们用n8n这个工具来把所有东西连接起来。

这个系统会是一个完整的内部系统，有点像他们自己的GPT4级别的法律分析工具，可以处理内部的案件、文件和合同，回答复杂问题，还能总结文件，而且不会暴露给OpenAI或Anthropic这些公司。

他们需要控制、隐私和自动化，不想雇一个内部的AI团队。

他们要用的技术栈包括：
 • LLAMA 3 70B模型（量化并用vLLM加速）
 • 在CoreWeave上用两块A100 GPU私密托管
 • ChromaDB作为向量存储来处理文档嵌入和检索
 • LlamaIndex来支持一个RAG（检索增强生成）流程，实现实时的问答和处理案件文件
 • n8n来自动化从文档上传到Slack/邮件通知的所有事情
 • 一个简单但干净的Streamlit网页界面，让员工可以和模型聊天，问问题，还能立刻得到总结

所有这些都在一个安全的环境中，有JWT认证、IP访问控制和完整的审计日志。