Phi-3-Mini-4K-Instruct 是一个 3.8B 参数、轻量级、最先进的开放模型，使用 Phi-3 数据集进行训练，其中包括合成数据和经过过滤的公开可用网站数据，重点是高品质和推理密集的属性。该型号属于 Phi-3 系列，Mini 版本有4K和128K两种变体，这是它可以支持的上下文长度（以令牌为单位）。
该模型经历了训练后过程，其中结合了监督微调和针对指令遵循和安全措施的直接偏好优化。当根据测试常识、语言理解、数学、代码、长上下文和逻辑推理的基准进行评估时，Phi-3 Mini-4K-Instruct 在参数少于 130 亿的模型中展示了强大且最先进的性能。
主要用例
该模型旨在用于英语的商业和研究用途。该模型适用于需要以下功能的应用：
- 内存/计算受限环境
- 延迟限制场景
- 强大的推理能力（尤其是代码、数学和逻辑）
我们的模型旨在加速语言和多模式模型的研究，用作生成人工智能驱动功能的构建块。
用例注意事项
我们的模型并非针对所有下游目的而专门设计或评估。开发人员在选择用例时应考虑语言模型的常见限制，并在特定下游用例中使用之前评估和减轻准确性、安全性和复杂性，特别是对于高风险场景。开发人员应了解并遵守与其用例相关的适用法律或法规（包括隐私、贸易合规法等）。
本模型卡中包含的任何内容均不应解释为或视为对该模型发布所依据的许可的限制或修改。
训练模型
- 架构：Phi-3 Mini-4K-Instruct 有 3.8B 参数，是一个密集的仅解码器 Transformer 模型。该模型通过监督微调 (SFT) 和直接偏好优化 (DPO) 进行微调，以确保符合人类偏好和安全指南。
- 输入：文本。它最适合使用聊天格式的提示。
- 上下文长度：4K 令牌
- GPU：512 H100-80G
- 培训时间：7天
- 训练数据：3.3T 代币
- 输出：响应输入生成的文本
- 日期：我们的模型在 2024 年 2 月至 4 月期间接受训练
- 状态：这是在离线数据集上训练的静态模型，截止日期为 2023 年 10 月。随着我们改进模型，可能会发布调整模型的未来版本。
基准测试
我们报告了 Phi-3-Mini-4K-Instruct 在标准开源基准上的结果，衡量模型的推理能力（常识推理和逻辑推理）。我们与 Phi-2、Mistral-7b-v0.1、Mixtral-8x7b、Gemma 7B、Llama-3-8B-Instruct 和 GPT-3.5 进行比较。
所有报告的数字都是通过完全相同的管道生成的，以确保这些数字具有可比性。由于评估中的选择略有不同，这些数字可能与其他公布的数字有所不同。
硬件
请注意，默认情况下，Phi-3-mini 型号使用闪存关注，需要特定类型的 GPU 硬件才能运行。我们在以下类型的 GPU 上进行了测试：
- 英伟达™（NVIDIA®）A100
- 英伟达™（NVIDIA®）A6000
- 英伟达 H100
如果您想在以下设备上运行该模型
- 英伟达 V100 或更早一代的 GPU：调用 AutoModelForCausalLM.from_pretrained()，同时使用 attn_implementation="eager"。
- CPU：使用 GGUF 量化模型 4K
- 在 GPU、CPU 和移动设备上优化推理：使用 ONNX 模型 4K
该模型已获得MIT 许可。
还有 128k-instruct：https://huggingface.co/microsoft/Phi-3-mini-128k-instruct-onnx
所有型号：https://huggingface.co/collections/microsoft/phi-3-6626e15e9585a200d2d761e3
https://ollama.com/library/phi3
网友测试：
1、很多常识性问题都是错误的。
例如：
Ted 是Sam 的父亲，但Sam 不是Ted 的儿子，这如何成为可能？
（正确答案应该是 山姆 是个女孩。）
Phi-3的回答：
如果 Sam 是 Ted 兄弟姐妹（例如 Ted 的姐妹或兄弟）的孩子，则可能出现这种情况。在这种情况下，Ted 是叔叔或阿姨，Sam 是他们的侄女或侄子。
2、一个非常强大的 8B 模型，具有 128k 上下文，对于注入我的大型代码库来说听起来太棒了！
今天晚些时候将使用它，看看它如何处理 C++ 和 Rust 代码库。
3、这个模型一定是我用过的最受审查的模型。任何越狱都无法对其起作用。即使是强制的序言也不起作用。这几乎就像预训练本身被审查了一样。尝试将单词强行放入人工智能嘴中，它会立即掉头说出下一句话。
4、我一开始就不喜欢 Phi 模型，但现在我开始感受到炒作！对我来说，基线始终是 Mistra7B（我也不喜欢 Llama2-7B）。
然而，如果 4B 真如他们所说的那么好，那对于消费类硬件拥有者来说将是一个巨大的改变
本地安装教程：
1、下载LM Studio -这是一款免费的开源软件，可让您运行任何开源AI模型。 去 http://lmstudio.ai，然后下载并安装适用于您的操作系统的版本。
2、获取Phi-3 在主页上搜索“Phi-3”。 选择“microsoft/Phi-3-mini-4k-instruct-gguf”，然后在右侧列表中下载第4季度版本。 Q4版本更轻，速度更快，但比“fp 16”的损耗更大。
3、开始使用Phi-3 点击左侧菜单中的聊天选项卡和“新聊天”。 在顶部栏中选择Phi-3型号。 然后写并发送你的提示！
它可以100%离线和在您的计算机上工作。 所以这是最好的方式来使用一个相当强大的LLM私人.而且是免费的