Phi-3小型和中型下载地址

banq
Phi-3 小型和中型现已在 MIT 许可下可用 ，微软刚刚推出了Phi-3小型（7B）和中型（14B）：网友亲测：
1、在 Microsoft 改变主意之前下载它们！

2、Phi 3 Vision（4.2B 参数）的尺寸令人印象深刻。比我尝试过的任何其他开源模型更好地转录屏幕截图中的文本。

3、亲测总结：

  • 中型与 Mixtral 8x22B、Llama 3 70B 和 beats Command R+ 104B 及 GPT 3.5 竞争
  • 小型击败了 Mistral 7B 和 Llama 3 8B
  • 有4K 和 128K 上下文长度
  • 中型 = 14B, 小型 = 7.5B
  • Vision  = 4.2B (迷你文本主干)
  • 根据 MIT 许可发布
  • 在 4.8T 标记上进行训练
  • 在 512 H100 上运行 42 天
  • 10% 多语言数据
  • 使用经过大量过滤的数据和合成数据（科学 + 编码教科书）
  • 带有 100K 词汇表的新标记符
  • 截止日期：2023 年 10 月

4、在什么情况下人们会更喜欢短上下文版本？长上下文是否需要更多的显存？

  • 短上下文似乎比长上下文表现得稍好。因此，如果准确性对您来说非常重要并且您不需要很长的上下文，那么短上下文似乎会更好。
  • 简短的上下文版本很可能会稍微更好地关注您塞入 4k 中的细节。
  • 根据微软的说法，这是一个针对资源受限环境的模型。上下文越长，KV 缓存就会增长得越大，需要更多的内存。