新本地小模型Phi-4-mini-flash-reasoning发布

Phi-4-mini-flash-reasoning的核心是新引入的解码器-混合解码器架构SambaY，其核心创新是门控存储单元（GMU），这是一种简单而有效的机制，用于在层之间共享表示。 该架构包括一个自解码器，结合了曼巴（状态空间模型）和滑动窗口注意力（SWA），沿着一个单层的充分注意力。

该架构还涉及一个交叉解码器，将昂贵的交叉注意层与新的高效GMU交织在一起。这种带有GMU模块的新架构大大提高了解码效率，提高了长上下文检索性能，并使该架构能够在各种任务中提供卓越的性能。

SambaY架构的主要优势包括：

• 增强解码效率。
• 保持线性预填充时间复杂度。
• 增强的可伸缩性和增强的长上下文性能。
• 吞吐量高达10倍。

“增强的长上下文性能”意味着模型在长上下文任务中做得更好，例如大海捞针问题。

长上下文 好比让AI变成人肉扫描仪！以前让它从一篇《红楼梦》里找‘黛玉哪天葬了花’，它可能读到一半就懵了。现在升级后，哪怕你扔给它整部《四库全书》，它也能像侦探一样唰唰翻出你要的那一页！"

吞吐量就是AI吐字的速度，就像你催食堂阿姨打饭，她一秒能给你碗里扣几个肉丸子——丸子越多（token越多），你吃到饭（拿到答案）就越快！