中国的一家大科技公司阿里巴巴,最近推出了一个叫QwQ-32B的新人工智能模型,这个模型据说可以和另一个很厉害的人工智能模型DeepSeek-R1比一比。
这个消息一出,阿里巴巴的股票价格就涨了很多。
全世界的公司,不管是老牌的还是新成立的,都在比赛看谁能做出更好用、更强的人工智能模型。阿里巴巴的这个新模型有320亿个参数,而DeepSeek的模型有6710亿个参数,但其中只有370亿个参数在真正干活。参数越多,通常意味着模型越复杂,但阿里巴巴说他们的小模型虽然参数少,但效果很好,特别是在数学和编程方面。
自从DeepSeek的R1模型出来后,很多公司都在努力做出更好的模型。阿里巴巴也在人工智能上投入了很多,他们的云智能部门去年赚了很多钱。阿里巴巴的老板说,未来由人工智能带动的云智能部门收入会增长得更快。
有分析师说,因为大家对人工智能的发展很看好,所以阿里巴巴的股票可能会涨得更多,公司赚的钱也会更多。还有专家说,现在科技发展得特别快,大家都在想,像OpenAI、微软、谷歌或亚马逊这些大公司,谁会在人工智能的竞争中胜出。
专家还说,随着技术的发展,成本会降低,使用人工智能的人会更多。以前是训练人工智能模型的时候让英伟达这样的公司赚了很多钱,但未来真正赚钱的是使用人工智能的时候,这会让市场变得更大。
网友:
1、杰文斯悖论认为,总使用量将远远超过效率的提高。
杰文斯悖论(Jevons Paradox)是一个经济学概念,简单来说就是:当我们更高效地使用某种资源时,反而会导致这种资源的总使用量增加,而不是减少。
2、劳动价值论认为,机器效率提高所带来的利润归于机器所有者,而不是工人。
3、模型越小,意味着越多的人可以运行模型
4、在本地使用量化模型,在云服务器上使用完整模型 。这个模型非常棒,并且击败了其规模范围内的任何模型(以大量token为代价),但这不是Deepseek R1 杀手。
5、它不需要比 R1、Grok 或者 GPT 更厉害。那些本来用这些大公司产品的人,会转去用QwQ-32B这样的本地小语言模型。企业市场很广阔。又小又便宜还强大。
6、过去一个多小时里,我一直在用 OpenHands 测试 QwQ,一开始效果非常好。长时间思考没问题,因为 5-10k 个代币最多需要 1-2 分钟。然后,在某个时候,它持续生成了大约 13 分钟(据我估计,40-50K 个代币),然后我失去了耐心并关闭了它。
我还尝试了 Qwen-32B-r1-distill、Llama3-r1-distill 和 Llama3.3,它们都出奇地强大。我还不确定我更喜欢哪一个。我也会看看那个排行榜,看起来很酷。谢谢!
7、家庭服务器运行千问小模型:4x3090(帖子),并运行 Qwen/QwQ-32B-AWQ 如下:
TORCHINDUCTOR_CACHE_DIR=/path/QwQ-32B-AWQ/cache python -m sglang.launch_server --model-path /path/QwQ-32B-AWQ --tp 4 --context-length 65536 --reasoning-parser deepseek-r1 --host 0.0.0.0 --port 11435 --served-model-name QwQ-32B --quantization awq_marlin --enable-torch-compile --allow-auto-truncate --tool-call-parser qwen25 --attention-backend flashinfer |
7、它是一款像之前的 QWQ 一样的中型模型。
8、不需要杀死 R1,R1 有 6710 亿个参数,而 Qwen 有 320 亿个。
如果您能够使用更少的参数获得接近 R1 的 70% 的效果,那么市场就会做出反应。
9、很快这些人工智能系统就能在你的手机上正常运行了。
速度很疯狂,但这就是指数增长的原理