618 到了,又到一年一度的设备升级季!
端午节后,好几个朋友来问我:“你电脑啥配置?” 我通常甩两张图过去。结果呢?对方往往回个“地铁老头看手机”表情包,紧接着问:
“想买台学 AI 的笔记本,有啥推荐不?”
我每次必反问:“学 AI?具体学啥?”
答案通常是:“搞个知识库、画点图、做点 AI 编程、学学 AI 视频啥的…”
这时我会追问:“你是有很多不能上云的隐私数据?还是想在本地跑些自定义的、特别的工作流?”
然后… 朋友就懵了。
“啊?啥意思?玩 AI 不需要好配置吗?”
这一问,把我也问懵了。
所以,我觉得有必要写篇文章聊聊:到底什么样的 AI 适合本地跑?什么样的适合云端跑?什么样的网页上点点就行? 也算科普一下。如果你看完觉得确实需要新电脑,文末我也挑了几款 618+国补下价格不错的机型。
本地跑 AI?看两点就够了:
- 算力需求有多大?
- 是否有安全、保密的隐私需求?
模型参数量级繁多:1.5B、8B、14B、32B…(比如 Qwen 家就一堆)。哪些能本地跑?先做点“小学二年级数学”:
B
代表Billion
(十亿)。- 1B 模型 = 10 亿参数。
- 一个全精度参数占 4 字节,所以 1B 模型 ≈ 4GB 显存。
- 1GB ≈ 10 亿字节。
但实际推理很少用全精度 (FP32),多用半精度 (FP16) 或 INT8 量化:
- FP16:1参数占2字节 → 1B模型 ≈ 2GB显存。
- INT8:1参数占1字节 → 1B模型 ≈ 1GB显存。
因此,一个 INT8 量化的 8B 模型,理论只需 8GB 显存。虽然推理时还需额外显存做上下文缓存,但加上量化、优化等手段,本地 16GB 显存跑个 8B 模型是可行的。比如 DeepSeek 基于 Qwen3-8B 蒸馏出的 deepSeek-R1-0528-Qwen3-8B
,就能完全本地部署。
明白了这点,不管你用 Ollama、LM Studio 还是 vllm 部署,只需关注:
- 模型参数量
- 是否量化
- 你的显卡显存
基本结论:
- 14B+ 模型本地跑很吃力。比如 INT8 的 14B 模型,在我 5080 上跑得慢,KV 缓存空间也紧张。真要本地跑,4090 或未来的 5090 会更合适。
- 14B 以下模型,需根据具体参数量和你显存评估。
图像、视频、音频、3D 模型(如强大的 ComfyUI)道理相通:显卡得 Hold 住模型。ComfyUI 官方推荐的模型所需显存,基本也遵循上述参数量与显存的关系。
本地跑的好处?核心是隐私安全!
如果你有敏感数据(如商业机密、医疗信息),绝不敢扔到线上模型(怕泄露或出现在别人对话里),本地部署是唯一选择。所有计算都在你电脑上完成,无需联网,零泄露风险。
知识库就是典型例子! 用 Dify、扣子、iMaker 等搭知识库很方便。但如果是公司内部资料或个人隐私呢?你敢上传吗?模型服务在人家那儿,隐私保护是核心命门!有 AI 辅助需求又涉及隐私?只能本地部署,别无他法。
想想《流浪地球 3》的剧本,保密性多强?谁敢把它扔给 ChatGPT、Gemini、Claude、DeepSeek、元宝、豆包?疯了!只能部分本地用(比如 5090D 推理),部分找可信云服务合作。
个人用户其实不用 5090D 这种怪兽卡,5060Ti 或 5070 就差不多了。像豆包 PC 版联合英伟达搞的“本地知识问答”,就是解决隐私知识库需求。它下载的是个 7B 模型(智谱 GLM-4),推荐 12G+ 显卡(即 5060Ti 以上)。当然,用 Ollama 自己部署也行,就是麻烦点。
本地部署另一大优势:一次部署,无限白嫖! 比如 ComfyUI,想跑就跑,随便试,零延迟,不排队,告别积分焦虑!
补充:
- 明确需求:先确定自己跑 AI 的具体需求。如果是处理商业机密、医疗数据等隐私性强的数据,或者有本地自定义工作流的需求,那么本地跑 AI 是必要的;如果只是偶尔使用 AI,且不涉及隐私数据,也可以考虑使用云端服务或租用服务器。
- 了解硬件要求:对于本地跑 AI,显卡显存是关键因素。一般来说,16GB 显存可以跑 8B 的模型,如 DeepSeek – R1 – 0528 – Qwen3 – 8B 模型。对于 14B 及以上的模型,如 INT8 的 14B 模型,用 4090 或 5090 显卡会更好。如果是图像、视频、音频、3D 模型等,同样要考虑模型参数量和显卡显存的匹配。例如,使用 ComfyUI 生成图像等,需要显卡能 hold 住相应模型。
- 考虑预算和产品:
- 5000 元档:机械革命极光 X,配置为 5060 8G + i7 – 13700HX,国补完 5332 元,性价比高。
- 6000 元档:HP 暗影精灵 11,5060 8G + i7 – 13700HX,原价 7799 元,现在 6208 元。
- 7000 元档:HP 暗影精灵 11,显卡升级成 5070,加 800 元,原价 8699 元,现在到手价 6959 元;华硕天选 6 Pro 锐龙版,5070 12G + 8940HX,原价 9499 元,国补完 7599 元。
- 8000 元档:机械革命蛟龙,5070Ti 16G + R9 – 8945HX,原价 10499 元,国补打折完 7873 元。
此外,如果想了解更多搭载 50 系显卡的笔记本,可到英伟达相关网页查看。同时,也可以考虑一些具备 AI 功能特性的轻薄本,如华硕 a 豆 14 Air、Thinkbook 14 + 锐龙版、惠普星 book Pro 14 锐龙版、联想小新 Pro14 2024 等,它们在 AI 体验方面也有不错的表现
希望这篇文章对你有帮助。如果觉得不错,欢迎点赞、在看、转发三连!感谢阅读,下次再见!
