AI离线大模型加载工具,LM Studio
官网连接
https://lmstudio.ai/
这个工具其实用了很长时间了
之所以现在才推荐
主要原因是从上一版已支持简体中文语言
谁说并不全面
总好过没有
今天已更新到0.3.5版了
具体更新了啥我也没看懂
反正他升级，我就跟着升级
软件免费的
至于模型，那简直太多了
去抱抱脸下载任意gguf格式的模型即可
什么千问，llama等等都有官方量化好的
根据显卡显存下载对应模型
如果需要参数大的，例如14B的模型
只有8gb显存的话，可以看看模型的量化后体积
公司电脑4060 8gb显存
我加载了qwen2.5-14b-instruct-q2_k
是的，这个是14B大小，140亿参数
如果fp16的话，大概需要32gb显存
我下载的是q2-k量化版，所以加载完成不到7gb显存占用
可以在自己电脑安装加载模型
还可以以服务端部署在公司内网
其他用户通过api方式访问
这个软件是目前我用过最稳定的
还有三个软件都支持加载gguf模型
但是都不太稳定，就不推荐了
评论 (0)