每个不曾起舞的日子,都是对生命的辜负
本地运行LLM
https://ollama.com/
在官网下载安装程序,安装即可
在https://ollama.com/search这里找到可用的模型名称,比如deepseek-r1:8b
# 直接拉取模型并运行(在命令行运行) # 之后运行也可以使用这句命令 ollama run deepseek-r1:7b
提供API接口:TODO
如何控制模型参数是放在内存还是显存?