当下,国产大模型 DeepSeek 非常火爆,一般情况下使用官方网站/官方App就足够了,但是如果对数据安全性要求较高,则需要本地部署。
使用 ollama 部署本地大模型仅需要 3 步:
第一步:进入ollama官网,然后下载对应系统的 ollama 安装包
第二步:进入模型页面,选择你想用的模型
第三步:安装 ollama 后,打开命令行,输入安装模型的命令。安装模型的命令在每个模型里面,可直接复制粘贴就可以了。以deepseek为例,安装命令:ollama run deepseek-r1:671b
模型安装完成后,直接在命令行中就可以和大模型聊天了。
如果需要以服务的方式运行(通过api接口调用),执行 ollama serve
。
如果需要部署本地聊天对话页面,可部署NextChat 或者 lobe-chat。