一、本地模型

1.1 概念

参数

在大模型中，7B、8B、14B等数字代表参数量，其中 “B” 是 “billion”（十亿）的缩写。参数量反映了模型的规模和复杂度。

可以将参数类比为大脑中的神经元连接。人类大脑约有 1000 亿个神经元，而目前的大型模型，如 Qwen2.5-72B 拥有 720 亿个参数，DeepSeek-v3-671B 甚至达到 6710 亿个参数。

从数学角度来看，参数可以理解为函数的系数，比如线性方程 y = ax + b（a、b均为参数，a为系数、b为常数）。这些参数相当于将世界的分布规律压缩成一个可计算的公式，使得模型能够基于数据学习并生成合理的输出。

在使用 Qwen2.5-72B 时，我仍能在一些浅显的知识点上发现它的错误。然而，使用 DeepSeek-v3 后，找到其漏洞变得更加困难。这说明随着参数量的增加，模型不仅具备更广的知识面，还能在深度上进行推理。即便它生成的内容并非真实，人类也难以察觉。这种现象在专业术语中被称为 “AI 幻觉”。

AI 幻觉（AI Hallucinations） 是指生成式人工智能模型在生成文本或回答问题时，尽管表面上逻辑通顺、语法正确，但其内容可能是完全虚构、不准确或不符合事实的。
AI 幻觉通常来源于模型在缺乏真实信息时，基于概率生成内容，而非依赖真实世界的知识库或逻辑推理。这使得其输出难以完全信赖，甚至可能误导用户。

大模型的「参数」究竟是什么？_哔哩哔哩_bilibili

Token

大模型的内部通常配备分词器，它会将输入文本拆分成更小的单位，即 Token。

例如：

句子 “我的天才考 59 分” 由 5 个 Token 组成：我的天、才、考、59、分
句子 “我的天才考满分” 由 5 个 Token 组成：我、的、天才、考、满分

目前已有一些在线工具可用于查询不同模型的分词效果，可以点击 Tiktokenizer 进行体验。

大模型 Token 究竟是啥？_哔哩哔哩_bilibili

1.2 部署

我的笔记本配置如下

CPU: I9-14900HX 24核32线程
GPU: RTX-4060 8GB显存
RAM: 32GB
ROM: 3TB

我在本地安装了三个版本模型，分别是

deepseek-r1:7b
deepseek-r1:8b
deepseek-r1:14b

这三款模型均能丝滑响应。

下载Ollama，一路无脑下一步。然后执行命令安装

1 2	# 运行模型，若不存在则下载。相当于pull&&run ollama run deepseek-r1:14b

下面放置一些常用的其他命令

# 获取模型列表
ollama list
# 运行模型
ollama run deepseek-r1:14b
# 停止某个模型
ollama stop deepseek-r1:14b
# 获取正在运行的模型
ollama ps
# 启动ollama服务，用于api访问模型，默认端口11434
ollama serve

二、安装GUI

2.1 PC版-ChatBox

下载Chatbox

选择设置-OLLAMA API，按下图填写。

按使用场景设置Temperature

场景	建议值
代码生成/数学解题	0
数据抽取/分析	1.0
通用对话	1.3
翻译	1.3
创意类写作/诗歌创作	1.5

参考文章

可惜的是，chatbox并没有提供网页版，而这个PC端的做法，本质也就是包了个浏览器进去，对我这台低配GPD掌机来说，整体使用上很卡，不如直接用网页版。因此如果想要使用网页版可参考下文。

2.2 网页版-OpenWebUI

官方指路open-webui，首先安装pyenv，安装成功后，使用如下命令进行python和open-webui的安装。

# 安装python
pyenv install 3.11.9
# 切换python版本 local表示当前路径指定python版本；global表示全局指定python版本
pyenv local 3.11.9
# 查看已安装和当前使用的python版本
pyenv versions
# 安装openwebui
pip install open-webui==0.15.16
# 启动
open-webui serve

使用pyenv的pip进行安装后，程序和数据均在路径C:/Users/用户名/.pyenv/pyenv-win/versions/3.11.9/site-packages/open_webui下面。
open-webui使用的是文件数据库，因为所需要重置，只需要将data文件夹全部删除即可。

项目启动后，访问http://localhost:8080，选择设置->管理员设置->外部连接

部署本地版AI大模型