上下文长度与占用
设置模型能记住多少内容,并查看对话占用了多少
概述
每个模型都有一个上下文窗口:一次能处理的最大 token 数,包括系统提示词、对话历史、附件和模型的回复。对话超出窗口后,Ollama 会静默丢弃最早的内容,模型就"忘记"了这部分。
OllaMan 从两方面帮你管理上下文:
- 上下文长度:按智能体或按对话设置窗口大小
- 上下文占用环:每次回复后查看窗口的使用情况
查看上下文占用
上下文占用环位于聊天输入框底部、Agent Mode 按钮右侧。选择模型后出现,随着对话变长逐渐填满。
看颜色
环的颜色表示窗口的使用程度:
- 灰色:空间充足
- 琥珀色:已使用 80% 以上,窗口即将用满
- 红色:已使用 95% 以上,较早的消息可能已被截断
悬浮查看详情
把鼠标悬浮在环上(或用键盘聚焦),会打开详情面板,显示:
- 使用百分比,以及已用 token / 上限
- 输入:系统提示词、历史消息和最新提问占用的 token
- 回复:模型最新回复占用的 token
- 剩余:还可使用的 token
每次回复后更新
占用数据来自 Ollama 对最新一次回复的统计,因此会话收到第一条回复后才会显示。在 Agent Mode 或网页搜索中,显示的是该回复最后一步的占用。
如果面板提示服务器未返回上下文上限,说明使用的是 Ollama 自身的默认值,此时只显示 token 数量。
设置上下文长度
当前对话
打开对话设置
点击对话页面顶部工具栏右侧的设置按钮显示右侧面板,然后切换到设置标签。
选择上下文长度
在上下文长度中选择一个值。选项不会超过模型支持的最大长度,最大值会标注"(模型上限)"。
继续对话
新长度从下一条消息开始生效,只保存在当前对话中。
作为智能体的默认值
打开智能体的编辑面板(在智能体视图中右键该智能体,选择编辑),设置上下文长度。之后与该智能体的新对话都会使用这个值,除非对话中另行设置。
自动
**自动(服务器默认)**表示不传任何值,由 Ollama 决定:如果设置了 OLLAMA_CONTEXT_LENGTH 就使用它,否则根据可用显存选择默认值。
窗口越大,代价越高
上下文窗口越大,占用的内存越多;修改长度还会让 Ollama 重新加载模型。如果模型放不进显存,可能会部分运行在 CPU 上,速度明显下降。建议逐步调大,并留意 Token 速率。
窗口快满时怎么办
占用环变成琥珀色或红色时:
- 调大上下文长度(在内存允许的情况下)
- 新开一个对话,只粘贴需要的摘要
- 附加更小的文件,或只附加相关部分
- 使用网页搜索时,调低每次结果数,让结果更精简
OllaMan 文档