dsh context manager 插件开发笔记

目前上下文既是模型过去工作的路径, 又是要展示给后续工作的背景; 也许两者应该分离

/compact 和 子 Agent 实现了这个功能的一部分 (将过程没什么意义的任务路径扔掉, 只保留对模型接下来有用的信息), 但是我们在探索过程中之前的上下文难免会出现一些不愉快不想保留的部分

虽然现在上下文普遍都长了, 也有自动压缩, 不太容易达到硬限制, 但是不干净的上下文还是容易让模型流口水; 或许直接改写 context 也是和模型交互的一部分, 或许只是我强迫症犯了

不如把这部分显式暴露给用户, 简单许愿了一版

TODO

短期(?)

  • 角色问题: replace 不管替换的目标是多少段, 什么角色, 替换完都会是 user; 这主要是受制于 dsh 的接口
  • UI: 能用鼠标点点点应该还是会快乐一点

中期

  • 分片粒度: 当前修改的粒度是一个消息. 之前尝试过一版让模型对上下文分片, 并给出摘要; 效果不是很稳定, 还是先粗粒度一点吧
    • 一片能否包含多个会话?
    • 一片能否跨会话?
    • 能不能打乱顺序重新组织后再分片?
  • 依赖关系: 或许模型分完片后还能梳理片之间的依赖关系, 画个图出来方便用鼠标点点点

长期

  • 贡献度: 也许可以结合下 attn 分数判断下哪片有用哪片没用?

…?

Agent 到底是什么? 是不是可以看做一个大号 context manager 呢