技术深度解析
该项目的核心创新在于使用Linux内核的PSI（Pressure Stall Information）作为LLM缓存管理的反馈信号。PSI自Linux 4.20引入，用于测量任务因等待内存、I/O或CPU资源而停滞的时间。它提供三个压力等级：`some`（部分任务停滞）、`full`（所有任务停滞），以及`avg10/avg60/avg300`（分别对应10秒、60秒和300秒的平均值）。开发者的运行时环境实时读取`/proc/pressure/memory`，并将`avg10`值作为阈值触发器。
当内存压力超过可配置阈值（例如0.7，即70%的停滞时间）时，运行时环境会调用缓存驱逐策略。最简单的方法是丢弃最旧的KV条目（FIFO），但该项目设计为支持更复杂的策略，如LRU（最近最少使用）或基于注意力分数的剪枝。驱逐是增量进行的——每个周期仅修剪缓存的一小部分（例如10-20%），以避免振荡。当压力降至较低阈值（例如0.3）以下时，运行时环境可以从模型的内部缓冲区重新分配缓存条目，或根据提示历史重新计算。
这种方法对于统一内存架构（UMA）尤其重要，例如NVIDIA Jetson Orin，其中GPU和CPU共享同一物理RAM池。在传统的独立GPU设置中，GPU拥有专用VRAM，LLM的KV缓存驻留在其中。但在UMA设备上，缓存直接与操作系统和其他应用程序竞争系统RAM。来自摄像头流、传感器处理或其他推理任务的内存压力突然飙升，可能触发内核的OOM killer，导致整个应用程序崩溃。通过监听PSI，LLM运行时环境可以主动缩小其内存占用，避免灾难性故障。
该项目托管在GitHub上，仓库名为`llm-psi-cache`（目前约200颗星）。代码库使用C语言编写，并带有Python绑定，通过自定义内存分配器与流行的LLM推理引擎（如llama.cpp和vLLM）集成。该分配器拦截KV缓存块的`malloc`/`free`调用，并在分配新块之前检查PSI。如果压力较高，则返回NULL，强制引擎重用现有块或优雅降级。
| 指标 | 静态缓存（4GB） | PSI驱动缓存（平均） | 改进幅度 |
|---|---|---|---|
| 峰值内存使用 | 4.2 GB | 3.1 GB | -26% |
| OOM崩溃（每1000次运行） | 12 | 0 | -100% |
| 推理延迟（p50） | 120 ms | 135 ms | +12.5% |
| 推理延迟（p99） | 180 ms | 210 ms | +16.7% |
数据要点： PSI驱动的方法完全消除了OOM崩溃，代价是延迟略有增加。对于可靠性至上的实时边缘应用而言，这种权衡是可以接受的。
关键参与者与案例研究
该项目由一位名为`johndoe`的独立开发者发起，他此前曾为llama.cpp项目做出贡献。主要目标硬件是NVIDIA Jetson Orin系列，特别是Orin NX 16GB和Orin Super Nano 8GB模块。这些设备广泛应用于机器人领域（例如DJI和Boston Dynamics用于机载AI）、自主无人机和智能摄像头。
一种竞争方法来自Stanford的`FlexGen`项目，它在GPU内存不足时将数据卸载到CPU内存或磁盘。然而，FlexGen是为独立GPU设置设计的，并未考虑系统级内存压力。另一个竞争对手是vLLM的PagedAttention，它使用虚拟内存分页来处理缓存碎片，但仍依赖于静态分配限制。
| 解决方案 | 内存感知范围 | 延迟影响 | OOM预防 | 边缘适用性 |
|---|---|---|---|---|
| PSI驱动缓存（本项目） | 系统级 | +12-17% | 是 | 优秀 |
| FlexGen（卸载） | 仅GPU | +50-200% | 部分 | 差 |
| vLLM PagedAttention | 仅GPU | +5-10% | 否 | 良好 |
数据要点： PSI方法是唯一考虑系统级内存压力的解决方案，使其特别适用于操作系统与推理共享RAM的统一内存边缘设备。
行业影响与市场动态
边缘AI市场预计将从2024年的156亿美元增长到2030年的482亿美元（年复合增长率20.7%）。一个关键瓶颈是内存：即使是最强大的边缘设备（例如Jetson Orin NX 16GB）也只能运行上下文窗口有限的小型LLM（7B参数）。PSI驱动的方法可以在相同硬件上支持更大的模型或更长的上下文，直接影响部署成本。
例如，一个7B参数的LLM，采用4位量化，权重约需4 GB RAM，KV缓存另需2-4 GB（取决于上下文长度）。在8 GB的Jetson Orin Super Nano上，这几乎不给操作系统或其他应用程序留下任何余量。通过PSI驱动的修剪，缓存可以在压力下缩小至1 GB，为其他任务释放3 GB。这使得在无人机或机器人上同时运行LLM和实时传感器处理成为可能。