mousepotato (@octg): "Mac 上本地模型多数人还停在开一个终端、跑一个模型、关了就忘 omlx 菜单栏管本地 LLM 常用的钉在内存里大的按需换 KV cache 还能落到 SSD Claude Code 连本机不必每次都从零预填 https://github.com/jundot/omlx"

Mac 上本地模型

多数人还停在开一个终端、跑一个模型、关了就忘

omlx

菜单栏管本地 LLM

常用的钉在内存里

大的按需换

KV cache 还能落到 SSD

Claude Code 连本机

不必每次都从零预填

github.com

LLM inference server with continuous batching & SSD caching for Apple Silicon — managed from the macOS menu bar - jundot/omlx

Aug 20

1:52 AM