DeepSeek-V4.1-Flash（以下简称 V4.1）的技术报告标题就叫“Pushing the Limits of KV Cache Compression”，而事实上这个模型的架构设计也是为了应对动辄几百 K 上下文的 Agent 场景恐怖的 kvcache size。从效果上看，V4.1 的运行时每 token kvcache（全局）仅为 890 bytes，是 DeepSeek-V4

本文主要记录一些模型量化出现精度问题时的分析思路以及背后的数学原理，聚焦于量化底噪和 gain 对于输出相对误差的影响，以及低秩分支量化对底噪的影响。 gain 的定义及其直观理解 我们知道一个各向同性（列向量两两正交且模长相等）的输入 \(x\in\mathbb{R}^{M\times K}\) 满足 \(x^\top x=\frac{\Vert x\Vert ^2_F}{K}I\)，此时考虑任

最近在尝试给公司的 DiT 生图模型做推理加速的过程中，了解到 SVDQuant 这种较新的扩散模型量化方案，在此记录一下学习心得。 首先需要明确的是，LLM 由于瓶颈通常在于 decode 部分的权重搬运，所以只量化权重就能拿到性能收益；但 diffusion model 往往是 compute bound，想加速是绕不开激活量化的，同时对权重和激活进行量化会带来很多精度挑战。 Smooth Q

ELGamal 是 RSA 之外的另一个公钥加密体系，于 1985 年提出。相较于 RSA，ELGamal 的运算速度更慢，密文长度更大；其优势是对于质数大小的要求更低一些，而且由于随机数的选取，即使是同一个私钥，加密同样的信息，也会得到不同的结果，提高了安全性。 数学基础 群 设\(G\)是一个具有代数运算\(\circ\)的非空集合，满足： + 结合律：\(\forall a,b,c\in G

非对称密码（公钥密码）体系 非对称密码体系是 1976 年被正式提出的概念，弥补了对称密码的一些缺陷。 其基本方案是：用户生成公钥 \(pub\) 和私钥 \(pri\)，公钥向他人公开并用于信息加密，私钥由本人保管并用于信息解密。 RSA 是 1977 年被提出的公钥密码算法，其核心原理是数论中的欧拉定理，被广泛用于互联网的方方面面（包括 ssh，https 等关键设施）。在量子计算机还未成熟的

环境：WSL2（Ubuntu-20.04.4 LTS），Proxy 运行在 windows 的 12345 端口，打开允许来自局域网的连接。 获取windows的ip WSL2 把 windows 的虚拟网卡 vEthernet 作为默认网关，所以代理地址是 $(ip route | grep default | awk '{print $3}'):12345。 配置 git