https://moe.sakanoy.com/tags/moe/MoE - 标签 - SA的自留地 & 重启计划Hugo -- gohugo.iozh-CNbfchengnuo@gmail.com (Kerronex)bfchengnuo@gmail.com (Kerronex)Wed, 03 Jun 2026 00:00:00 +0800https://moe.sakanoy.com/%E5%A4%A7%E6%A8%A1%E5%9E%8B%E4%B9%8Bdensemoe%E4%B8%8E%E9%87%8F%E5%8C%96/Wed, 03 Jun 2026 00:00:00 +0800Kerronexhttps://moe.sakanoy.com/%E5%A4%A7%E6%A8%A1%E5%9E%8B%E4%B9%8Bdensemoe%E4%B8%8E%E9%87%8F%E5%8C%96/<p>在前面 Embedding 的介绍中，我们对 LLM 的基础原理已经有了一定的了解，如果想自己尝试下本地跑大模型，光靠之前的那些知识还是不够的，这一篇为本地部署做准备，需要了解稠密模型 Dense、混合专家架构 MoE、模型的量化、模型蒸馏等基本概念。</p>