7440億パラメーターを備えた大規模言語モデル「GLM-5.2」をメモリ25GBのPCでも動作させることができる推論エンジン「Colibrì」が公開されました。最近流行りのMOE（Mixture-of-Experts）を使ってトークン — あたり ~40B パラメータのみをアクティブにすることで消費メモリ量を削減しています。
https://github.com/JustVugg/colibri
7440億パラメーターを備えた大規模言語モデル「GLM-5.2」をメモリ25GBのPCでも動作させることができる推論エンジン「Colibrì」が公開されました。最近流行りのMOE（Mixture-of-Experts）を使ってトークン — あたり ~40B パラメータのみをアクティブにすることで消費メモリ量を削減しています。
https://github.com/JustVugg/colibri