iwashi / Yoshimasa Iwase(@iwashi86):LocalAIが一部の推論エンジンをPythonではなくC/C++で自作しているというブログエントリ。・LocalAIは基本的には既存の推論エンジンをラップして使っている・ただ、18個のバックエンドはC/C++を使ってゼロから自作している・理由は、数GBのPython環境への依存や特定のGPU環境への縛りを避けるため・実際、vLLMのPython環境は9.1GBに達する・だが、C++で移植したvllm.cppはわずか66MBの単一バイナリで済む・しかも推論速度は元のvLLMとほぼ同等で、出力結果も完全に一致する・とはいえ、すべてのエンジンを自作するわけではない・各エンジンの保守コストは高く、GPU最適化で専用ライブラリに劣ることも・llama.cppのような優秀なプロジェクトは、引き続きラップして使う

iwashi / Yoshimasa Iwase

@iwashi86

NTTドコモビジネスでEM(育休中)。その他、早稲田大で非常勤講師、#fukabori#.fmの中の人、書籍翻訳者。 AI、マネジメント、Dev、PdM、Agile、HRに関する個人メモをポストしています。発言は個人の見解であり、所属する組織の公式見解ではありません。 Amazonアソシエイト・プログラム参加者。

Joined May 2009

694 Following 20.4K Followers

iwashi / Yoshimasa Iwase@iwashi86

2026.08.05 02:30

LocalAIが一部の推論エンジンをPythonではなくC/C++で自作しているというブログエントリ。・LocalAIは基本的には既存の推論エンジンをラップして使っている・ただ、18個のバックエンドはC/C++を使ってゼロから自作している・理由は、数GBのPython環境への依存や特定のGPU環境への縛りを避けるため・実際、vLLMのPython環境は9.1GBに達する・だが、C++で移植したvllm.cppはわずか66MBの単一バイナリで済む・しかも推論速度は元のvLLMとほぼ同等で、出力結果も完全に一致する・とはいえ、すべてのエンジンを自作するわけではない・各エンジンの保守コストは高く、GPU最適化で専用ライブラリに劣ることも・llama.cppのような優秀なプロジェクトは、引き続きラップして使う

Forward to community