TwiScan
Hot
Communities
Account collections
Login
Register
English
日本語
한국의
简体中文
繁体中文
Register and share your invite link to earn from video plays and referrals.
Register now
iwashi / Yoshimasa Iwase
@iwashi86
NTTドコモビジネスでEM(育休中)。その他、早稲田大で非常勤講師、#
fukabori
#.fmの中の人、書籍翻訳者。 AI、マネジメント、Dev、PdM、Agile、HRに関する個人メモをポストしています。 発言は個人の見解であり、所属する組織の公式見解ではありません。 Amazonアソシエイト・プログラム参加者。
Joined May 2009
701
Following
21K
Followers
iwashi / Yoshimasa Iwase
@iwashi86
2026.08.05 02:30
LocalAIが一部の推論エンジンをPythonではなくC/C++で自作しているというブログエントリ。 ・LocalAIは基本的には既存の推論エンジンをラップして使っている ・ただ、18個のバックエンドはC/C++を使ってゼロから自作している ・理由は、数GBのPython環境への依存や特定のGPU環境への縛りを避けるため ・実際、vLLMのPython環境は9.1GBに達する ・だが、C++で移植したvllm.cppはわずか66MBの単一バイナリで済む ・しかも推論速度は元のvLLMとほぼ同等で、出力結果も完全に一致する ・とはいえ、すべてのエンジンを自作するわけではない ・各エンジンの保守コストは高く、GPU最適化で専用ライブラリに劣ることも ・llama.cppのような優秀なプロジェクトは、引き続きラップして使う
Show more
0
0
0
0
0
Forward to community
Most Popular Users
Tibo
@thsottiaux
1M Followers
FinancialJuice
@financialjuice
958.6K Followers
First Squawk
@FirstSquawk
579.4K Followers
Serenity
@aleabitoreddit
1.1M Followers
LiveSquawk
@LiveSquawk
504K Followers
Binance Wallet
@BinanceWallet
2.8M Followers
CNBC
@CNBC
6.3M Followers
Seeking Alpha
@SeekingAlpha
347.9K Followers
New York Post
@nypost
4.3M Followers
The Wall Street Journal
@WSJ
22.3M Followers
Binance
@binance
16.1M Followers
TheStreet
@TheStreet
1.2M Followers
ClaudeDevs
@ClaudeDevs
825.4K Followers
amit
@amitisinvesting
672.1K Followers
Reuters
@Reuters
26.5M Followers