Strata - GPU・CPU・RAMに処理を分散するローカルLLM推論エンジン
Strataは、125BパラメータのQwen3.8-Flash-Nextを手元のPCで動かし、ブラウザや既存アプリから利用するローカルLLM推論エンジンだ。READMEが示す中心的な工夫は、モデル内部のexpertをGPUとCPUで分担して処理することにある。全expertをRAMに保持し、頻繁に使うexpertをGPUへ置く。さらに、小さな補助モデルが予測した複数トークンを大きなモデルでまとめて検証する。 この構成は、モデル全体をGPUメモリに収めるという制約を緩める一方、必要な資源をRAMやCPUへ移す。対応GPUのVRAMだけを満たせばよいわけではない。量子化形式、RAM容量、同時要求数によって使い勝手が変わり、互換APIも接続先と設定例を超える対応範囲は未確認だ。性能と内部動作の説明は主にREADMEに基づき、実装や独立測定による裏付けとは分けて読む必要がある。
ポッドキャスト形式で聴く
約5分AI生成の会話音声です。記事の要点を短くまとめています。
なぜ注目されているか
10月10日の発見データではGitHubスター19,577、フォーク1,778。取得したリリース一覧には10月8日公開のv0.1.41がある。一方、発見データの実際の取得経路はgithub_search_recentで、GitHub Trendingの日次順位や最近のスター増加速度は確認できない。
なぜ重要なのか
Strataが開発環境に持ち込む選択肢は、既存アプリやコーディングエージェントの推論接続先を、手元の異種ハードウェアで動くサーバーへ変更することだ。OpenAI/Anthropic互換APIが必要な機能を満たすなら、アプリとの接続面を保ちながらモデルの実行場所を選べる。ただし、その選択にはモデル容量、RAMの余裕、入力処理の待ち時間、並列実行時の速度を自分のPCに合わせる作業が伴う。少数要求を扱う個人環境では有望な構成だが、共有サービスへの適性や既存エージェントとの完全な互換性まで示されたわけではない。
この記事に出てくる言葉(6語)
- expert
モデル内部の専門処理単位。READMEでは全24,576個のうち各トークンで10個を使うと説明される。総数と、その時点で使う数を分けて考えることが配置戦略の理解につながる。
- expertキャッシュ
GPUに保持するexpertの集合。Strataでは頻繁に使うexpertを置くと説明され、リリース抜粋には容量指定の例もある。更新方式や配置判断の詳細は未確認。
- 量子化形式
Q2_0、IQ2_XS、IQ3_XXSなど、モデルの容量・速度・品質を選ぶ単位。READMEはRAMに合わせた選択を案内するが、品質と速度の関係は実際の用途でも確かめる必要がある。
- 候補検証
小さな補助モデルが次の複数トークンを予測し、大きなモデルがまとめて確認する生成方式。補助モデルの種類や具体的な検証手順は取得資料にない。
- 入力取り込みと生成
入力されたプロンプトを処理する段階と、回答トークンを出す段階。READMEの性能表は両者を別々のtokens/sで報告しており、生成速度だけでは対話開始までの待ち時間を判断できない。
- parallel
同時に回答する要求数の設定。既定は一件で、増やすと複数要求を処理できるが、12GB GPUでは各回答が遅くなるとREADMEが注意する。
1. 読む前に知っておきたいこと
モデル全体の容量と、毎回使う処理を分ける
READMEは、大規模モデルを数百GBのGPUメモリで実行する前提と、手元のGPUが持つ12〜24GBとの隔たりを出発点にしている。Strataの対象は125BパラメータのQwen3.8-Flash-Nextだが、その全体をGPUへ置くことを解決の前提にはしていない。
ここで重要なのはexpertの総数と、各トークンの処理に参加する数の違いだ。READMEによると、このモデルには24,576個のexpertがあり、各トークンでは10個を使う。Strataはこの構造を利用し、頻繁に使うexpertと、それ以外のexpertで実行場所を分ける。モデル全体を保持する容量の問題と、その都度必要になる計算をどこで行うかという問題を分けた設計として読める。
ただし、使うexpertが少ないことだけで速度は決まらない。GPUへ置く集合、RAMに保持する全体、CPUが担当する処理がどう連携するかが実用性を左右する。取得資料はこの分担を説明するものの、expertの選択や同期、転送の具体的な実装までは示していない。
量子化はPC全体の資源配分になる
標準要件として挙げられるのは、対応NVIDIA/AMD GPUのVRAM 12GB以上、RAM 32GB以上、ディスク約80GB、Windows 10/11またはLinuxだ。この数字は入口の条件であり、すべてのモデル選択肢を同じ速度で使える保証ではない。
READMEは量子化形式をRAMに合わせて選び、小さい形式は速く、大きい形式は品質が高いと説明する。Q2_0やIQ3_Sなどの選択は、モデル容量だけでなく、PC上でどれだけの重みをRAMに保持できるかに関わる。RAM不足時にはディスク読み出しによる低速化や、エンジンの予期しない停止が起こり得るという注意もある。
したがって、VRAMの要件を満たしたあともRAMの余裕を確認する必要がある。高ビットの形式を選んでも、保持できずSSDから読む構成になれば、対話に使える速度との交換条件が生じる。Strataを評価する単位はGPUの型番だけではなく、CPU、RAM、モデル形式を含むPCの構成になる。
対話の速さには複数の待ち時間がある
ローカル推論の体験を判断するには、起動、入力取り込み、回答生成を分けて見る必要がある。READMEは起動時に35〜55GBをRAMへ読み込み、一部をGPU用にロックすると説明する。その間、PCが1〜3分遅くなったり応答しなくなったりする場合があると警告している。必要なときだけ起動する運用では、この待ち時間も作業に含まれる。
長い初回プロンプトにも別の負担がある。READMEでは最大8,192トークンずつ取り込み、最初のメッセージは全体を処理するとされる。後続メッセージは数秒で開始するという説明はあるが、その理由を特定のキャッシュ機構で説明できる資料はない。
生成tokens/sが高くても、モデル起動や長文入力が終わるまでの時間は残る。コードや長い指示を渡す用途では、回答の出力速度と入力処理の速度を別々に確かめることが、性能表を実際の開発作業へ結び付ける条件になる。
2. どう動くのか
セットアップからローカルの受付口まで
実行の入口はWindowsのSTART-HERE.bat、またはLinuxの./setup.shだ。GPUを検出し、利用するエンジン、モデル、コンテキスト量、画像入力を設定して、モデルをダウンロード・起動する。ハードウェアの選択とモデルの準備を、推論サーバーの立ち上げまでつなぐ構成になっている。
起動後はhttp://127.0.0.1:8080でChat、GPU/CPU/RAMのMonitor、設定やアドレスを示すAboutを利用できる。アプリ向けにはOpenAI互換の/v1、Anthropic互換の/v1/messages、Responses APIの/v1/responsesが案内され、Claude CodeとCodex CLIの接続例もある。ブラウザでの対話と、外部のアプリからの要求は、同じローカル推論サーバーを利用する入口として理解できる。
入力を受け付けたあとは既定で一件ずつ回答し、後続要求は待機する。接続先がAPIであっても、複数要求を常に同時実行する構成ではない。この受付と実行の境界は、エージェントを複数動かす場合の待ち時間に直結する。
GPUのexpertキャッシュと、RAM・CPUの役割
READMEの説明では、RAMが全expertを保持し、GPUは頻繁に使う数千個のexpertをキャッシュする。生成時にはGPUにあるexpertをGPUが処理し、そこにないexpertの処理をCPUが並行して担当する。GPUへ全体を収める代わりに、保持場所と計算場所を分散させるのが中核だ。
この説明から、GPUにないexpertを毎回GPUへ転送して処理する方式だと決め付けることはできない。資料が示しているのはCPU側の並行処理であり、GPU/CPU間の同期や転送経路は未確認だ。同様に「頻繁に使う」という配置基準は説明されるが、利用頻度の測定方法やキャッシュ更新のタイミングも分からない。
v0.1.41のリリース抜粋には自動expertキャッシュと、--expert-cache 1500という容量指定の例がある。GPU上のexpert集合が設定対象になることは確認できるが、この値を一般的な推奨値にはできない。また、READMEはSSD上の大きなルックアップテーブルにも触れる。内容やアクセス方式は不明であり、RAM不足によるモデル重みのSSD読み出しと同一の仕組みだと解釈する根拠はない。
配置の工夫に、候補検証を重ねる
expertの分担は計算をどこへ置くかという工夫だ。これとは別にStrataは、小さな補助モデルが次の複数トークンを予測し、大きなモデルがまとめて検証する方式を説明している。候補を先に用意して確認する流れを、GPU/CPUに分担された大きなモデルの実行へ重ねる構成として捉えられる。
READMEは、この候補検証によって同じ回答を1.6〜1.8倍早く得られると主張する。ただし、基準実装、モデル、ハードウェア、入力・出力長、サンプリング設定は記載されていない。補助モデルの種類、候補の採用・棄却を行う具体的な方式も取得資料からは説明できない。倍率を一般化したり、あらゆる設定で出力が一致すると受け取ったりすることはできない。
生成にはreasoning effortとしてoff、low、medium、highも選べる。ただし、この設定と候補検証の関係や、速度への影響は示されていない。配置、候補検証、思考量はそれぞれ確認できる要素だが、内部での結び付きまで補って説明しないことが、この段階の技術理解には必要だ。
報告された速度を、実行条件へ戻して読む
NVIDIA環境のREADME測定では、RTX 5070 12GB、Ryzen 5 7600、RAM 64GB、回答4K・入力32Kトークンで、Q2_0の生成94tokens/s、入力取り込み2,650tokens/sが報告される。IQ3_Sではそれぞれ53、1,620tokens/sだ。ただしQ2_0はengine 0.1.36、他の形式は0.1.26であり、量子化形式だけを変えた比較ではない。反復数、ウォームアップ、バッチ数、ピークメモリも未記載だ。
AMD環境ではRX 9070 XT 16GB、Ryzen 9 3900X、RAM 47GBで、Q2_0の生成60tokens/s、入力取り込み1,160tokens/sを報告する。こちらはエンジン版などの条件が不足する。CPUとRAMも違うため、NVIDIA表との比較からGPU単体の優劣を導くことはできない。
10月8日公開のv0.1.41は、Linux・IQ3_XXSの短い入力で改善を報告している。0.1.40.4比で512/1K入力の取り込みがRTX 3060では28%/22%、Tesla P100では33%/25%改善し、交互に測ったペアの中央値を使う。一方、単一NVIDIA GPUの短い入力をCPUが補助する既定動作に変わり、回答の末尾ビットも変化すると説明される。速度だけでなく実行条件が変わるため、過去の絶対速度を最新バージョンの性能へ読み替えることはできない。
3. 使いどころと限界
個人の開発PCで、推論接続先を選ぶ
適するのは、対応GPUと十分なRAMを持ち、少数の要求で対話やコード作成を行うWindows/Linuxの開発環境だ。アプリ側で接続先を変更できるなら、OpenAI互換クライアントではhttp://127.0.0.1:8080/v1を指定するという接続形態になる。モデルを常駐させる運用なら、起動時の待ち時間と日々の対話を分けて考えやすい。
一方、parallelを2にすれば同時処理できるものの、12GB GPUでは各回答が遅くなるとREADMEが注意する。複数の利用者やエージェントから継続的に要求を集める共有用途では、この制約が表面化しやすい。APIを提供することと、多数要求を処理できることは別々に評価する必要がある。
既存基盤との関係では、Strataはllama.cpp/ggmlの一部を利用する。READMEはexpertの分担、候補検証、セットアップ、互換APIを説明するが、元プロジェクトとの実装差分や性能比較はない。これらを利用した実行環境として位置付けられる一方、独自性や置き換える利点の評価には追加の根拠が要る。
RAMに収まるモデルと、必要な品質を両立できるか
Coder版はexpertの半分を除き、32GB RAMに収まるとされる。READMEはモデル作者の測定として、元モデルのSWE-bench Verifiedスコアの91%に達すると紹介する。この91%は元モデルに対する比率であり、正答率91%という意味ではない。絶対スコア、評価ハーネス、エージェント構成、量子化条件が不明で、Strata上の独立評価でもない。
さらにCoder版はコード以外、とくに中国語などCJKテキストに弱いという注意がある。日本語の指示や説明も重視する開発環境では、コード向けの評価比率だけでは選べない。RAMに収まることと、作業全体に必要な品質が得られることを両方確かめたい。
高ビットの選択肢にも別の負担がある。UD-IQ4_XSはRAM約80GB未満で一部をSSDから読み、実験的なUD-Q4_K_XLは64GB PCで重みの大部分をSSDから読むため、生成7〜8.5tokens/sと報告される。後者のGPU、CPU、SSDなどの条件は未記載だが、容量不足をSSDで補うと速度面の負担が生じるという注意としては具体的だ。
互換APIとローカル公開の境界を確認する
Claude CodeやCodex CLIの接続例は、既存ワークフローへの入口を示す。ただし取得READMEでは、ストリーミング、ツール呼び出し、Responses APIの対応機能、認証・エラー形式を含む互換範囲が確認できない。接続できることと、エージェントが必要とする機能が一通り動くことは分けて検証する必要がある。
他端末へ公開する場合は--host 0.0.0.0を使い、必ずAPIキーを設定するようREADMEが求める。手元のブラウザから使う構成を、別端末から呼び出せる構成へ広げる際には、この設定が運用条件になる。ただし認証仕様の全体は取得資料にない。
ローカル実行という説明も、外部通信の監査結果としては扱えない。セットアップでモデルをダウンロードすることは明記されているが、推論中の通信、ログ、更新処理は未確認だ。また本体はMITでも、依存部品と各モデルには個別ライセンスがある。利用条件は推論エンジン本体だけで判断できない。
OS・GPU・バージョンの組み合わせが残る
画像入力はAMD環境で差があり、LinuxではCPUを使い、Windowsでは未対応だ。Intel Arc、Strix Halo、古いGPUなどは実験的対応とされる。WindowsのAMD GPUで画像入力を必須にする用途や、実験的対応を前提に安定運用したい用途では、適合性を慎重に見たい。
取得時点の先頭リリースはv0.1.41で、入力処理の実行方法や出力に関わる変更も続いている。v0.1.40.4ではsm_61でdecodeが約半速になる回帰を修正したとされるが、保守者は該当カードを持たず、修正版の確認を求めている。
この状況から一律に不安定だとは判断できない。ただし、対応という表記だけで自分の構成の速度や挙動を確定できないことは分かる。導入判断ではOS、GPU、モデル形式、エンジン版をそろえ、入力取り込みと生成、必要なAPI機能を実際の作業条件で確かめることが残る。
このツールから考える
ここからは、一次情報と限界を踏まえた編集上の考察です。
Strataの構成は、モデル全体をGPUへ載せる代わりに、全expertをRAMに保持し、GPUのキャッシュとCPUの処理を組み合わせるというものだ。その上にローカルUIと互換APIを置くことで、手元の開発PCをアプリやエージェントの推論接続先にできる可能性がある。
ここから見えるのは、推論の実行場所を選ぶ自由と、資源配分を引き受ける責任が同時に増えるという変化だ。量子化形式を選び、RAM不足によるSSD読み出しを避け、同時要求数を調整する作業が、開発環境の設計に入ってくる。少数要求の個人用途では成立しやすくても、共有用途では並列化による速度低下が制約になる。
この選択肢が実用的になる条件は、必要なモデル品質とAPI機能を満たし、自分の構成で待ち時間を許容できることだ。expertキャッシュの更新方式やCPU/GPU間の連携は未確認であり、速度表も作者側の測定にとどまる。今後見るべきなのは、対応範囲の明確化と、構成・バージョン・作業条件をそろえた検証によって、この分散した実行基盤の振る舞いを説明できるかどうかだ。
検証に使用した一次情報
DevTool Lensでは、第三者の二次情報やREADMEの宣伝文句に依存せず、以下の公式リポジトリ・ドキュメント・リリース情報を精査して記事を作成しています。
- [readme]Niko1221/Strata README
- [repo]Niko1221/Strata GitHub Repository
- [release]Niko1221/Strata Releases
- [github_trending]GitHub Trending Daily (2026-10-10)