Llama 4 評価と日本企業のLLM選定——失望的結果が問い直す選定基準

前回本文を確認しました。E-E-A-T強化指示（experience/overallが低い、具体的手順・数値の扱い・限界・出典を増やす）に基づき、全文を再構成して出力します。

—

Llama 4 評価をめぐる「失望的結果」——何が起きたか

2025年4月にリリースされたMeta社のLlama 4について、MetaのChief AI Officer（CAO）であるAlexandr Wangが「Metaが期待していた軌道に乗っていない、明らかに社内で失望的な結果だ」と認めたことが複数メディアで報じられた（ababnews.com、wallstreetcn.com）。Wangは元Scale AI共同創業者であり、MetaがScale AIの49%非議決権株式を約143億ドル超で取得する取引後にMetaに合流した人物だ（webull.com.au、finance.yahoo.com）。

さらに深刻なのは、元Meta主任科学者でチューリング賞受賞者のYann LeCunが、MetaのAI部門退職後にLlama 4のベンチマーク結果が「捏造（Fudged）」されたと実名で公に批判した点である（wallstreetcn.com）。Llama 4の問題対応のためにMetaは本来別の研究を進めていたチームを投入し、その後AI部門から約600名を解雇した（webull.com.au、yahoo.com）。

この経緯は単なる一モデルの品質問題にとどまらない。オープンウェイトLLMをベンチマーク数値で選定してきた日本企業にとって、選定プロセス自体の再設計を促す事態だ。

Llama 4は日本語にどこまで対応しているかは、Llama 4の性能と活用戦略で解説しています。

関連記事Llama（ラマ）は無料で使えるの？

Llama 4 の技術仕様——日本企業が把握すべき構造とライセンスの実態

Llama 4はMoE（Mixture-of-Experts）アーキテクチャとネイティブマルチモーダル対応（画像＋テキスト）を初めて採用した世代である。主力のLlama 4 Maverickは総パラメータ約400BながらアクティブパラメータはMoE構成で17B・128エキスパート、Llama 4 Scoutは単一NVIDIA H100 GPU上での動作と公称最大1,000万トークンの超長コンテキストを特徴とする（Meta公式：ai.meta.com/blog/llama-4-multimodal-intelligence/）。

ライセンスについては明確な理解が必要だ。Llama 4のライセンスは「Llama Community License」であり、MITやApache 2.0とは異なる許諾付きの独自ライセンスである。月間アクティブユーザーが一定規模を超える事業者（公表基準：月7億MAU超）には別途Metaの許諾が必要という制限条項が存在する（llama.com）。商用展開を前提とする日本企業の場合、ライセンス条件の確認を法務部門で行うことは導入判断の前提条件となる。条件は将来変更される可能性があり、重要なシステムへの統合前にこの点を稟議書に明記しておくことが望ましい。

一方でベンチマーク品質への疑義が公式に指摘されたことで、「公開ベンチマーク上位＝現場タスクでも優れる」という前提は崩れた。この前提に依拠した選定プロセスは、今後実害を生じさせるリスクがある。

Llama 4 評価が日本企業のLLM選定に問いかけること——オープンウェイト戦略の再点検

今回の問題は「Llama 4が使えない」という結論を意味しない。重みのオープンウェイト提供は継続しており、Scout・Maverick共にllama.comからダウンロードまたはサードパーティAPIを通じた利用が可能な状態にある。外部APIへの依存を排したオンプレミス展開の選択肢も消えていない。金融・医療・製造など、データを社外に出しにくい業種においてオープンウェイトモデルが持つ優位性は構造的なものだ。

しかし、選定の根拠として何を置くかは変えなければならない。

ベンチマーク依存から「タスク実測」への移行——具体的な手順

日本語対応品質・長文要約精度・社内文書への適合性は、MMLU等の英語中心の公開ベンチマークでは測定困難である。日本企業が実施すべきPoCの設計として、以下の手順が実務的な判断軸となる。

1. タスク定義：自社の典型的な業務タスクを3〜5件選定する（例：製品仕様書の要約、顧客問い合わせの三段階分類、社内規程条文の検索と抜粋）。抽象的な「AIに聞いてみる」ではなく、入力データと期待出力を明示したテストケースを20〜50件準備する。
2. 評価基準の設定：業務担当者が正解ラベルを付けたテストセットで正答率・一貫性・日本語の自然さを定量評価する。評価者間の一致率も記録しておく。
3. 複数モデルの並行比較：Llama 4 Scout／Maverick、Llama 3.3（70B）、比較対象として1〜2のクローズドモデルを同一タスクセットで評価する。単一モデルのみで判断しない。
4. コスト換算：PoC段階でトークン消費量を実測し、月次処理量に換算して年間コストを試算する。Llama 4 Scoutのサードパーティ経由API参考価格は入力約0.08ドル・出力約0.30ドル（百万トークン）、Maverickは入力約0.15ドル・出力約0.60ドル（百万トークン）が2026年6月時点の参考最安水準であり、プロバイダにより変動する（tokencost.app、pricepertoken.com）。

この手順を経ずにベンチマーク順位のみで採用モデルを決定することは、今回のLlama 4問題が示した通りリスクを内包する。

Meta AI戦略の転換が示すロードマップリスク

MetaはLlamaと並行して、クローズドウェイトの新フロンティアラインであるMuseシリーズ（Spark・Glimmer）を展開している。Muse Glimmerはオープンウェイト・Apache 2.0ライセンスで公開されており、30Bパラメータ・GPU1枚での動作とMuse Sparkからの蒸留を特徴とする（dev.meta.ai）。MetaのAI設備投資は2025年に少なくとも700億ドルとされており（webull.com.au）、資源集中の方向性がLlamaからMuseへ移行する可能性は排除できない。

加えて、WangがZuckerbergのマイクロマネジメントで「窒息感を覚えている」と同僚に伝えたとFinancial Timesが報じており（webull.com.au、finance.yahoo.com）、AI部門の600名規模の解雇と組み合わさると、開発継続性に対する外部リスクとして企業選定時に織り込む判断材料となる。Llamaを基盤として社内システムに深く統合する場合、将来のモデル更新サイクルの鈍化やサポート優先度の低下を想定した設計が必要だ。

主要オープンウェイトLLM比較——日本企業の選定対象とそれぞれのリスク

Llama 4の問題を踏まえ、現時点で選定候補に挙がることの多いモデルを比較する。各項目は公開情報に基づく参考情報であり、自社環境での性能は必ず実測を要する。

表：主要LLM選定比較（2026年時点・公開情報に基づく参考情報）

モデル	重み公開	ライセンス	マルチモーダル	主な特徴	注意・リスク
Llama 4 Maverick	○	Llama Community License（制限付き）	○	MoE・画像対応・大規模コンテキスト	ベンチマーク信頼性への疑義（LeCun指摘）・大規模GPU要
Llama 4 Scout	○	Llama Community License（制限付き）	○	H100単体動作・超長コンテキスト（公称最大10Mトークン）	同上・長コンテキストでの品質は実測要
Llama 3.3（70B）	○	Llama Community License（制限付き）	×（テキスト専用）	テキスト性能の実績・PoC実施例が蓄積	画像タスク不可・旧世代のためロードマップ優先度低
Muse Glimmer	○	Apache 2.0	○	30B・GPU1枚動作・Muse Sparkから蒸留・Apache 2.0の自由度	新系統のため日本語品質・業務適合性の実績が限定的
DeepSeek V系（参考）	○	MIT（モデルにより異なる）	モデルによる	コスト効率・推論性能で評価される	中国籍企業開発・データ主権リスク・輸出規制動向の注視要

Llama 4 評価を踏まえた日本企業のLLM選定——稟議・意思決定のための論点整理

「オープンウェイト＝安価」はコスト全体像ではない

重みのダウンロード自体は無償だが、GPU調達・MLOps人件費・セキュリティ対応・モデル更新サイクルの管理コストは相当の規模になる。Maverickのような大規模MoEモデルを自前運用しようとすれば、複数のハイエンドGPUと熟練したエンジニアが必要となる。サードパーティAPI利用は初期コストを下げるが、データを外部に送ることになるためデータガバナンスの確認が前提だ。稟議においては「重みが無料」と「システム導入の総コスト（TCO）」を分けて記載し、GPU運用とAPI利用の2シナリオで試算を提示する構成が意思決定者には伝わりやすい。

ベンダーロックインとモデル差し替え設計

Meta・OpenAI・Googleいずれの場合も、特定モデルへの深い依存はロードマップ変更リスクを伴う。アプリケーション層のLLM呼び出しを抽象化し、モデルを差し替えてもアプリケーション側への影響を最小化する設計が、中長期的な調達交渉力と継続的な選択肢確保の両面で有効だ。LangChain等のオーケストレーションフレームワークを使いモデルIDを設定ファイルで管理する構成は、この設計を実現する一般的なアプローチとして参照されている。

今回のLlama 4問題が示すデメリットと限界——正直な評価

• 日本語対応の深度：Llama 4は英語中心のトレーニングデータ構成であり、日本語タスクにおける品質が英語と同水準ではない可能性がある。PoCで日本語品質を自社タスクで実測することが不可欠だ。
• 企業向けサポートの欠如：GPT-4o・Gemini等のクローズドモデルと異なり、Meta公式の企業向けSLAや問い合わせ窓口は限定的であり、問題発生時の解決速度に差が出やすい。
• 組織リスクの継続：AI部門約600名の解雇（webull.com.au）、Zuckerberg氏のマイクロマネジメントへの内部的な摩擦（Financial Times報道引用、webull.com.au）は、Llamaの開発継続性に対する不確実性として選定判断に含めるべき要素だ。
• ライセンス変更リスク：Llama Community Licenseは制限付きであり、将来的な条件変更を完全には排除できない。重要システムへの統合前には法務確認を必須とし、変更時の対応コストを稟議書に記載しておくことが望ましい。

参考文献

• ababnews.com — Meta Chief AI Officer Alexandr Wang: Llama 4 is not on the track Meta hoped for（2025年、複数アクセス確認）
• wallstreetcn.com — Yann LeCunによるLlama 4ベンチマーク「Fudged」批判報道
• webull.com.au / webull.ca — Meta-Scale AI取引詳細・AI部門解雇・Wang発言（Financial Times報道引用）
• finance.yahoo.com / yahoo.com — MetaのAI投資・Llama 4問題対応チームの解雇経緯
• Meta公式ブログ — Llama 4発表: https://ai.meta.com/blog/llama-4-multimodal-intelligence/（2026年6月8日アクセス）
• Meta公式 — Llamaモデル一覧・ライセンス: https://www.llama.com/（2026年6月8日アクセス）
• Meta Developer — Llama APIモデルID: https://llama.developer.meta.com/docs/models/（2026年6月8日アクセス）
• Meta Developer — Muse Glimmerモデル詳細: https://dev.meta.ai/models/muse-glimmer/（2026年9月29日アクセス）
• tokencost.app — Llama 4 Scout vs Maverick API Pricing: https://tokencost.app/blog/llama-4-scout-vs-maverick-api-pricing
• pricepertoken.com — Meta Llama APIプライシング: https://pricepertoken.com/pricing-page/provider/meta-llama