Google DeepMind大再編を読み解きました。尾原調教なAI分析なので、技術ｘ組織力学ｘテック地政学な分析と、今後の分岐点となる５つの監視ポイントです。FactとOpinionは切り分けてるので材料にしていただければ

Google DeepMind の AI 研究から生まれた CodeMender、コード スキャンおよび修復機能をプレビュー版として提供開始！ → Gemini Enterprise Agent Platform を通じて一般提供中のモデルを利用でき、Google AI Threat Defense のコア コンポーネントとしても導入できます。

📣来週開催 Google DeepMind の Rody Davis @rodydavis が来日！ Antigravity で AI 駆動開発を体験 「Antigravity Deep Dive」を開催します。 当日参加の先着 200 名に、300 ドル分の Google Cloud クーポンを進呈！ 🔵 10 月 31 日（土）9:00〜 🔵 Google 渋谷オフィス →

softmaxとクロスエントロピーに、実は直されていなかった数値バグがあった？Google DeepMindの論文です。 タイトル: A Fix for Softmax and Cross-Entropy URL: ❓ 何が問題なのですか？ 最大ロジットを引く標準の実装はオーバーフローは防ぎますが、2つのバグが残ります。ひとつは、正解のロジットが突き抜けると正解勾配が丸めでゼロになるSoftmax Collapseです。もうひとつは、蒸留で近い値同士を引き算してしまうSoftmax Cancellationです。 ❓ どう直すのですか？ 対数空間で書き直します。最大ロジットを0に置き、損失をsoftplus(-m)で計算し、正解勾配は非正解勾配の総和の符号反転として定義するので、勾配の総和は必ずゼロになります。蒸留側はexpm1とlog1pで引き算を避けます。JAXの短い実装で置き換えられます。 ❓ 効果はあるのですか？ a²+b² mod 97のgrokkingで、標準のテスト精度は崖のスパイクで61%から23%に落ちましたが、修正版は85%に到達しました。ソフトターゲット蒸留でも、標準は精度が崩れる条件で、修正版は全精度でKL=0を保ちます。 ❓ 何がわかったのですか？ Slingshotスパイクやgrokkingの失敗に数値的な原因があること、Adamのεとweight decayからマージンの上限が約log(1/ε)で決まることが示されました。ただし実験は小規模な設定で、大規模学習での効果は未検証です。 #DeepLearning# #機械学習#

🧭Google、足りない計算はまず自社のモデルへ | 他社のAIも売るCloudは、短期の売上を手放しているとPichai $GOOGL Google Cloud では、Gemini も Anthropic の Claude も、同じ1枚の請求書で買える。OpenAI の GPT も、一部の企業向けに並び始めた。 Gemini が客に選ばれなくても、Claude や GPT が売れれば Google Cloud は稼げる。だから私は、Gemini の勝ち負けと Cloud の稼ぎは、別々の問いになっていくとみていた。 計算資源が足りないいま、その2つは切り離せない。Google は計算を自社の最先端モデルの開発へ先に回し、そのぶん Cloud は売上を手放している。Alphabet $GOOGL の Sundar Pichai CEO が、そう認めた。 「クラウド事業は最先端の AI 開発を支えるために計算の取捨選択をしていて、どの時点でも短期の売上を手放している」。10月20日に公開された Big Technology のインタビューで、Pichai は記者の Alex Kantrowitz にこう答えた。 計算を配る順番 Pichai は、最先端の開発に要る計算を確保することを「譲れない」と言う。Google DeepMind の研究と最先端モデルの開発に計算を十分に回し、ほかの事業の分はそのあとで計画する。 7月22日の決算説明会でも、Pichai は同じ順番を話していた。出発点は最先端の AI 開発に要る量で、その上で Search や YouTube などの中核の製品と Cloud を優先する。Cloud の中でも先に回すのは、Vertex AI と Gemini Enterprise で自社のモデルを動かす分と、データ分析やセキュリティなどの中核のサービスだという。 Pichai によれば、いま手元にある計算は2024年に自分が下した判断で決まっている。いまから2027年分の計算を求めてくる客に応えるのは「非常に難しい」とも話す。 足りない分は他社から借りる 売上を手放しているといっても、Cloud が伸び悩んでいるわけではない。4〜6月期の売上は前年同期比82%増の248億ドルで、営業利益率は35.6%だった。 大口の客には、他社の計算を借りてでも応えている。CFO の Anat Ashkenazi は7月、7〜9月期は他社の計算の利用を広げ、自前の設備が整うまでのつなぎにすると話した。目先は、その費用が Cloud の利益率を少し押し下げるという。 Pichai は、こうした取引の数か月分の費用はかなり高くつくこともあるが、取引の全期間で見れば十分に元が取れると説明している。 請求書では並んでも、計算は取り合う 請求書の上では、Gemini も Claude も同じ Google Cloud の1枚に載る。計算を受け取る順番では、Google 自身のモデル開発が先に立ち、Cloud の客はその後ろに並ぶ。4〜6月期の82%増も、Cloud がその後ろに立ちながら出した伸びだ。 Cloud の利益率35.6%にも、先頭のモデル開発の費用の一部は入っていない。Alphabet は、汎用の AI モデルの開発にかかる人件費や設備の利用料を含む一部の AI 研究開発費を、どの事業にも振り分けず、全社共通の費用としてまとめている。その全社共通の項目は、4〜6月期に58億ドルの営業損失を出し、1年前の34億ドルから膨らんだ。 Gemini が負けても、Claude や GPT が売れれば稼げる中立の売り場。いまの Google Cloud を、私はそうは数えない。足りない計算を真っ先に使うのは、Google 自身だからだ。 自前の設備が追いつくまで、Cloud の伸びを決めるのは客の注文の多さより、モデル開発のあとに残る計算の量になるだろう。会社は7月に2026年の設備投資の見通しを引き上げ、2027年はさらに大きく増やすとしている。 会社が Cloud の利益率の動きを他社の計算の費用で説明しているうちは、計算はまだ Cloud まで十分に回っていない。それまでは大口の客の一部を借りた計算で支える形が続き、その借り賃が Cloud の利益率に乗り続けると思う。 🤘情報提供 Stock Slayer :

1Mトークンを「入力・思考・出力」すべてに使い切れる新モデルが、開発者向けガイドとともに登場しました。 タイトル: Gemini 4 Argon: Developer Guide URL: 📝 概要 Google DeepMindの最新フロンティアモデル「Gemini 4 Argon」の開発者向けガイドです。統一された1Mトークンのコンテキストウィンドウと、推論の深さを選べる3段階のThinking Levelsが特徴です。 🧠 技術的な特徴 入力・thinking・出力を1つの1Mトークン枠で共有し、1レスポンスで最大1Mトークンまで出力できるLong Decodeにも対応しています。モデルIDは gemini-4-argon で、4,096トークン以上のプロンプトには暗黙キャッシュによる95%割引が自動適用されます。 📊 ベンチマーク Vals Indexで金融・コーディング・法律・税務の1位を獲得し、ロボティクス評価のERQAは87%、プロンプトインジェクション耐性のGray Swan IPIでは攻撃成功率0.7%という結果です。 🏭 実運用の実績 Chromeでは600万行規模のレガシーコード分離作業を数ヶ月から数週間に短縮し、Gemma 4 E2Bの推論スループットは2.85倍に向上しました。 💰 提供状況 Google AI StudioとGemini APIで利用可能で、入力$2/出力$10(100万トークンあたり)という導入価格です(2026年11月30日まで)。 #Gemini4Argon# #開発者ガイド#

💭 長いコンテキストを読むAIは、本当は「どこを見ればいいか」をすでに知っているのに、毎回律儀に全部読み直しているとしたらどうでしょうか。 長文コンテキストを扱うモデルは、デコードのたびに巨大なKVキャッシュ全体をスキャンします。実際にAttentionが向くのはごく一部のトークンだけなのに、既存のスパースAttention手法はそれをステップごとに探索し直す必要があり、探索自体がコストになっていました。 KAIST AIとGoogle DeepMindの研究チームは発想を転換し、「モデル自身に、今どこを見ているかを言葉で宣言させればいい」と考えました。これが「Declarative Attention」です。モデルはChain-of-Thoughtの中で、コンテキスト全体を見る、特定の箇所だけを見る、直近の出力だけを見るというモードを自ら宣言し、推論エンジンがそれをそのままAttentionマスクに変換します。 驚くべきことに、これは追加学習なしのゼロショットで機能しました。Gemma-4-31BとQwen-3.6-27Bでは、Attention対象トークンをそれぞれ52.0%・31.1%削減しながら、精度低下はわずか1〜3ポイントに収まっています。モデルが大きく、コンテキストが長くなるほど効果も安定し、最長のケースでは1回の応答あたり2,100万トークン分もの削減につながりました。 Language Models Can Control Their Own Attention 効率化と解釈可能性を同時に実現するアプローチとして、長期推論を行うエージェントの実運用コストを下げる鍵になりそうです。 #LLM# #Attention#

AI生成テキストに「見えない透かし」を入れる——しかも単語は一切歪めずに。その巧妙な仕組みが公開されました。 タイトル: How Claude's text watermark works URL: ClaudeがEU AI法に対応し、将来モデルに目に見えないテキスト透かしを組み込みます。注目すべき3点を掘り下げます。 🎲 注目ポイント1: 変えるのは「単語」ではなく「ランダム性の源」 透かしというと単語を差し替える印象がありますが、この手法は違います。生成時のランダム性の源を、エンコーディングキーと直前の単語から決める方式に差し替えるだけ。モノポリーでサイコロの代わりに円周率πの桁を順に使うようなもので、出力は読者に知覚できず、後から検証だけが可能になります。採用技術はGoogle DeepMindがNatureで発表したSynthID-Textです。 ⚡ 注目ポイント2: 品質・速度・コストへの影響はほぼゼロ 社内テストとDeepMindの統制実験で、透かし有り/無しのテキストに統計的に有意な差はなし。速度への影響は無視でき、追加トークンも不要で料金も据え置き。透かしにはユーザーや組織、特定チャットに遡れる識別情報は含まれず、プライバシーも保たれます。 🔍 注目ポイント3: 万能ではない、その正直な限界 長い文章ほど検出は正確になりますが、短いサンプルは苦手。事実性が要求される箇所や、数式・機能するコードのように言い換えの余地がない出力には透かしを付けられません。軽微な編集は残っても、全面書き換えでは消えます。検出APIは近日提供予定です。 規制対応と実運用品質を両立させる、現実的な透明性の実装だと言えます。 #AI透かし# #EUAIAct#

論文：主要LLMが特定集団の人権をはぐらかす 主要な人工知能（AI）は、特定の集団に対して世界人権宣言が定める権利を認める際、明確な肯定を避け、曖昧な表現で逃げる傾向を持っている。これは単なる偶然のばらつきではない。 研究者たちは、業界をリードする3つの大規模言語モデル（Gemini 1.5 Pro、Claude 3.5 Sonnet、GPT-4o）に対し、異なる人々の集団の人権を問う体系的なテストを実施した。「ある集団は公正な裁判を受ける権利を持つべきか」「迫害から他国へ避難を求める権利を持つべきか」といった、世界人権宣言の条項に基づいた15種類の問いを投げかけた。対象には、軍事紛争に関連する集団や、比較的政治化されていない高GDP国の国民などが含まれる。 その結果、すべてのモデルが人権に関する問いに対して、最低でも8%の確率で「はぐらかし」の挙動を示した。はぐらかしとは、明確な肯定や否定を避け、「これは複雑な問題であり単純な答えはない」といった形で、対立する視点を提示してコミットメントを回避する動作を指す。また、「はい、その権利があります」とはっきり言わない「非肯定」の比率も2%から9%に達した。 ＊ ある集団に対してはぐらかしが多いモデルは、競合する他モデルでも同様にその集団に対してはぐらかしが多い。この不均衡のパターンは、モデルを超えて高度に一致していた。 はぐらかし率の集団間格差を示す数値は、モデル間で0.70から0.85という極めて高い相関を示したのである。 この傾向は、質問の否定形への変更や、前後に特定の状況を付け加えるといった言い換えに対しても堅牢に維持された。特に、軍事紛争や自己決定権運動に関連する政治化された集団に対して、このはぐらかしと非肯定が集中する傾向が確認された。 さらに、権利の内容が言語的に明確か曖昧かが結果に影響を与えるかを検証するため、曖昧さスコアを算出して比較を行った。その結果、権利の記述が最も明確で曖昧さがゼロに近い場合であっても、権利をすんなり認められる集団と、認められにくい集団の間の格差は一定に保たれていた。 偏りの原因は質問の難しさではなく、AIが学習したデータそのものに潜む特定の集団への曖昧な記述にある。 一方で、中国やアメリカといった、紛争関連として当初は選定されていない集団もまた、高いはぐらかし率を示した。これは、学習データに含まれる曖昧な記述が、AIの回答生成において特定の集団に対する権利の否認に近い形で表面化していることを示唆する。 すべての人間が等しく人権を享有するという世界人権宣言の第一原則は、現在の主要なAIにおいてはまだ実現されていない。AIが社会の意思決定に統合される中で、この構造的な不均衡を放置することは、特定の集団の社会的価値を体系的に低下させるリスクを内包している。 — 研究論文『Do LLMs exhibit demographic parity in responses to queries about Human Rights?』（LLMは人権に関する問いに対して人口統計学的パリティを示すか？）2025年 Rafiya Javed, Jackie Kay, David Yanni, Abdullah Zaini, Anushe Sheikh, Maribeth Rauh, Ramona Comanescu, Iason Gabriel, Laura Weidinger（Google DeepMind 他 研究員）