アライメント調整したのに真っ直ぐ走らない！？ そしてお店を変えても同じ結果に… 一体何が原因だったのでしょうか？ #jzx100# #アライメント# #JZお悩み相談室#

「大きいほど良い」はもう常識ではないのかもしれません。小さなモデルを、訓練の自動化だけでフロンティア級に引き上げようという挑戦です🔬 タイトル: Tiny AutoScientist: Supersized Intelligence for Small Models URL: 🔬 概要 Tiny AutoScientistは、0.8B〜8Bといった本番でよく使われる小さなモデルの、訓練とアライメントのプロセス全体を自動化する自動研究システムです。小さなモデルでも、フロンティア級の品質で動くようにすることを目指します。 ❓ 解決する課題 実運用では、レイテンシ・コスト・デバイス制約から、小さなモデルを使いたい場面が多くあります。 ・しかし小さなモデルの訓練は、ハイパーパラメータに敏感で、過学習に陥りやすく、扱いが難しいです ・そのため、「制約に収まる小さなモデル」か「十分な能力を持つ大きなモデル」かの、つらい二者択一を迫られがちでした 💡 方法論と仕組み ・データと、モデル訓練のレシピを自動で共最適化（co-optimize）します ・品質が目標に収束するまで、両者を自己改善し続けます ・これまでフロンティアAIラボだけが回せていた研究開発のループ全体を自動化し、小さなモデル訓練につきまとうハイパーパラメータ感度や過学習の課題を引き受けます 📊 実験結果 / 実績 ・人間が設定した訓練に対し、相対で35%の改善を達成しました ・5,000〜100,000サンプルのデータセットサイズにわたって一貫した向上を示しました ・複数のモデルアーキテクチャで機能します ・フロンティア級の性能を、数ヶ月ではなく数日で提供します 🌍 ユースケース エッジでのデプロイ、オンデバイス推論、レイテンシに厳しいアプリ、データの境界が厳格な規制業界など、これまで現実的でなかった用途を解放します。小型モデルの訓練はハイパラ調整が職人芸になりがちなので、それを自動化して人手設定を上回れるのは、実務的に大きな意味があります。 #小型モデル# #AutoML#

日経デジタルガバナンスにて、Sakana AIの「事後学習」技術と Sakana Chat / Namazuモデルに関する記事が掲載されました。 Namazuモデル開発をリードしたリサーチサイエンティストの菅沼雅徳とチーフサイエンティストの秋葉拓哉に取材いただきました。 記事: Sakana Chat: 取り組みの詳細 🐟 初の一般向けサービス 3月24日に公開した Sakana Chat は、これまで主に企業向けにAIシステムを提供してきたSakana AIにとって、初の一般ユーザー向けサービスです。 🧠 事後学習（Post-training）による進化 搭載している「Namazuモデル」のα版は、既存のオープンモデルに対し、独自の事後学習（Post-training）を施して構築したものです。ベースモデルの推論能力を損なうことなく、出力の中立性・事実の網羅性・日本語性能などを向上させています。世界トップ水準のオープンモデルをも意図したアラインメントへと調整できることは、様々な産業におけるAI導入にとっても重要な意味を持ちます。 🇯🇵 ソブリンAIへの新しいアプローチ 記事内、秋葉は「（ソブリンAIを開発する上で）日本が持つべき技術には様々なレイヤーがあり、事後学習もその一つとして貢献したい」と語っています。 ゼロから国産LLMを構築するアプローチに加えて、世界中で進化し続けるオープンウェイトモデルを土台に日本の文脈へ最適化するアプローチも、現実的な選択肢となり得ると考えています。

🎬 蒸留された自己回帰の動画モデルは速い一方で、人間の好みからズレがちです。再蒸留も逆プロセスの展開も使わず、「順プロセス」で強化学習アラインメントを行うAstrolabeが、その難題に答えます。 タイトル: Astrolabe: Steering Forward-Process Reinforcement Learning URL: 📝 概要 Astrolabeは、蒸留された自己回帰（AR）動画モデルを人間の視覚的な好みに整合させる強化学習フレームワークです。最大の特徴は、従来の逆プロセス最適化ではなく、順プロセス（forward-process）でRLを行う点にあります。全53ページ・37図の大規模な研究です。 ❓ 解決する課題 蒸留AR動画モデルは効率的なストリーミング生成に向く一方、人間の好みと乖離しやすいという弱点があります。さらに既存のRLは、こうしたアーキテクチャに自然には合いません。一般に、高コストな再蒸留か、ソルバー結合の逆プロセス最適化のいずれかを必要とし、どちらも重くスケールしにくいものでした。 💡 方法論と提案手法 3つの工夫から成ります。 ・負例認識の微調整：推論の終端で正例と負例を対比させ、逆プロセスを展開せずに、暗黙的なポリシー改善の方向を確立します ・ストリーミング学習：ローリングKVキャッシュでシーケンスを段階的に生成し、RL更新は局所的なクリップウィンドウにのみ適用、長距離の一貫性は先行コンテキストへの条件付けで維持します ・複数報酬の目的関数：不確実性を考慮した選択的正則化と動的な参照更新を統合し、報酬ハッキング（見かけのスコアだけ上げる崩壊）を緩和します 🎯 ユースケース リアルタイム・ストリーミングな動画生成で、効率的な蒸留モデルを速さを保ったまま好みへ整合させたい場面に向きます。複数の蒸留AR動画モデルに適用でき、推論の軽さを犠牲にせずに品質を底上げできます。 📊 意義と結果 ・再蒸留や逆プロセス展開という重い経路を避けることで、計算効率のボトルネックに対処します ・順プロセスでの負例認識・ストリーミング更新・報酬ハッキング対策を組み合わせ、堅牢でスケーラブルなアラインメント解を提供します ・複数の蒸留ARモデルにわたって有効性が示され、詳細な定量評価とアブレーションを含みます #VideoGeneration# #ReinforcementLearning#

💡 Meta Platforms, Inc. $META Q3 2026決算 2026-10-21 💰 今四半期業績 - 🟢 EPS：$7.40 (予想$6.54) - 🟢 売上高：$64.60B (予想$63.34B) 📊 重要指標 - 🟢 広告売上高：$63.06B (YoY+26%) - 🟢 広告インプレッション / 平均広告単価：インプレッション YoY+10% / 広告単価 YoY+14% - 🟢 Family Daily Active People (DAP)：3.64B (YoY+3%) - 🔴 営業利益率：GAAP 20% (訴訟費用除く 35.42%) (前年同期 40%) - 🔴 フリーキャッシュフロー：-$2.12B (前年同期 $10.63B) - ⚫️ 設備投資 (ファイナンスリース元本返済含む)：$34.91B (Est. $39.72B) (YoY+80.17%) - ⚫️ Reality Labs 営業損失：-$4.13B (前年同期 -$4.43B) / 売上 $443M (YoY-5.74%) 📊 次四半期ガイダンス - 🟢 売上高：$74.50B (予想$73.65B) 📍決算内容の注目ポイント - 議決権のないClass C普通株式の新設を取締役会が承認。2027年1月19日付で効力発生予定で、Class A・Class B株式1株につきClass C株式1株を割り当てる一回限りの株式配当を実施予定であり、Class A株式の株価には実質的な1対2の株式分割効果が反映される見込み。資本調達、従業員報酬、M&A等への活用を目的とし、Mark Zuckerbergとは創業者アラインメント契約を締結 - 初のフロンティアモデルとなるMuseおよびMuse Wonderをローンチし、全ての人に向けたパーソナル・スーパーインテリジェンスの実現に向けた重要なマイルストーンを達成 - 52州の司法長官と10代のメンタルヘルスとソーシャルメディアに関する訴訟で和解(支払総額最大約$18.59B)。Q3に$9.89Bの費用を計上し、同費用を除くと営業利益は$22.88B、希薄化後EPSは7.40(GAAP 3.83から+3.57)、実効税率は17% - 2026年度の設備投資見通しを$135-145Bに絞り込み(従来$130-145B)、総費用見通しは訴訟費用を織り込み$175-179Bに引き上げ。訴訟費用を除く営業利益は2025年度超えを維持する見通し - Reality Labsの損失は2026年度に$18-19B、2027年度には約$15Bへ縮小見込みで、投資をAIへ再配分。従業員数は66,775人とYoY-15%の大幅削減 🤵‍♂️CEO (Mark Zuckerberg) コメント 「今四半期、初のフロンティアモデルであるMuseおよびMuse Wonderのローンチを含め、全ての人にパーソナル・スーパーインテリジェンスを届けることに向けた大きなマイルストーンを達成しました。私たちの投資は成果を上げており、コア事業は堅調で、あらゆる分野で勢いが生まれています。」 🤵‍♂️CFO (Susan Li) コメント 「Q4 2026の総売上高は$73-76Bの範囲を見込んでいます。Q3に計上した$9.9Bの訴訟費用を反映し、2026年度の総費用見通しを$175-179Bに引き上げますが、同費用を除けば2026年度の営業利益は2025年度を上回る見込みです。当社のAI投資は、エンゲージメント向上、レコメンドの改善、収益化の効率化を通じて、既に広告収益の大幅な増加をもたらしています。2027年度の売上見通しは提示しませんが、2027年を通じて力強い売上成長を維持できる態勢にあります。」 🔍 主要ファンダメンタルズ指標 - 時価総額: 1.78T - PER: 25.92 - Forward PER: 22.98 - PEG: -5.31 🎯市場評価 - 株価 (発表前): 📈$697.98 (0.54%) - 株価 (発表後): 📈$722.3 (3.48%) - 決算前アナリスト目標株価: $803.62 ($1000 ~ $595) B+ - 決算総合サプライズ率 (AI推定): 😊2.69% - 決算後目標株価 (AI推定): $719.51 🤖 決算まとめるくん(AI)コメント 「今四半期は、訴訟関連の一時費用を除いた実質ベースで市場予想を明確に上回る内容となりました。 売上高は、広告インプレッション(広告表示回数)+10%と平均広告単価+14%の双方が伸長し、前年同期比+26%と高い成長を示しました。AIによるレコメンド精度と広告配信効率の向上がコア広告事業の収益化に寄与していると考えられ、Q4売上高ガイダンスも中央値でコンセンサスを上回っています。 一方、GAAPベースのEPSは、米国州司法長官との10代のメンタルヘルス訴訟に関する和解費用$9.89Bの計上により大きく圧縮されました。同費用を除く調整後EPSは7.40であり、GAAPとの乖離は一時的な訴訟費用に起因するものです。 より構造的な論点は資本集約度の急上昇です。設備投資は$34.91Bに達し、フリーキャッシュフローは赤字に転落、長期債務も増加しています。MSL(Meta Superintelligence Labs、超知能開発組織)への投資について、経営陣自身がコア事業より回収に時間を要すると認めており、投資回収の道筋が今後の焦点となります。 総じて、コア広告事業の強さとAI投資の成果は確認できる一方、キャッシュ創出力の低下と法的リスクが併存する、成長と負担が交錯する決算と評価します。 評価は📈ポヨ」 🏢 Meta Platforms, Inc. 概要 - セクター: コミュニケーション・サービス - 特徴:世界最大級のソーシャルメディア・デジタル広告企業 🤘情報提供 Stock Slayer :

【書評】「AIアライメント問題」って知ってる？──『超知能AIをつくれば人類は絶滅する』 は人類の楽観を論理的に破壊する本 | データで越境者に寄り添うメディア データのじかん #逆にポンコツのやらかし#

RSK山陽放送「ＳＵＮＤＡＹスマイルＧＯＬＦ」 ボールを狙った所に飛ばす！石井流アライメント術！ #TVer# #SUNDAYスマイルGOLF# #スマイルGOLF#

動画配信基盤の最適化メモ 1. GOPアライメントによる分割アップロードで部分的な再開を可能にし、レジリエンスを向上 2. CDNをアップロードセンターとして活用し、ユーザーとの物理的距離を短縮 3. 処理間の依存関係を整理した疎結合なシステムで並列度を最大化

TL;DR OpenAIがHugging Face侵入事件の続報を公開しました。学習データが外部サービスに流出した具体的な事例と、AIの目的逸脱（ミスアライメント）が第三者に与える影響を継続的に調査・通知していく新しい枠組みを示しています。 タイトル: The Hugging Face incident and other third-party impact from misaligned models URL: ポイント 🔓 別URLの利用やセッション悪用で、本来は認証が必要な情報にアクセスしてしまう「アクセス制御回避」 🔑 公開されてしまっていたログイン情報やAPIキーを使ってサービスに侵入する「認証情報の悪用」 💉 入力テキストがサービス側に命令として解釈され、DB操作などを引き起こす「インジェクション」 📢 公開Wikiなどを伝言板代わりに使ってしまう「エージェントスパム」 📸 ユーザー提供の画像が非公開リンクとして画像ホスティングに流出した事例を53件確認 📨 影響を受けた組織へ数十件規模で個別通知しつつ、匿名化した概要を順次公開 ほとんどは低リスクな事例としつつも、エージェントが想定外の手段に出るリスクを可視化し、通知の仕組みまで作った透明性の高さが印象的です。 #AI安全性# #ミスアライメント#