「1文字ずつ」しか喋れないAIは、もう古いのかもしれません🌀 画像生成で大成功した拡散モデルを、ついに言語生成へ持ち込んだ研究が登場しました。 タイトル: dLLM: Simple Diffusion Language Modeling URL: 🌀 概要 本研究は、画像生成でおなじみの「拡散モデル」の考え方を、言語モデリングに応用したフレームワーク「dLLM」を提案しています。テキストを左から右へ順番に作るのではなく、ノイズ（マスク）まみれの状態から、複数ステップをかけて文章全体を少しずつ整えていく「反復的な精緻化」によって生成します。名前のとおり、複雑な仕掛けを足さずに、できる限りシンプルに実現することを重視しているのが特徴です。 ❓ 解決する課題 現在のLLMの主流は、トークンを1つずつ予測していく「自己回帰（Autoregressive）」方式です。しかしこの方式には弱点があります。 ・逐次生成のため本質的に並列化しにくく、長文ほど生成が遅くなりがちです ・一度書いたトークンを後から推敲・修正する仕組みがなく、全体を見渡して整えるのが苦手です 拡散ベースの生成は、これらの制約を別の角度から解きほぐす可能性を持っています。 💡 方法論と提案手法 dLLMは、言語生成を「離散拡散（Discrete Diffusion）プロセス」として定式化し直します。 ・マスクされた、あるいはノイズの乗ったトークンからスタートします ・複数ステップにわたって段階的にアンマスク（デノイズ）し、クリーンな系列へ復元します ・破損した入力から正しいトークンを予測するよう、ニューラルネットワークを訓練します ・複数トークンを同時に生成できる「並列デコーディング」に対応します 新規の特殊なネットワークを設計するのではなく、既存のTransformerにそのまま載せられる点が実装上の大きな利点です。 🌍 ユースケース / 実験結果 複数のモデル規模・系統で有効性が確認されました。 ・エンコーダ系：ModernBERTを拡散方式で訓練し、分類ベンチマークで競争力ある結果を達成 ・デコーダ系：QwenやLlamaをベースにした拡散モデルでも、言語理解タスクで実用的な性能を確認 ・並列デコーディングにより、標準的な自己回帰方式より高速な推論を実現 ・0.6Bから、より大きなパラメータ領域まで一貫して有効性を確認 高速応答が求められるチャットや、推論コストを抑えたい大規模サービスでの活用が期待されます。 #拡散モデル# #LLM#

【地方創生を、本気で前に進めたい】 この度、熊本県甲佐町のプロポーザルを受託し、 「Webスキル習得 × 移住就職支援プロジェクト」をスタートすることになりました。 ▼プレスリリースはこちら▼ これまで6年間、デジタル人材育成事業を通じて3,000名以上の受講生と関わり、岐阜や香川など様々な地域に拠点を出して、地方創生に関わってきました。 その中で感じていたのは、 「地方に人が来ない」のではなく、 「地方で生きていく選択肢が見えない」 ということです。 「地方移住」という言葉はよく聞きます。 でも実際には、 ・仕事はどうするのか ・収入はどうするのか ・家族は納得するのか ・移住後に孤立しないか こうした不安が解消されない限り、地方への移住はハードルが高く、なかなか実現しません。 だから僕たちは、移住だけを支援するのではなく、 まずはスキルを身につける。 そして仕事をつくる方法を伝え、支援する。 その先に移住がある。 という順番を大切にしています。 実際に大分県では過去2年間、このモデルで【71名】の移住実績を作ることができました。 そして今回の挑戦は、【人口約1万人】の熊本県甲佐町です。 正直、甲佐町は全国的な知名度が高い町ではありません。むしろ、ほとんど知られていないレベルだと思います。 でも、だからこそ今回の取り組みには大きな価値があると確信しています。 人口1万人規模の町でも、 デジタルスキルを学び、 仕事をつくり、 移住し、 地域に定着する。 そんな循環を生み出すことができれば、日本中の地方創生に横展開できる可能性があります。 実は全国には、甲佐町と同じような人口規模の自治体が500以上あり、だからこそ、この町で成功モデルを作ることに大きな意味があると考えています。 今回の目標は、2027年3月までに【5名】の移住定着。 数字だけを見ると少ないかもしれません。 でも、人口1万人規模の町にとって、最新のデジタルスキルを習得した人材が地域に入り、仕事をつくり、地元の方々と一緒に町を盛り上げていくことには、大きな意味があります。 地方創生は、派手なイベントや補助金だけでは続きません。 人が育ち、 仕事が生まれ、 地域に根付く。 その循環を作れるかどうかだと思っています。 BREAKの理念は「Break The Border」。 夢や目標を実現する妨げとなる壁を壊し、突破するきっかけとサポートをする存在。 そしてこれからは、個人だけでなく地域のBorderも超えていきたい。 本当に作りたいのは、単なる移住実績ではありません。 人口1万人規模の町でも再現できる、新しい地方創生モデルであり、移住者と地元の方々が一緒になって地域を盛り上げられる基盤です。 もしこのモデルが成功したら、次は全国の自治体へ広げていきます。 地方で挑戦したい人。 働き方を変えたい人。 新しい人生をつくりたい人。 そんな人たちの選択肢を増やせるよう、株式会社BREAKは今後も地方創生に本気で取り組んでいきます。 近日中にオンライン説明会も実施予定です😁 少しでも興味を持っていただけたら、ぜひこのポストの拡散をお願いしますm(_ _)m！