# Neo4jの機能と実践的な使い方 🎨 ホワイトボードに描いた業務の絵が、ほぼそのままデータベースのスキーマになる——それがグラフモデリングの醍醐味です。 🏷️ タイトル: グラフモデリング手法(ホワイトボードモデル → 物理モデル) 🔗 URL: 📘 概要 グラフデータモデリングは、業務ドメインの「絵」を段階的に物理グラフモデルへ落とし込む手法です。Neo4jの公式ガイドは、概念モデル → 実装 → リファクタリングという流れと、RDBモデルからの移行、性能を高める設計の選択肢を体系的に示します。設計レビューで毎回問題になる論点に答えを与えます。 ⚙️ 機能の説明 モデリングは大きく次の段階で進みます。 ・概念設計: ドメインの実体を洗い出し、ノードと、それらをつなぐリレーションシップ(動詞)を決める ・実装: ホワイトボードの絵をそのままノード・ラベル・型・プロパティに対応づける ・リファクタリング: クエリパターンに合わせて反復的にモデルを改善する 最大の判断ポイントは、イベントを「中間ノードとして具象化(reify)」するか「直接エッジ」にするかです。 ・直接エッジ(`(:User)-[:ORDERED]->(:Product)`): 関係が単純で属性が少ないとき ・中間ノード(`(:User)-[:PLACED]->(:Order)-[:CONTAINS]->(:Product)`): 1つのイベントに複数の参加者・明細・状態・時刻が絡むとき 命名は「ラベル=単数の名詞」「リレーションシップ型=大文字スネークの動詞」を基本にします。 🛠️ 実践的な使い方 注文に「数量」「価格」「ステータス」が必要なら、関係ではなく中間ノードに具象化します。 ```cypher CREATE (u:User {id: 'u1'})-[:PLACED]->(o:Order {id: 'o1', status: 'shipped', at: datetime()}) CREATE (o)-[li:CONTAINS {qty: 2, price: 9.99}]->(p:Product {sku: 'sku1'}) ``` 不正検知では「口座・デバイス・電話番号・住所」をノード化し、共有関係をエッジで張ります。 ```cypher MATCH (a1:Account)-[:USED]->(d:Device)<-[:USED]-(a2:Account) WHERE a1 <> a2 RETURN a1, a2, d ``` 💡 ユースケース 不正検知で共有デバイス・住所からリングを発見する、ECで注文を中間ノード化して明細・配送・返品まで追う、といった「業務の絵=スキーマ」の設計に直結します。 ⚠️ 注意点 ・「すべてを中間ノードに」も「すべてを直接エッジに」も極端です。クエリパターン(どう辿るか)から逆算して決めます。 ・後から大量データのリファクタリングは高コストです。主要クエリを先に想定してモデルを固めましょう。 ・RDBの正規化の癖でテーブル相当のノードを作りすぎると、トラバーサルが冗長になります。 #Neo4j# #DataModeling#

# Elasticsearchの機能と実践的な使い方 📦 「テーブル設計を固めてから」ではなく、JSONを投げ込んだ瞬間からデータが扱える。Elasticsearchのインデックスは、検索もスケールも前提にしたドキュメント指向データストアです。 🏷️ タイトル: インデックス(Index)/ ドキュメント指向データストア 🔗 URL: 📘 概要 インデックスはElasticsearchにおけるデータ格納の基本単位で、あなたが操作する論理的なまとまりです。データは1件ずつJSONの「ドキュメント」として格納され、各ドキュメントはフィールドのキーと値の集合に加えて`_index`・`_id`・`_version`といったメタデータを持ちます。 ⚙️ 機能の説明 ・実データは`_source`フィールドに入り、`_index`(所属インデックス)・`_id`(一意ID)・`_version`(バージョン)などはシステム管理のメタデータです。 ・各フィールドの型や、どうインデックス・検索するかは「マッピング(mapping)」で決まります。`text`(全文検索向け)・`keyword`(完全一致・集計向け)・`integer`・`date`などを使い分けます。 ・マッピングを明示しなくても、投入されたJSONから型を推測する「ダイナミックマッピング」が働くため、新しいフィールドを後から足してもそのまま取り込めます。 ・内部では1つのインデックスが複数の「シャード」に分割され、ノード間に分散配置されます。シャード内のデータは不変(immutable)な「セグメント」として書かれ、レプリカシャードによって冗長性とスケールを確保します。 ・`index.number_of_shards`(作成時固定)、`index.number_of_replicas`(後から変更可)、`index.refresh_interval`(既定1秒)などの設定でインデックスの挙動を制御します。 🛠️ 実践的な使い方 ドキュメント1件の投入はシンプルです。 `POST products/_doc/p-1001` `{ "name": "ワイヤレスイヤホン", "price": 8900, "stock": 120, "category": "audio" }` 大量投入には`_bulk` APIを使い、1リクエストで多数の操作をまとめます。 `POST products/_bulk` `{ "index": { "_id": "p-1001" } }` `{ "name": "ワイヤレスイヤホン", "price": 8900 }` `{ "index": { "_id": "p-1002" } }` `{ "name": "USB-Cケーブル", "price": 1200 }` 新フィールド(例: `sustainability_score`)を後から含めて投入しても、ダイナミックマッピングがそのまま受け付けます。 💡 ユースケース ECサイトの商品カタログを`products`インデキスとして作り、1商品=1JSONドキュメント(商品名・価格・在庫・カテゴリ・説明文)で管理する構成が定番です。日次バッチで`_bulk`を使って数十万件を一括投入し、RDBのスキーマ変更を待たずに新しい属性を追加していけます。 ⚠️ 注意点 ・一度決めたフィールドの「型」は後から変更できません。型を変えたい場合は新インデックスへの再インデックス(reindex)が必要です。 ・頻繁に同じドキュメントを更新する用途には通常のインデックスを、追記中心の時系列データにはデータストリームを使うのが推奨です。 ・シャードの数とサイズはクエリ速度とクラスタ安定性に直結します。小さすぎる大量のシャードは避け、適切なサイズ設計を意識してください。 #Elasticsearch# #データモデリング#

# Palantir Foundryを学ぶ 🚀 「閉域網のオンプレOracleやSAPに、ファイアウォールに穴を開けずどう繋ぐ？」エンタープライズ導入の最初の関門を突破するのがData Connectionです。 📌 タイトルと機能のURL タイトル: Data Connection URL: 📝 概要 Data Connectionは、外部システムのデータをFoundryに同期し、データ統合・モデリング・オントロジーの各レイヤーで利用できるようにするアプリケーションです。Webhookやデータエクスポートによる外部システムへの書き戻し（アウトバウンド）にも対応します。多数のソースタイプに対応し、認証・スケジュール・監視といった煩雑な部分を抽象化して、シンプルな画面からパイプラインを構成できます。 🔧 機能の説明 Foundryのデータ接続は、3つの原則に沿って標準化されています。 ・堅牢性: 自動リトライ、小さなバッチ単位での処理、ヘルス監視による障害警告を備えます。データは「最も原始的なソースからそのまま（as-is）」取り込み、Foundryのバージョン管理されたパイプラインを唯一の正（single source of truth）とすることで、外部前処理に依存しません ・拡張性: データベース、FTPS、HDFS、S3、SFTPなどの標準連携に加え、新しいソースタイプにも対応できます。スケジューリングやオーケストレーションといった中核機能は標準化されているため、接続固有の調整だけで済みます ・使いやすさ: 複雑さを抽象化し、認証・スケジュール・監視を手作業で管理する代わりに、シンプルなインターフェースで構成できます ・主要な構成要素として、エージェントのセットアップ、ソース構成、バッチ／ストリーミングの同期、Webhook、エクスポートを備えます 🛠 実践的な使い方 ・ワークスペースのナビゲーションまたはアプリケーションポータルからData Connectionにアクセスします ・接続先（ソース）を構成し、バッチまたはストリーミングの同期（sync）を設定して、データを「そのまま」取り込みます ・取り込み後の変換はFoundry側のパイプラインに集約し、ソース側では前処理を行わないようにします ・書き戻しが必要な場合は、Webhookやエクスポートでアウトバウンド連携を構成します 🎯 ユースケース ・閉域網のオンプレOracle/SAPを、エージェント方式（アウトバウンドのみで成立）でFW穴あけなしに接続 ・データベース・SFTP・S3など多様なソースからの定期バッチ取り込み ・処理結果を外部システムへ書き戻すアウトバウンド連携 ⚠️ 注意点 ・データはソースから「as-is」で取り込み、変換はFoundryのパイプラインに寄せる設計が前提です。ソース側で加工すると追跡性が損なわれます ・エージェントやソースの構成には、ネットワーク・認証の適切な準備が必要です ・X APIなど外部サービスの上限や規約は仮定せず、接続先ごとの制約を事前に確認してください #PalantirFoundry# #DataIntegration#

# Palantir Foundryを学ぶ 🚀 データセットを「業務オブジェクト」に変える最初の一手。オブジェクトタイプの設計が、後段アプリの性能とUXをほぼ決めます。 📌 タイトルと機能のURL タイトル: オブジェクトタイプ URL: 📝 概要 オブジェクトタイプは、現実世界のエンティティやイベントのスキーマを定義するものです。1件の実体は「オブジェクトインスタンス」(例: 従業員「Melissa Chang」)、複数のまとまりは「オブジェクトセット」(例: すべての在籍従業員)として扱います。これはデータセットが行と絞り込み行集合を扱う構造に対応します。 🔧 機能の説明 ・主キーと同一性: オブジェクトはインスタンスを一意に識別する主キーを必要とします。データソースをオブジェクトタイプにマッピングすることで、アプリ上でオブジェクトを生成・表示できます。 ・プロパティ: オブジェクトの特性を定義します。編集専用プロパティ、必須プロパティ、複数タイプで再利用する共有プロパティなどの構成が可能です。 ・プロパティ型: 時系列データ、地理空間情報、構造体(struct、入れ子の複合プロパティ)など多様な型をサポートします。 ・表示と検索: タイトル/表示の設定や検索インデックスにより、アプリ内での発見性を高めます。 ・値型(Value Types): バージョン・権限・制約を備えたカスタム値型で、オントロジー全体に標準化された表現を与えられます。 🛠 実践的な使い方 ・従業員ディレクトリや基幹データを「従業員」オブジェクトタイプに接続し、生のデータセットを操作可能なオントロジーのインスタンスへ変換します。 ・主キー設計を最初に固め、検索インデックスを適切に張ることで、後段アプリの検索性能とUXを担保します。 ・構造体プロパティで階層データを自動マッピングし、共有プロパティと組み合わせて再利用性を高めます。 🎯 ユースケース ・顧客マスタを「顧客」オブジェクト化し、全社で一意の顧客像を扱う。 ・センサーを持つ設備を時系列プロパティ付きでモデリングし、稼働履歴を保持する。 ・拠点・店舗を地理空間プロパティでモデリングし、地図上での集計・検索を可能にする。 ⚠️ 注意点 ・主キー設計・プロパティ型・検索インデックスの選択が、後段のアプリ性能とUXをほぼ決定します。最重要のモデリング判断として慎重に設計してください。 ・オブジェクトを生成・表示するには、データソースをオブジェクトタイプへ正しくマッピングすることが前提になります。 #PalantirFoundry# #Ontology#

Aureka BiotechnologiesがUS$100 millionのSeries Bを調達した（ million近くに達したという。Granite Asiaが第1トランシェを単独で拠出し、後続トランシェは戦略投資家が主導、HighLight Capital（HLC）と既存株主のMPCi、NRL Capitalも参加した。 資金の使い道が興味深い。次世代の生物学的基盤モデルを大規模に訓練し、de novo分子設計（既存分子の改変ではなく、ゼロから候補を設計すること）、生体構造モデリング、機能予測を強化する。同時にLab-in-the-Loop（モデルの仮説を実験で検証し、その結果を次の学習へ戻す仕組み）も拡張する。 ここでいう実験は、最後に答え合わせをするだけの工程ではない。AIエージェントが分子を生成し、実験を設計し、単一細胞の機能スクリーニングや高スループット検証で確かめ、結果をモデルへ戻す。モデル→実験→データ→更新の循環そのものを、薬物探索の基盤にしようとしている。 Aurekaの生物学的基盤モデルAuraIDEは、社内のタンパク質共進化データで訓練されている。オープンソース版のOpenDDEは、抗体と抗原の立体構造予測を測る公開ベンチマークFoldBench v1の第三者評価でも紹介された。 創業者兼CEOのWeian Zhaoは、最終的に生物学的ワールドモデルを目指すと説明している。これは分子の静的な構造を当てるだけでなく、分子同士の相互作用や設計結果をシミュレーションし、AIエージェントが薬の設計を計画、実行、反復するモデルだ。 「モデル単体の性能」を競う段階から、「実験データをどう継続的に生み、モデルと薬の候補を同時に更新するか」を競う段階へ。Aurekaの発表は、AI創薬の本体がモデルではなく、モデルと実験を閉ループで接続するR&Dインフラへ移りつつあることを示していると思う。

LLMを「ゼロから」自分で組んで訓練すると、中で何が起きているかが本当に分かります🛠️ 単一GPUで動く、完全な教育用実装の登場です。 タイトル: FareedKhan-dev/train-llm-from-scratch URL: 🛠️ 概要 「Attention is All You Need」に基づき、TransformerをPyTorchでゼロから実装する教育用リポジトリです。単一のGPUで、数百万〜十億パラメータ規模の自分だけのLLMを訓練できることを掲げています。 ❓ 解決する課題 LLMは当たり前になりましたが、ゼロから訓練して内部を手を動かして理解する機会は限られています。 ・既製フレームワークを使うだけでは、Transformerの仕組みが見えにくいままです ・事前学習から事後学習（アライメント）までの一連の流れを通しで体験できる教材が求められていました 💡 内容と構成 LLMのライフサイクル全体をカバーします。 ・データの取得と前処理（The Pileから） ・コアなTransformerアーキテクチャの実装（埋め込み・アテンション・FFN） ・モデルの訓練（分散処理DDPにも対応） ・事後学習のアライメント：SFT、報酬モデリング、PPO、DPO、GRPO ・テキスト生成と推論 コードはsrc/models・scripts・data_loader・configs・ui（Streamlit）に整理。スタックはPyTorch、tiktoken、HDF5、NumPyです。 🌍 ユースケース / 対象読者 LLM訓練の仕組みを実地で学びたい開発者・研究者向けです。GPUが限られた人（13Mパラメータから）から、エンタープライズGPUで数十億パラメータを狙う人まで対応します。 #LLM# #機械学習#

深層学習の歴史を振り返ると、AlexNetが「手作業で工程を分けるより、入力から出力まで丸ごと1つのモデルで学習させる(end-to-end)方が強い」ことを示したのが革命の始まりだった。ところが生成AIだけはこの流れに乗り切れていない、という指摘から始まる論文が公開された(https://arxiv[.]org/html/2607.27372v1)。 拡散モデルや自己回帰モデル(要素を1つずつ順番に予測して生成するモデル)など、今の生成AIはどれも「生成の手順を細かいステップに分解する」ことで動いている。拡散モデルなら、ノイズだらけの画像を少しずつクリアにしていく数百ステップだ。これは「1つの入力に無数の正解がありうる」多峰性(複数の正解パターンがある)分布を、各ステップではほぼ一意な予測に絞り込むための工夫だが、この分解のせいで学習時(1ステップだけ予測)と推論時(数百ステップ繰り返す)でやっていることが食い違い、end-to-end(学習と推論の手順を完全一致させる訓練方式)にはなっていなかった。 この論文の「Explorative Modeling(探索的モデリング)」は逆転の発想で、生成の手順は分解せず学習ループ自体を分解する。各学習ステップでモデルに複数の候補を生成させ、正解データに一番近いものだけを使って学習する(best-of-k方式)。候補が1個だとモデルの最善手はすべての正解の平均になりぼやけた画像しか出せないが、候補をk個に増やすとそれぞれが別々の正解パターンを担当できるようになる。論文中の犬画像の比較が分かりやすく、候補1個ではほぼ完全にぼやけた模様、候補50個まで増やすと元画像とほぼ見分けがつかない鮮明さになっている。 この「探索の量」はパラメータ数・データ量に続く第三のスケーリング軸として機能し、画像・動画・言語のすべてで性能が単調に向上する。しかも効果はスケールが大きくなるほど強く、データ量を増やした場合の改善幅は7%から36%へ、モデルサイズを増やした場合は13%から23%へ拡大した。効率面ではFLOP(計算量)効率が4.1倍、サンプル効率が6.2倍、パラメータ効率が47%改善し、最強の画像生成レシピではImageNet 256×256でガイダンスなし1.43 FID(生成画像の品質指標、小さいほど良い)というほぼ最先端の性能に到達している。動画生成では過学習も抑えられ、FVD(動画品質指標、小さいほど良い)の最良値が探索なしの37.5から探索ありで30.0まで改善した。 さらにロボット制御タスクでは単体のend-to-end生成モデルとしても機能し、拡散モデルベースの手法と同等の性能を推論ステップ数16分の1から256分の1で達成した。数百回繰り返していた予測が、たった1回の計算で済むことになる。

香港大学や中国人民大学など国際共同チームが、LLMの内部を脳のように機能地図化する手法NeuroCogMapを発表した(https://arxiv[.]org/html/2607.00397v1)。 これまでの解釈可能性研究は、個々のニューロンを追う局所的な手法か、埋め込み全体を見る大域的な手法のどちらかに偏りがちだった。NeuroCogMapは認知神経科学のfMRI研究を手本に、脳を機能ごとの領域に分割するのと同じ発想でLLMを解剖する。モデル内部の活性化をスパースオートエンコーダ(SAE、多義的なニューロンをより解釈しやすい特徴量に分解する手法)で抽出し、似た反応パターンの特徴量同士をクラスタリングして「パーセル」と呼ぶ機能単位を作る。分割数を10から300まで試して270個で品質スコアが最大になり、さらに5,683本のLLM関連論文から抽出した45種類の認知能力に紐づけ、知覚、表象、抽象化、応用という4階層のヒエラルキーにまとめ上げた。Gemma2-2B、Gemma2-9B-IT、Llama-3.1-8Bの3モデルで検証し、この構造がモデルをまたいである程度共通していることも示している。 このマップの面白さは病理診断に使える点。正常な応答と失敗した応答をパーセル活性化や回路のつながり方で比較し、ハルシネーション、社会的バイアス、拒否失敗(有害な指示を拒めない)、迎合(sycophancy)という4つの失敗の内部の違いを可視化した。とくにハルシネーションは単一の原因ではないと示した点が興味深い。誤解を誘う前提を含むTruthfulQAでは怪しい情報を検証する高次の評価制御が働かず連想的な検索が暴走することが原因だったのに対し、単純な事実質問のNQ-Openでは事実検索を担う複数のパーセル同士の連携が崩れることが原因だった。同じ嘘でも内部で起きていることは別物というのが興味深い。 このシグネチャは検出や介入にも使える。ハルシネーション検出はGemma2-2Bで平均AUROC(検出精度を0から1で表す指標、1に近いほど高精度)0.681、Gemma2-9B-ITで0.840を達成しSelfCheckGPTなど既存手法を上回った。拒否失敗の検出はさらに強力で、AdvBenchとJBB-Behaviorsで平均AUROC0.990から0.992とほぼ天井に近い。さらに検出したパーセルをsteering(内部活性化を強制的に増減させる介入)で操作し、Gemma2-2BのAdvBenchでの拒否成功率を38.3%から98.6%まで押し上げることにも成功した。 もう一つの軸が人間の脳との対応。物語の朗読を聞かせたときの脳活動を記録したLeBelのfMRIデータを使い、パーセル活性化から皮質の血流反応(BOLD信号)を予測させたところ、Word2VecやBERTなど既存の言語特徴量より高い予測精度を示した。特に精度が高かったのは意味統合や注意制御を担うDefaultネットワークやFrontoparietal Controlネットワークといった高次の連合野で、対応するパーセルの機能説明も脳領域の認知プロファイルと意味的に近かったという。 内部シグネチャを古典的な意思決定モデルの改良に使う実験も行っており、二段階の意思決定課題でLLMのパーセル構造から見えた潜在戦略を組み込むと、既存モデル(AIC268.77)や行動データのみから発見したモデル(268.73)よりも低いAIC(値が小さいほど当てはまりが良いとされる指標、262.45)を達成した。 個々のニューロンでも埋め込み全体でもない中間スケールで解釈するという発想が、診断・介入・脳との対応・認知モデリングまで一気通貫でつながっているのが野心的だと思う。