# Palantir Foundryを学ぶ 🚀 数十億行のテーブルを毎日まるごと再計算していませんか。差分だけを処理すれば、コンピュート費は劇的に下がります。 📌 タイトルと機能のURL タイトル: インクリメンタル変換 URL: 📝 概要 インクリメンタル変換は、前回の実行以降に追加・変更されたデータだけを処理することで、効率的なデータ処理を実現する仕組みです。データセット全体を再処理する代わりに、差分のみを扱います。`@incremental()`デコレータを付けることで有効になり、入力の変化パターンに応じてインクリメンタル実行とスナップショット実行を自動的に切り替えます。 🔧 機能の説明 `@incremental()`デコレータは、トランスフォーム関数をラップして差分処理の能力を付与します。 ・標準の入出力オブジェクトを、`IncrementalTransformInput` / `IncrementalTransformOutput` / `IncrementalTransformContext` といったインクリメンタル版に変換します ・入力の読み取りモードは、`added`(前回以降の新規行・既定)/ `previous`(前回実行時の状態)/ `current`(現在のデータセット全体)を選べます ・出力の書き込みモードは、`modify`(既存出力に追記)/ `replace`(出力全体を上書き)があり、インクリメンタル時の既定は`modify`、スナップショット時は`replace`です ・主なパラメータには、`require_incremental`(差分実行不能なら失敗させる)、`semantic_version`(値を上げるとスナップショット再構築を誘発)、`snapshot_inputs`(特定入力を差分制約から除外)、`strict_append`(追記専用の安全性を強制)などがあります 🛠 実践的な使い方 ・追記中心の大規模ログ・トランザクションテーブルに`@incremental()`を付け、毎日のフル再計算を差分処理に置き換えます ・ロジックを変更したら`semantic_version`を上げ、安全にスナップショット再構築を走らせます ・全件再処理を許したくない場合は`require_incremental`で差分実行を強制します ・厳密な追記保証が必要な場面では`strict_append`を使います 🎯 ユースケース ・数十億行テーブルの毎日フル再計算によるコンピュート費高騰を、差分処理で大幅削減 ・大規模案件の採算性を左右するコスト最適化の中核技術として活用 ・追記専用の取引履歴・イベントログの日次取り込み ・上流が追加のみ(APPEND/UPDATE)で増えるパイプラインの効率化 ⚠️ 注意点 ・プレビュー機能は常に非インクリメンタルで実行されます ・すべての非スナップショット入力が「追加のみ(APPEND/UPDATEトランザクション)」である、入力リストが安定している、`semantic_version`が変わっていない、などの要件を満たさない限り、自動的にスナップショットモードで実行され出力が全置換されます ・更新・削除された入力ファイルはスナップショット入力としてマークする必要があります ・`previous`モードは前回出力の構造に一致するスキーマ検証を要します ・トランスフォームのロジックはインクリメンタルとスナップショットの両方の実行経路に対応している必要があります #PalantirFoundry# #DataEngineering#

# Palantir Foundryを学ぶ 🚀 ノーコードでは届かない複雑なロジックを、ソフトウェア工学の品質管理ごとデータ基盤に持ち込む。それがCode Repositoriesです。 📌 タイトルと機能のURL タイトル: Code Repositories(Pythonトランスフォーム) URL: 📝 概要 Code Repositoriesは、Foundry内で本番品質のコードを作成・協働するためのWebベースの統合開発環境(IDE)です。基盤にあるGitリポジトリをブラウザのUIから操作でき、コマンドライン無しでチーム開発を進められます。プラットフォーム固有の機能を備え、データエンジニアリングにソフトウェア開発の作法をそのまま適用できます。 🔧 機能の説明 バージョン管理とコラボレーションが中核です。 ・ブランチ作成・コミット・リリースタグ付けといったGit操作をWeb UIから実行できます ・プルリクエスト(PR)でコードレビューを行い、権限は「高度に設定可能」でレビュー必須化などの品質保証を支えます ・IntelliSense、リンティング、エラーチェック、文脈に応じたヘルプダイアログがすべてのリポジトリ種別で利用できます ・Transformsリポジトリでは、Python・Java・SQLでのデータ変換ロジックを記述し、プレビューとデバッグが可能です ・FunctionsリポジトリはオントロジーをネイティブにサポートしTypeScript/Pythonで低レイテンシのビジネスロジックを実装できます 🛠 実践的な使い方 ・PySparkを用いて、数十億行規模の名寄せや複雑な業務ルールをコードで実装します ・PRレビューを必須に設定し、マージ前に第三者の確認とCIチェックを通すことを強制します ・ユニットテストを組み込み、変換ロジックの回帰を防ぎます ・Functionsリポジトリでは、オントロジーのデータ型に基づくオートコンプリートを活かして安全にロジックを記述します ・モデル開発リポジトリで機械学習ワークフローもプラットフォーム内に取り込みます 🎯 ユースケース ・Pipeline Builderでは表現しきれない複雑な名寄せ・業務ルールをPySparkで実装 ・「本番直編集によるデグレ」を、レビュー必須化とブランチ運用で構造的に排除 ・派生KPIや検証ロジックをFunctionsとして実装し、各アプリから再利用 ・MLモデルの学習・推論コードをガバナンス下で管理 ⚠️ 注意点 ・ドキュメントの日本語訳は機械生成で未検証である旨が記載されており、ローカライズ内容には精度上の限界がある可能性があります ・リポジトリ種別(Transforms/Functions/Model)ごとに対応言語や用途が異なるため、目的に合った種別を選ぶ必要があります ・プロコード環境ゆえ、レビュー・CI・テストの運用ルールを組織として整備しないと品質管理の効果が出ません #PalantirFoundry# #DataEngineering#

# Snowflakeの機能と実践的な使い方 🚀 「サイズを1段上げると速くなるけど、コストは大丈夫?」——Snowflakeのコスト最適化は、この問いに正しく答えられるかで決まります。Virtual Warehouseのサイズと自動停止の仕組みを押さえましょう。 📌 タイトルと機能のURL タイトル: Working with Virtual Warehouses URL: 📝 概要 Virtual Warehouseは、SQLクエリやINSERT/UPDATE/DELETE/COPYなどのデータ操作に必要なCPU・メモリ・一時ストレージを提供する計算リソースのクラスタです。起動中のみクレジットを消費し、サイズ変更や自動停止を柔軟に設定できます。ワークロードごとにサイズと自動停止を設計することが、Snowflakeコスト最適化の第一歩です。 🔧 機能の説明 ウェアハウスのサイズと課金の特徴は次の通りです。 ・サイズはX-Smallから6X-Largeまであり、1段大きくするごとに計算リソースとクレジット消費が2倍になります。X-Small=1、Small=2、Medium=4、Large=8、X-Large=16、2X-Large=32…6X-Large=512クレジット/時です。 ・課金は秒単位で、起動・再開のたびに最低60秒分が課金されます。例えばX-Largeを61秒動かすと約0.271クレジット、1時間フルで動かすと16クレジットです。 ・サイズが大きいほど大規模・複雑なクエリは速くなりますが、小さく単純なクエリは必ずしも速くなりません。 ・標準ウェアハウスのほか、ML学習など大きなメモリを要する処理向けにSnowpark-optimizedウェアハウスもあります。 🛠 実践的な使い方 ・`AUTO_SUSPEND`(既定で有効)で一定時間アイドルなら自動停止、`AUTO_RESUME`(既定で有効)でクエリ到着時に自動再開させ、待機中のクレジット浪費を防ぎます。 ・`CREATE WAREHOUSE etl_wh WAREHOUSE_SIZE = XLARGE` のように作成し、アドホック分析用は `WAREHOUSE_SIZE = SMALL AUTO_SUSPEND = 60` で「使った分だけ課金」にします。 ・`INITIALLY_SUSPENDED = TRUE` を付けると、作成直後は停止状態にできます。 ・ウェアハウスは稼働中でもサイズ変更でき、重い処理の直前だけ一時的に大きくする運用も可能です。 🎯 ユースケース ・日次バッチをX-Largeで一気に終わらせる。1段上げると速度約2倍・所要時間半分になるため、同じクレジットでも処理時間を短縮できます。 ・アドホック分析用ウェアハウスをSmall + AUTO_SUSPEND=60秒にし、誰も使っていない時間は課金ゼロにする。 ・データロード用は小〜中サイズで十分なケースが多く、ファイル数・サイズに応じて見直す。 ⚠️ 注意点 ・再開のたびに最低60秒課金されるため、極端に短いAUTO_SUSPEND(数秒)はかえって起動・停止を頻発させ非効率になることがあります。 ・大きいサイズは小さなクエリには無駄です。「遅いクエリにはサイズアップ」が基本で、すべてを大きくすればよいわけではありません。 ・データロード性能はウェアハウスサイズよりファイルの数とサイズに依存します。サイズアップ前に並列化を検討します。 #Snowflake# #DataEngineering#

🏗 毎日数ペタバイトを取り込む数万件のジョブを、データ提供を一切止めずに丸ごと移行する——。Metaが「シャドウ→逆シャドウ→クリーンアップ」の3段階でレガシーを100%廃止した実戦記です。 タイトル: Migrating Data Ingestion Systems at Meta Scale URL: 📝 概要 Metaは世界最大級のMySQL展開から、毎日数ペタバイトのソーシャルグラフデータをデータウェアハウスへ増分取り込みしています。本記事は、その数万件の取り込みジョブを、分析・レポーティング・MLの各パイプラインを止めずに、新しいセルフマネージド型サービスへ移行した方法を解説します。 ❓ 解決する課題 レガシーは顧客（チーム）所有のパイプラインで、小規模では有効でもハイパースケールで不安定でした。ますます厳しくなるデータ到着時刻の要求を満たしつつ、組織全体へのデータ提供を止めずに移行する必要がありました。 💡 方法論と提案手法 3フェーズのライフサイクルで移行します。 ・シャドウ：本番前環境で本番データを消費しつつ隔離テーブルへ書き込み、本番ジョブとの行数・チェックサムの不一致を継続監視します ・逆シャドウ：シャドウジョブを本番テーブルへ昇格させ、元の本番ジョブをシャドウへ。両系統の出力を比較し続けて品質シグナルを得つつ、必要なら即ロールバックします ・クリーンアップ：整合性を確認後、旧ジョブを廃止します ・各ジョブを、差異ゼロ・ランディング遅延・リソース・カスタム基準の4軸で検証し、CDC（変更データキャプチャ）でフルダンプ・デルタ・ターゲットの各テーブルを保持します 🎯 ユースケース 大規模なデータ取り込み基盤の移行、CDCパイプラインの段階的な切り替え、ゼロダウンタイムでのシステム置換の設計に役立ちます。 📊 実績 ・ワークロードの100%を移行し、レガシーシステムを完全に廃止しました ・ジョブの状態シグナルをScubaへ継続送信し、各ジョブを監視してステージ間で自動昇格/降格する移行ツールで、数千件の同時移行を管理しました ・不良パーティションをメタデータでフラグし、下流ジョブへの伝播を防いでアラートを発火させました ・移行容量の制約に対し、旧システムが配信したスナップショットを初期値に再利用してフルダンプ負荷を削減し、生まれたデータ品質解析ツールは移行後もリリース検証で使われ続けています #DataEngineering# #DataInfrastructure#

# Learning Palantir Foundry 🚀 Put business logic right on the ontology. Functions cure the "numbers don't match across departments" problem by centralizing logic in one place. 📌 Title and Feature URL Title: ファンクション URL: 📝 Overview Functions let you write server-side logic that executes in isolated environments, powering operational apps like dashboards and decision-support tools. They are designed to work with Foundry ontologies, so they can read object properties, traverse links, and perform flexible ontology edits. 🔧 How It Works - Supported languages: TypeScript (full feature support) and Python (beta, with growing support especially for serverless and deployed execution). - Serverless execution: spins up on demand when invoked and bills only during execution, with a 60-second total wall-clock timeout (30s CPU plus a 30s network buffer). Multiple versions can run simultaneously, making upgrades safer. - Deployed execution: reserves dedicated resources for cases serverless cannot meet, runs a single version at a time, and bills continuously while deployed. - Capability differences: ontology read/write, Workshop integration, and external API calls work in both languages. Pipeline Builder is Python, while model embedding and semantic search are TypeScript. 🛠 Practical Usage - Derived properties: display function-computed values as table columns. - Function-backed Actions: implement complex edits spanning multiple objects. - Workshop integration: run functions to compute or display variables. - API gateway: invoke query functions programmatically to reuse the same logic everywhere. 🎯 Use Cases - Implement derived-KPI logic once and return identical results to Workshop, OSDK, and the API. - Query external systems to enrich ontology objects. - Build complex validation or bulk updates as function-backed Actions. ⚠️ Caveats - The 60-second timeout applies uniformly across execution modes, so optimize for efficiency. - Available capabilities depend on the invocation context (for example, model embedding and semantic search are TypeScript only), so decide on language early. #PalantirFoundry# #DataEngineering#

# Palantir Foundryを学ぶ 🚀 ビジネスロジックをオントロジーに常駐させる。ファンクションは「部門間で数字が合わない」問題を、ロジックの一元化で根治します。 📌 タイトルと機能のURL タイトル: ファンクション URL: 📝 概要 ファンクションは、隔離された環境でサーバーサイドのロジックを実行する仕組みです。ダッシュボードや意思決定支援といったオペレーショナルアプリを支えます。Foundryのオントロジーと連携して動くよう設計されており、オブジェクトのプロパティ読み取り、リンクの走査、柔軟なオントロジー編集が行えます。 🔧 機能の説明 ・対応言語: TypeScript(フル機能対応)と Python(ベータ、特にサーバーレス/デプロイ実行で対応が拡大中)をサポートします。 ・サーバーレス実行: 呼び出し時にオンデマンドで起動し、実行時のみ課金されます。合計60秒のウォールクロックタイムアウト(CPU30秒+ネットワーク30秒)があります。複数バージョンを同時稼働でき、アップグレードを安全にします。 ・デプロイ実行: 専有リソースを確保する方式で、サーバーレスで要件を満たせない場合に有効です。単一バージョンを稼働させ、デプロイ中は継続課金されます。 ・機能差: オントロジーの読み書きやWorkshop連携・外部API呼び出しは両言語で可能。Pipeline BuilderはPython、モデル埋め込みやセマンティック検索はTypeScriptが対応します。 🛠 実践的な使い方 ・派生プロパティ: 計算列としてファンクションで算出した値を表示します。 ・ファンクション付きアクション: 複数オブジェクトにまたがる複雑な編集を実装します。 ・Workshop連携: 変数の計算や表示のためにファンクションを実行します。 ・APIゲートウェイ: クエリ系ファンクションをプログラムから呼び出し、同一ロジックを再利用します。 🎯 ユースケース ・派生KPIの算出ロジックを一元実装し、Workshop/OSDK/APIから同じ結果を返す。 ・外部システムを照会してオントロジーのオブジェクトをエンリッチする。 ・複雑な検証や一括更新を、ファンクション付きアクションとして実装する。 ⚠️ 注意点 ・60秒のタイムアウトが全実行モードに一律適用されるため、効率的な実装が求められます。 ・呼び出しコンテキストにより利用可能な機能が変わります(例: モデル埋め込みやセマンティック検索はTypeScriptのみ)。言語選定は早めに見極めてください。 #PalantirFoundry# #DataEngineering#