TwiScan
Hot
Communities
Account collections
Login
Register
English
日本語
한국의
简体中文
繁体中文
Register and share your invite link to earn from video plays and referrals.
Register now
Itaru Tomita / 冨田到
@itarutomy
リサーチや研究開発向けの生成AIエージェント
@snorbe_ai
を作っています。
@deskrex
| 著書 かんき出版『知的生産でAIを使いこなす全技法』
Joined January 2018
388
Following
2.8K
Followers
Itaru Tomita / 冨田到
@itarutomy
2026.11.12 08:40
別々に作られたデータベースの列のうち、どれとどれが同じ意味かをLLMに判断させるとき、知識グラフから事実を少しだけ足すと誤りが減ることを示した研究( この作業はスキーママッチング(設計の違う表どうしで対応する列を見つけること。システム統合で欠かせない)と呼ばれる。担当医を表すATTEND_DOCTORと、診断した医療者を表すprovider_idのように、名前が似ていなくても対応する列がある。列名と説明文だけでは背景知識が足りず、LLMはもっともらしい誤答を出しやすい。 そこで、知識グラフ(「医師は医療専門職の一種」のような事実を三つ組で蓄えたデータベース)であるWikidataから、質問に意味が近い三つ組をベクトル検索で集め、上位1〜2件だけをプロンプトに入れる。モデルの再学習も、グラフ上でLLMに何段も推論させることもしない。 評価は医療系のMIMIC、Synthea、CMSを含む6つのデータセット。CMSでGPT-4o-miniに上位10件まで渡すと、F1(適合率と再現率のバランスを見る指標)は29.41%。上位1件に絞ると48.70%に上がり、トークンも300万から257万に減った。GraphRAG手法のArchRAGはF1 31.58%、443万トークンだった。 データ処理向けに調整された既存LLMのJellyfish-8Bは、知識を足すと単体よりMIMICで適合率が39.79%、F1が30.56%改善した。従来型の学習モデルSMATに対しても、GPT-4o-mini版がSyntheaで適合率を69.20%、F1を21.99%上回る。 大きいモデルほど良いわけでもない。CMSのF1はGPT-4o-miniで47.82%、GPT-4oでは33.33%。著者は、渡した知識とモデル内部の知識が衝突するためと見ている。 注意点もある。改善率は相対値で、MIMICの適合率は6.81%から9.52%になった程度。MIMIC全体でも候補6万4080組のうち正解は129組という偏ったデータで、Jellyfish-8Bの再現率は100%から66.66%に下がった。CMSではJellyfish-8B版がかえって悪化し、埋め込みも計算資源の都合でWikidata全体でなく、約459万エンティティのWikidata5Mで作っている。 巨大モデルや追加学習に頼らず、必要な事実だけを外から渡す。データ統合を抱える小さなチームでも試しやすい形だと思う。
Show more
0
0
0
2
1
Forward to community
Most Popular Users
Tibo
@thsottiaux
1M Followers
FinancialJuice
@financialjuice
957.3K Followers
Serenity
@aleabitoreddit
1.1M Followers
First Squawk
@FirstSquawk
578.9K Followers
LiveSquawk
@LiveSquawk
504.5K Followers
CNBC
@CNBC
6.3M Followers
Seeking Alpha
@SeekingAlpha
347.3K Followers
Binance Wallet
@BinanceWallet
2.8M Followers
The Wall Street Journal
@WSJ
22.3M Followers
amit
@amitisinvesting
672.4K Followers
TheStreet
@TheStreet
1.2M Followers
New York Post
@nypost
4.3M Followers
The Kobeissi Letter
@KobeissiLetter
2.7M Followers
Reuters
@Reuters
26.4M Followers
Elon Musk
@elonmusk
241M Followers