TwiScan
热门
社区
账号集合
登录
注册
English
日本語
한국의
简体中文
繁体中文
注册并分享邀请链接,可获得视频播放与邀请奖励。
立即注册
Itaru Tomita / 冨田到
@itarutomy
リサーチや研究開発向けの生成AIエージェント
@snorbe_ai
を作っています。
@deskrex
| 著書 かんき出版『知的生産でAIを使いこなす全技法』
加入 January 2018
388
正在关注
2.8K
粉丝
Itaru Tomita / 冨田到
@itarutomy
2026.11.12 08:40
別々に作られたデータベースの列のうち、どれとどれが同じ意味かをLLMに判断させるとき、知識グラフから事実を少しだけ足すと誤りが減ることを示した研究( この作業はスキーママッチング(設計の違う表どうしで対応する列を見つけること。システム統合で欠かせない)と呼ばれる。担当医を表すATTEND_DOCTORと、診断した医療者を表すprovider_idのように、名前が似ていなくても対応する列がある。列名と説明文だけでは背景知識が足りず、LLMはもっともらしい誤答を出しやすい。 そこで、知識グラフ(「医師は医療専門職の一種」のような事実を三つ組で蓄えたデータベース)であるWikidataから、質問に意味が近い三つ組をベクトル検索で集め、上位1〜2件だけをプロンプトに入れる。モデルの再学習も、グラフ上でLLMに何段も推論させることもしない。 評価は医療系のMIMIC、Synthea、CMSを含む6つのデータセット。CMSでGPT-4o-miniに上位10件まで渡すと、F1(適合率と再現率のバランスを見る指標)は29.41%。上位1件に絞ると48.70%に上がり、トークンも300万から257万に減った。GraphRAG手法のArchRAGはF1 31.58%、443万トークンだった。 データ処理向けに調整された既存LLMのJellyfish-8Bは、知識を足すと単体よりMIMICで適合率が39.79%、F1が30.56%改善した。従来型の学習モデルSMATに対しても、GPT-4o-mini版がSyntheaで適合率を69.20%、F1を21.99%上回る。 大きいモデルほど良いわけでもない。CMSのF1はGPT-4o-miniで47.82%、GPT-4oでは33.33%。著者は、渡した知識とモデル内部の知識が衝突するためと見ている。 注意点もある。改善率は相対値で、MIMICの適合率は6.81%から9.52%になった程度。MIMIC全体でも候補6万4080組のうち正解は129組という偏ったデータで、Jellyfish-8Bの再現率は100%から66.66%に下がった。CMSではJellyfish-8B版がかえって悪化し、埋め込みも計算資源の都合でWikidata全体でなく、約459万エンティティのWikidata5Mで作っている。 巨大モデルや追加学習に頼らず、必要な事実だけを外から渡す。データ統合を抱える小さなチームでも試しやすい形だと思う。
显示更多
0
0
0
2
1
转发到社区
热门用户
New York Post
@nypost
4.3M 粉丝
狱
@Wx1n11124
317.9K 粉丝
Reuters
@Reuters
26.5M 粉丝
华尔街观察 Xtrader
@cnfinancewatch
140.2K 粉丝
空空道人
@Kongkongda5882
40.8K 粉丝
First Squawk
@FirstSquawk
579.4K 粉丝
オリコンニュース
@oricon
2M 粉丝
吴说区块链
@wublockchain12
183K 粉丝
PR TIMESテクノロジー
@PRTIMES_TECH
28.3K 粉丝
ツイッター速報〜BreakingNews
@tweetsoku1
260.1K 粉丝
TVer新着
@TVer_info
101.8K 粉丝
allincrypto 熬鹰资本 🇨🇳
@thankUcrypto
207.1K 粉丝
zerohedge
@zerohedge
3.4M 粉丝
中國新聞社
@CNS1952
549.8K 粉丝
一劍浣春秋
@chee828
233.3K 粉丝