TwiScan
인기
커뮤니티
계정 컬렉션
로그인
회원가입
English
日本語
한국의
简体中文
繁体中文
가입 후 초대 링크를 공유하면 동영상 재생 및 초대 보상을 받을 수 있습니다.
지금 가입
Itaru Tomita / 冨田到
@itarutomy
リサーチや研究開発向けの生成AIエージェント
@snorbe_ai
を作っています。
@deskrex
| 著書 かんき出版『知的生産でAIを使いこなす全技法』
가입 January 2018
388
팔로잉 중
2.8K
팬
Itaru Tomita / 冨田到
@itarutomy
2026.11.12 08:40
別々に作られたデータベースの列のうち、どれとどれが同じ意味かをLLMに判断させるとき、知識グラフから事実を少しだけ足すと誤りが減ることを示した研究( この作業はスキーママッチング(設計の違う表どうしで対応する列を見つけること。システム統合で欠かせない)と呼ばれる。担当医を表すATTEND_DOCTORと、診断した医療者を表すprovider_idのように、名前が似ていなくても対応する列がある。列名と説明文だけでは背景知識が足りず、LLMはもっともらしい誤答を出しやすい。 そこで、知識グラフ(「医師は医療専門職の一種」のような事実を三つ組で蓄えたデータベース)であるWikidataから、質問に意味が近い三つ組をベクトル検索で集め、上位1〜2件だけをプロンプトに入れる。モデルの再学習も、グラフ上でLLMに何段も推論させることもしない。 評価は医療系のMIMIC、Synthea、CMSを含む6つのデータセット。CMSでGPT-4o-miniに上位10件まで渡すと、F1(適合率と再現率のバランスを見る指標)は29.41%。上位1件に絞ると48.70%に上がり、トークンも300万から257万に減った。GraphRAG手法のArchRAGはF1 31.58%、443万トークンだった。 データ処理向けに調整された既存LLMのJellyfish-8Bは、知識を足すと単体よりMIMICで適合率が39.79%、F1が30.56%改善した。従来型の学習モデルSMATに対しても、GPT-4o-mini版がSyntheaで適合率を69.20%、F1を21.99%上回る。 大きいモデルほど良いわけでもない。CMSのF1はGPT-4o-miniで47.82%、GPT-4oでは33.33%。著者は、渡した知識とモデル内部の知識が衝突するためと見ている。 注意点もある。改善率は相対値で、MIMICの適合率は6.81%から9.52%になった程度。MIMIC全体でも候補6万4080組のうち正解は129組という偏ったデータで、Jellyfish-8Bの再現率は100%から66.66%に下がった。CMSではJellyfish-8B版がかえって悪化し、埋め込みも計算資源の都合でWikidata全体でなく、約459万エンティティのWikidata5Mで作っている。 巨大モデルや追加学習に頼らず、必要な事実だけを外から渡す。データ統合を抱える小さなチームでも試しやすい形だと思う。
더 보기
0
0
0
2
1
커뮤니티로 전달
인기 있는 사용자
New York Post
@nypost
4.3M 팬
オリコンニュース
@oricon
2M 팬
ツイッター速報〜BreakingNews
@tweetsoku1
260.1K 팬
TVer新着
@TVer_info
101.7K 팬
Reuters
@Reuters
26.4M 팬
First Squawk
@FirstSquawk
578.9K 팬
PR TIMESテクノロジー
@PRTIMES_TECH
28.3K 팬
空空道人
@Kongkongda5882
40.1K 팬
モデルプレス
@modelpress
2.1M 팬
zerohedge
@zerohedge
3.4M 팬
Bloomberg
@business
10.5M 팬
ITZY
@ITZYofficial
6.6M 팬
billboard
@billboard
16.8M 팬
中國新聞社
@CNS1952
549.7K 팬
GOT7
@GOT7Official
8.9M 팬