TL;DR 最新の高性能エンコーダがスパース検索では旧世代モデルにすら負けていた原因は「語彙設計のミスマッチ」でした。わずか2万ステップの適応学習でこれを解消し、BEIRで新たなSOTAを達成しています。 タイトル: Why Advanced Encoders Lag on Sparse Retrieval? The Answer and an Approach to Bridging Vocabulary Gaps URL: ポイント 🔤 原因は大文字小文字を区別する生の語彙が意味を無駄に分散させていたこと 🧩 提案手法Vocabulary Transferは語彙移行を3ステップで行う軽量な後付け手法 📊 ModernBERT-VTはBEIRでnDCG@10 52.4を達成し新SOTA 💥 崩壊していたRoBERTa-largeもBEIRスコア1.4から51.3まで劇的に回復 ⚡ 使用トークン数は元の事前学習の0.2%未満という圧倒的な低コスト 🧪 わずか500 MLMステップでほぼ最適な性能に到達 🧬 化学ドメインなど専門語彙への適応でも効果を確認 アーキテクチャの限界だと思われていた問題が、実は語彙の作り直しだけで解決できるというのが面白い発見です。 #情報検索# #LLM#

金沢大学ロバート研究室様 @RobertGJenkins より缶バッジとロバート研究室裏話を購入 ロバート先生や学生の方から色々たくさんの事を教えていただき実に楽しい時間を過ごさせて頂きました #博物ふぇすてぃばる収穫祭# #博物ふぇす収穫祭# #博ふぇす収穫祭#

12月5日（火）NHK Eテレ 午後8:00～ 「虹クロ」に出演させていただきます✨ 井手上漠さん、ロバートキャンベルさんと色々お話しさせていただきました😆 ぜひ観てください🙏 Tuesday, Dec. 5 on NHK E-Tele at 8:00pm(JPN time)~ I will be featured on “Niji Kuro”✨ I had a chance to talk about many things with Baku Ideue and Robert Campbell😆 Please check it out🙏

美、日、德、英、澳……全球债市崩了 周二（9月1日），随着国际油价上涨加剧对全球进入结构性通胀的担忧，以及投资者对美联储加息预期提高，全球债券收益率攀升至近20年来的最高水平。彭博全球政府债券收益率指数周一连续第四天上涨，升至3.72%，为2008年年中以来的最高水平。10年期美债收益率升至2025年1月以来最高水平，日本、德国、英国、澳大利亚债券收益率也均触及多年最高的水平。 推动收益率走高的最新催化剂被认为是美联储主席沃什上周在杰克逊霍尔的演讲。沃什演讲的“鹰派”程度超预期，令美联储9月加息预期大幅提高。目前交易员预计，美联储9月加息的概率已经超过50%，市场也提高了对今年进一步收紧货币政策的押注。  摩根大通资产管理公司的亚太区首席市场策略师Tai Hui表示，美国和日本国债收益率的上升反映了全球投资者对通胀和财政前景的双重担忧。周二，布伦特原油价格上涨2%，至每桶92美元以上，欧洲天然气价格处于3月以来的最高水平。“中东僵局有可能进一步推高能源价格。同时，美日几乎没有采取任何行动来解决财政赤字问题。”他称，也因此，投资者寻求更大的利差或期限溢价，才愿意持有这些经济体的长期政府债券。 First Eagle Investments的投资组合经理兼高级研究分析师阿皮欧（Idanna Appio）称：“市场正在为美国乃至全球的短期利率重新定价。投资者开始重新评估中性利率水平在哪里，并且这些利率本身已在逐步上升。” 资料图 4.75%关键心理关口 单就美债市场而言，在美国债务负担已超过40万亿美元的环境下，大型科技公司又大举发行债券，为人工智能（AI）热潮筹集资金，加剧了最近几周的美债抛售，进一步推高10年期美债收益率在周二涨破市场颇为重视的4.75%关口，涨至4.792%，创下19个月新高，这一关口被视为5%大关前的一道关键堡垒。 景顺亚太区全球市场策略师赵耀庭对第一财经记者表示，美债收益率在较长时间内维持高位，可能引发阶段性市场波动。久期较长的资产对收益率变化仍然极为敏感，如果债券收益率继续上升，股票估值也可能面临一定压力。不过，沃什上周的讲话也再度强调，美国经济仍展现出显著韧性。这一稳健的经济背景仍对风险资产构成支撑。他称，继续看好与人工智能（AI）、数字基础设施等结构性增长主题相关的市场领域，单在固收资产投资方面保持选择性，尤其关注各类久期债券风险。 财富管理机构Dakota Wealth Management的高级投资组合经理帕韦克（Robert Pavlik）强调，4.75%是一个“足以让人们真正开始警觉”的关键心理关口。他补充称，一旦收益率向5%大关逼近，市场对美股迎来深度回调的担忧便会迅速蔓延。 10年期日债收益率创30年新高 10年期日本政府债券收益率周二也自1996年以来首次攀升至3%。分析认为，这既是全球债券抛售潮的组成部分，也折射出美国财政部长对日本加息的公开施压，以及市场对日本央行9月政策行动的高度预期。 据报道，美国财长贝森特日前在二十国集团（G20）财长会议期间分别会见了日本财务大臣片山皋月和日本央行行长植田和男。贝森特明确告知双方，日本下一步应当加息。贝森特称：“我掌握市场所不知道的信息，我相信日本政府和日本央行将采取行动，推动日元走强。”这是迄今为止美国就日本货币政策发出的最明确信号。 周二，10年期德国国债收益率达到3.364%，为2011年以来未见的水平。10年期澳大利亚债券收益率也飙升至2011年的水平。10年期英国国债收益率升至5.254%，为2008年以来最高水平。 道明证券驻新加坡亚太区高级利率策略师纽奴哈（Prashant Newnaha）称：“债券市场没有内爆，但它发出了一个非常明确的信号，即更高的通胀意味着各国在更长时间内维持更高利率水平，已经是市场的最低底线了。” 他补充称：“长期以来，日本国债与美债一样，也一直是全球固收类资产的支柱。现在它已然翻转。日债收益率的进一步上升可能会推动投资者逐步重新配置日本资产。”

美、日、德、英、澳……全球债市崩了 周二（9月1日），随着国际油价上涨加剧对全球进入结构性通胀的担忧，以及投资者对美联储加息预期提高，全球债券收益率攀升至近20年来的最高水平。彭博全球政府债券收益率指数周一连续第四天上涨，升至3.72%，为2008年年中以来的最高水平。10年期美债收益率升至2025年1月以来最高水平，日本、德国、英国、澳大利亚债券收益率也均触及多年最高的水平。 推动收益率走高的最新催化剂被认为是美联储主席沃什上周在杰克逊霍尔的演讲。沃什演讲的“鹰派”程度超预期，令美联储9月加息预期大幅提高。目前交易员预计，美联储9月加息的概率已经超过50%，市场也提高了对今年进一步收紧货币政策的押注。  摩根大通资产管理公司的亚太区首席市场策略师Tai Hui表示，美国和日本国债收益率的上升反映了全球投资者对通胀和财政前景的双重担忧。周二，布伦特原油价格上涨2%，至每桶92美元以上，欧洲天然气价格处于3月以来的最高水平。“中东僵局有可能进一步推高能源价格。同时，美日几乎没有采取任何行动来解决财政赤字问题。”他称，也因此，投资者寻求更大的利差或期限溢价，才愿意持有这些经济体的长期政府债券。 First Eagle Investments的投资组合经理兼高级研究分析师阿皮欧（Idanna Appio）称：“市场正在为美国乃至全球的短期利率重新定价。投资者开始重新评估中性利率水平在哪里，并且这些利率本身已在逐步上升。”  资料图 4.75%关键心理关口 单就美债市场而言，在美国债务负担已超过40万亿美元的环境下，大型科技公司又大举发行债券，为人工智能（AI）热潮筹集资金，加剧了最近几周的美债抛售，进一步推高10年期美债收益率在周二涨破市场颇为重视的4.75%关口，涨至4.792%，创下19个月新高，这一关口被视为5%大关前的一道关键堡垒。 景顺亚太区全球市场策略师赵耀庭对第一财经记者表示，美债收益率在较长时间内维持高位，可能引发阶段性市场波动。久期较长的资产对收益率变化仍然极为敏感，如果债券收益率继续上升，股票估值也可能面临一定压力。不过，沃什上周的讲话也再度强调，美国经济仍展现出显著韧性。这一稳健的经济背景仍对风险资产构成支撑。他称，继续看好与人工智能（AI）、数字基础设施等结构性增长主题相关的市场领域，单在固收资产投资方面保持选择性，尤其关注各类久期债券风险。 财富管理机构Dakota Wealth Management的高级投资组合经理帕韦克（Robert Pavlik）强调，4.75%是一个“足以让人们真正开始警觉”的关键心理关口。他补充称，一旦收益率向5%大关逼近，市场对美股迎来深度回调的担忧便会迅速蔓延。 10年期日债收益率创30年新高 10年期日本政府债券收益率周二也自1996年以来首次攀升至3%。分析认为，这既是全球债券抛售潮的组成部分，也折射出美国财政部长对日本加息的公开施压，以及市场对日本央行9月政策行动的高度预期。 据报道，美国财长贝森特日前在二十国集团（G20）财长会议期间分别会见了日本财务大臣片山皋月和日本央行行长植田和男。贝森特明确告知双方，日本下一步应当加息。贝森特称：“我掌握市场所不知道的信息，我相信日本政府和日本央行将采取行动，推动日元走强。”这是迄今为止美国就日本货币政策发出的最明确信号。 周二，10年期德国国债收益率达到3.364%，为2011年以来未见的水平。10年期澳大利亚债券收益率也飙升至2011年的水平。10年期英国国债收益率升至5.254%，为2008年以来最高水平。 道明证券驻新加坡亚太区高级利率策略师纽奴哈（Prashant Newnaha）称：“债券市场没有内爆，但它发出了一个非常明确的信号，即更高的通胀意味着各国在更长时间内维持更高利率水平，已经是市场的最低底线了。” 他补充称：“长期以来，日本国债与美债一样，也一直是全球固收类资产的支柱。现在它已然翻转。日债收益率的进一步上升可能会推动投资者逐步重新配置日本资产。”