med-ruri v3

ふつうのキーワード検索は、文字が一致しないと引けません。医療の文書では、同じことを違う言葉で書くことが多い。「抗凝固」と「血をサラサラにする薬」のような差を、意味の近さで拾いたい。そのための道具が埋め込みモデルです。土台にはModernBERT-Jaを使い、そこに医療のテキストを足して、専門用語やガイドライン特有の言い回しに寄せました。

このモデル単体では派手さはありません。ただ、上に載る検索の質は、ほぼこの部品の質で決まります。だからいちばん手をかけています。

学習の途中経過は metrics_progress.json に全ステップぶん残していて、特定ステップのチェックポイントも revision から取り出せます。数字は社内ベンチでの相対比較であり、他モデルとの横並びの絶対評価ではありません。

v2は、実運用でつまずいた点を1つずつ潰した版です。

• 表記のゆれを揃える。PDFから抜いた文書には崩れた文字が混じるので、NFKCで正規化してトークナイザのゴミを消しました。
• 版に依存しない検索にする。ガイドラインは改訂のたびに年号が変わります。見出しから年号を落とし、古い版でも新しい版でも同じ質問で引けるようにしました。
• 新しさだけで選ばせない。古い版のテキストをわざと「引っかけの不正解」として混ぜ、10倍の重みで学習。新しい文書ばかり上位に来る偏りを抑えます。
• 数値を安定させる。重みはFP32で持ち、行列積だけTF32で回しました。

1つだけ約束事があります。クエリには 「検索クエリ: 」、文書には 「検索文書: 」 を必ず付けてください。これを外すと、精度がはっきり落ちます。

サイズは70Mから310Mまで。それぞれに、医療版から続けて学習したもの（from-med）と、素のRuriから学習したもの（from-ruri）を用意しました。速さ優先なら70M、精度優先なら310Mを選べます。