品質はどう担保されるか

Evidentia は、医学文章を公開する前の手順です。品質は宣伝用の採点表ではなく、ゲート付きのループで担保します。存在はレジストリ照合。使い方の誠実さはスキル。実在として出した捏造識別子は KILL です。

CLI + MCP エンジン · skills/medical-fact-check · MIT · 臨床判断支援ではない

flow

content
主張台帳 Claim ledger

確認

照合の前に、検証可能な主張と識別子をすべて抜き出す。見出しも対象。

停止

台帳ができるまで、エンジンは呼ばない。
エンジン Engine

確認

存在。DOI / PMID / arXiv / NCT を CrossRef、PubMed、OpenAlex、arXiv、ClinicalTrials.gov に照合する。

失敗

1回だけ再試行。それでも落ちていれば unresolved（Hallucination と推測しない）。T4 は存在の事実であり、LLM が上書きしてはならない。ISBN・ガイドライン・タイトルのみは T2 であり、T4 にはしない。
意味 Semantic

確認

誠実さ。T1 の引用ごとに抄録を1回取る。主要アウトカム、対象集団、効果の向き。

失敗

T3 / T4 は格上げしない。
15項目 15-criteria

確認

文章の評価（治療の推奨ではない）。

停止

診断・治療・専門家の判断の代替ではない。
敵対 Adversarial

確認

5つのレンズと10行のチェックリスト → KILL / MAJOR / MINOR / PASS.

失敗

KILL（実在として出した T4、または危害）は評点 ≤ D（捏造なら F）。MAJOR は A にできない。

loop 5 → 2 エンジン · 上限 3
修正 Correction

確認

利用者が本文を直す。

停止

2 エンジンへ戻る。上限 3 回。その後は止まって、残件を書く。

engine

階層	名称	意味
T1	検証済み	論文が存在し、メタデータが一致する。
T2	内容確認が必要	未索引（ISBN / ガイドライン / タイトルのみ）、または実在論文の意味的誤用。幻覚にはしない。
T3	書誌不一致	論文は存在するが、識別子またはメタデータが食い違う。
T4	幻覚	識別子が何にも解決しない、または別の論文に解決する。存在の事実であり、LLM が上書きしてはならない。

adversarial

引用の誠実さ: 実在として出した T4 は KILL。
主張の裏付け: 実在論文でも、主張が違う（主要評価項目 / 対象集団 / 効果の向き）。
統計と表現: ARR なしの RRR、観察研究から「引き起こす」、「奇跡」。
危害: 本文どおりに従うと危害がありうるなら、引用がすべて T1 でも KILL。
スティールマン、それから攻撃: スティールマンが攻撃に耐えなければ、PASS にはできない。

判定	意味	評点
KILL	実在として出した T4、または危害。このまま公開してはならない。	≤ D。捏造なら F
MAJOR	実在資料の不誠実な使い方。	A にできない
MINOR	留保 / 鮮度 / 体裁。	稼いだ評点
PASS	但し書き付きで出荷。公開の責任は人間。	稼いだ評点

criteria

文章の評価であり、治療の推奨ではない。評点の文字は敵対レビューでゲートされ、15項目の平均ではない。

証拠レベル
引用の正確さ
統計
因果
バイアス / COI
誇張
対象集団
時間的妥当性
読みやすさ
倫理
論理
図表
代替説明
臨床的関連
完全性

run

#	主張	id	engine	注
1	小児ARTIの枠	none	n/a	成人/混合IPDを小児として提示
2	Martineau IPD、欠乏でARTI減	doi:10.1136/bmj.i6583	T1	ARTIは支持。対象集団のチェリーピック
3	学童1,200人、A型47%減	doi:10.1056/nejmoa2105512	T4	実在として提示 → KILL
4	気道のカテリシジン	pmid:18768876	T4	別論文 → KILL
5	2019 Cochrane、充足小児	doi:10.1002/14651858.cd012734	T3	肝硬変の Cochrane。T3のまま

敵対 KILL、評点 F。ケーススタディ。

$ npx evidentia check examples/inputs/ai-generated-answer.md

Evidentia: 4 citations — 1 verified, 1 mismatch, 2 hallucinated (75.0% fabrication rate)
  [OK ] doi:10.1136/bmj.i6583       — Paper exists and the cited metadata matches the registry record.
  [HAL] doi:10.1056/nejmoa2105512   — DOI does not resolve in CrossRef or OpenAlex, and no matching paper was found.
  [HAL] pmid:18768876               — Identifier resolves to a different paper ("Trafficking of antigen-specific
                                       CD8+ T lymphocytes…") than the one cited.
  [MIS] doi:10.1002/14651858.cd012734 — Paper exists, but cited metadata disagrees with the record (year).

install

npx evidentia check your-article.md
npx skills add kgraph57/evidentia
claude mcp add evidentia -- npx -y evidentia-mcp

flow

主張台帳 Claim ledger

エンジン Engine

意味 Semantic

15項目 15-criteria

敵対 Adversarial

修正 Correction

engine

adversarial

criteria

run

install