医療ドメイン特化LLMの性能はどうやって評価する？

医療ドメイン特化LLMの性能はどうやって評価する？

Author: Unknown Author

Date: Unknown Date

Original URL: https://zenn.dev/hellorusk/articles/04a29974138c7b

要約:

    - 医療ドメイン特化LLMの性能評価方法についてのまとめ - オープンなモデルの例 - BioGPT (2022): GPT-2ベース、PubMedで学習、評価はRelation Extraction系や文書分類系データセット - ClinicalGPT (2023): BLOOM-7Bベース、中国語モデル、会話データセットでBLEU, ROUGE評価 - PMC-LLaMA (2023): Llamaベース、医学系文書で追加事前学習、評価はMedQA, MedMCQA, PubMedQA - MedAlpaca (2023): Llamaベース、Webから医療データ収集、評価はMedQAのみ - ChatDoctor (2023): Llamaベース、オンライン診療サイトからデータ収集、ChatGPTとの類似度をBERTScoreで評価 - BioMedGPT-LM-7B (2023): Llama 2ベース、医学論文で追加事前学習、評価はMedQA, MedMCQA, PubMedQA - MediTron-7B, 70B (2023): Llama 2ベース、評価データセットにMMLU-Medicalが初登場 - BioMistral (2024): Mistralベース、評価はMMLU-Medical, MedQA, MedMCQA, PubMedQA - クローズなモデルの例 - Med-PALM (Google DeepMind): MedQA, PubMedQA, MedMCQA, MMLU-Medicalで評価 - MedPrompt (Microsoft): 同様にMedQA, PubMedQA, MedMCQA, MMLU-Medicalを使用 - 2024年初頭の医療ドメイン特化LLMのベンチマーク - 主流の評価データセット: MedQA, PubMedQA, MedMCQA, MMLU-Medical - 日本語版の評価ベンチマークの必要性 - 日本語の医療ドメインLLM評価ベンチマークが登場したことを紹介 - リンク: JMED-LLM, JMedBench, japanese-lm-med-harness
screenshot

コメント

コメントを投稿

このブログの人気の投稿

ある中学校生徒達の医療AIに関するQ&A（2025年1月版）

ある中学校生徒達の医療AIに関するQ&A（2025年1月版） 質問①：もし人工知能を使った診断で、誤診をしてそのまま手術をして失敗して しまった場合、誰が責任を取るのですか？ これはとても大切な質問ですね。人工知能はまだ発展途上の技術なので 、時には間違った診断をしてしまう可能性もあります。 人工知能を使った診断で誤診があり 手術が失敗してしまった場合、 最終的な責任は、 その診断結果を参考に手術を行った医師 にあります ２ 。 医師は、人工知能が出した診断結果を鵜呑みにするのではなく、 自分の知識や経験に基づいて、 最終的な判断を下さなければなりません ３ 。 AIはあくまでも医師を助けるための道具 であり、最終的な判断は 医師 が責任を持って行う 必要があるのです。 質問②：医療に人工知能を使うことによるメリット、デメリットはなんですか？ 人工知能を医療に使うことには、たくさんのメリットがあります。 病気の早期発見 : 例えば、AIはレントゲン写真やCT画像から、がんのような病気を 人間よりも早く 、 正確に見つけることができます ４ 。 まるで、 人間の目では見えない小さな変化 も 見つけることができ る、 すごい顕微鏡のようです。 医師の負担軽減 : AIが診断や事務作業の一部を代わりに行ってくれることで、医師は患者さんと 向き合う時間を増やすことができます ５ 。 先生も、AIのおかげで、もっと患者さんの話を じっくり聞くことができるようになるかもしれませんね。 新しい薬の開発 : AIは膨大な量のデータから、 新しい薬の開発に役立つ情報 を見つけ出すことが できます ６ 。 例えば、AIは、たくさんの薬の成分や効果に関するデータを読み解き、 新しい薬の組み合わせを見つけ出すことができるのです。 地域格差の減少 : インターネットとAIを組み合わせることで、遠く離れた場所に住んでいる人でも、 専門の医師の診察を受けやすくなります 1 。これは、 AIを使ったオンライン診療 です。 一方で、デメリットもあります。 誤診のリスク : まだ完璧ではないため、 AIが誤った診断をしてしまう可能性 があります 7 。 そのため、 医師はAIの診断結果を慎重に確認する必要があります。 コスト : AIを導入するためには、 高額な費用 がかかります 8...
続きを読む

AI画像診断：現状と課題、そして未来 (2025年1月版）

  AI画像診断：現状と課題、そして未来 (2025年1月版） 近年、人工知能（AI）は目覚ましい発展を遂げ、医療分野においても画像診断支援、創薬、治療計画など、様々な領域で応用が進んでいます。特に、画像診断の分野では、AIによる画像解析技術が急速に進化し、臨床現場への導入も始まっています。AI画像診断は、医師の診断を支援し、診断精度の向上、業務効率化、医療の質向上に貢献することが期待されています。しかし、AI画像診断は発展途上の技術であり、克服すべき課題も存在します。 本稿では、AI画像診断の現状と課題、そして未来について、最新の研究論文や学会発表、政府機関や医療機関のウェブサイト、専門家の意見などを参考にしながら、医療従事者、特に臨床医がAI画像診断を適切に活用するための情報を提供することを目的とします。 AI画像診断の一般的な課題 AI画像診断には、以下のような一般的な課題が挙げられます。 課題 説明 過学習 AIモデルが学習データに過度に適合し、未知のデータに対する予測精度が低下する現象です。 1 特定のデータセットに偏って学習してしまうと、汎化性能が低くなり、実臨床の多様な症例に対応できない可能性があります。 2 バイアス AIモデルが学習データに含まれる偏りを反映し、特定の属性を持つ患者に対して不正確な診断を行う可能性があります。 3 例えば、特定の人種や性別の患者データが少ない場合、その属性の患者に対する診断精度が低下する可能性があります。 4 汎化性能の限界 AIモデルが学習したデータと異なる特徴を持つデータに対して、十分な精度で予測できない可能性があります。 5 医療現場では、多様な撮影装置、撮影条件、患者背景の画像を扱う必要があるため、汎化性能の向上が重要となります。 説明可能性の不足 AIモデルがどのように診断結果を導き出したのか、その根拠が不明瞭であるという問題です。 6 ブラックボックス問題とも呼ばれ、AIの判断に対する信頼性を低下させる要因となります。 7 データ依存性 AIモデルの性能は、学習に用いるデータの質と量に大きく依存します。 8 高品質なデータセットの構築には、正確なアノテーション、データのバランス、プライバシーへの配慮など、多くの課題が存在します。 9 倫理的な問題 AI画像診断の利用に伴う責任の所在、プラ...
続きを読む

2026年03月18日のAIニュースまとめ

本日から過去３日（2026年03月18日）のAI関連ニュースヘッドライン（最大40件）をお届けします。 OpenClawが、中国でAIエージェントブームに火をつけた——地方政府が最大500万元補助、テンセントは業務AI「WorkBuddy」投入でミームも広がる「エビを育てる＝AIエージェントを育てる」 　 （Ledge.ai） Google、Wiz買収を完了　過去最大の320億ドル買収でクラウド・AIセキュリティ強化 　 （Ledge.ai） Sakana AI、防衛装備庁のAI研究を受託　複数AIを組み合わせ意思決定プロセスを高速化 　 （Ledge.ai） 「ポケモンGO」のNiantic Spatial、配送ロボット企業Cocoと提携　地理空間AIをロボット配送に提供 　 （Ledge.ai） OpenAI、AIセキュリティ企業「Promptfoo」を買収　Fortune 500の25％以上が利用するLLMテストツール 　 （Ledge.ai） Microsoft、長時間タスクを実行する「Copilot Cowork」を研究プレビュー公開——Anthropicと連携し“実行するCopilot”へ 　 （Ledge.ai） Adobe、PhotoshopのAI編集支援を強化　自然言語で指示できる「AI Assistant」公開 　 （Ledge.ai） Google MapsにGemini統合「Ask Maps」発表——10年以上ぶりの大規模刷新、会話で店や場所を探すAI地図検索 　 （Ledge.ai） ChatGPT、数式やグラフの変化を見ながら学べる新機能　数学・科学向けのインタラクティブなビジュアル解説を提供開始 　 （Ledge.ai） 米Luma AI、次世代型画像生成モデル「Uni-1」発表　理解と生成を統合、推論性能でもNano Banana 2など上回る 　 （Ledge.ai） AmazonとMicrosoft、個人向けヘルスAIを相次ぎ発表　受診導線と健康データ統合で競争本格化 　 （Ledge.ai） DeNA、米Cognition AIの自律型AIエンジニア「Devin Enterprise」を全社導入　2,000人超が利用可能に 　 （Ledge.ai） ...
続きを読む