UltraMedical：一个大规模、高质量的生物医学指令数据集

UltraMedical是由清华大学, 华盛顿大学, 南昌大学第一附属医院, 上海交通大学, Frontis.AI共同建高质量的生物医学指令数据集和使用先进的对齐技术训练语言模型，致力于在生物医学领域开发专门通才模型。这些模型不仅在处理特定问题时表现优异，还能在跨领域问题中提供有效的解决方案。

UltraMedical数据集是一个大规模、高质量的生物医学指令集合，包含410,000个合成和手工整理的样本，结合手工和合成的提示，其中约100K条指令带有偏好注释。

数据集详细信息

数据集包含各种医学考试题目、PubMed文献研究、开放式问题等，并通过多种高级LLM进行注释和偏好打分。

• 指令总数：约410K条。
• 偏好对：约1.8M对偏好对，用于奖励建模和偏好学习。

数据集构成

1. 数据集组成原则：

• 多样性原则：
  • 数据集包括医学考试题、文献基础问题和开放式指令（如临床问题、研究问题等）。
  • 数据来源包括公开的医学考试、文献、临床问题和开放式指令。
  • 三个合成数据集用于增强数据集，包括从MedQA进化而来的MedQA-Evol、从医学教科书中提取的多选题TextBookQA、从维基百科扩展的生物医学概念和指令WikiInstruct。
• 复杂性原则：
  • 通过两种方法提高指令的复杂性：前处理方法和后处理方法。
  • 使用gpt-3.5-turbo对每个指令进行评分，范围从1到10，其中1表示容易回答，10表示对ChatGPT具有挑战性。
  • 对于合成数据集，使用两步自我进化过程，并根据模型派生的分数进一步筛选指令。

2. 数据注释：

• 完成注释：
  • 使用gpt-4-turbo对各种指令进行回答，并验证答案的准确性。
  • 对于错误的答案，使用动态检索的少量CoT（思维链）示例进行进一步的注释和验证。
• 偏好注释：
  • 采样多个高级模型的完成结果进行偏好注释，包括开放源代码模型（如Llama-3-8B/70B, Qwen1.5-72B等）和专有模型（如gpt-3.5-turbo和gpt-4-turbo）。
  • 使用GPT-4对候选答案进行评分和排名，并将评分最高的答案作为“选择”答案，评分较低的答案作为“拒绝”答案。
• 医学奖励基准：
  • 从所有偏好样本中随机选择1000个样本进行基准测试，并根据GPT-4的评分将样本分类为“容易”、“困难”和“长度”集。
  • 由生物医学临床医生、研究生和研究人员修正偏好对，确保偏好的准确性。

3. 数据集构建方法

• 预先方法：从各种种子指令开始合成新指令，并对这些合成指令进行自我演化。
• 后续方法：使用启发式规则或模型评分筛选出最复杂的指令。对于公共数据集，使用gpt-3.5-turbo分配难度评分（1到10分），确保复杂性。对于合成数据集，结合预先和后续方法进行复杂性增强。

4.详细示例

示例1：

• 指令: 描述心脏病的主要症状。
• 注释:
  • 回答1: 心脏病的主要症状包括胸痛、呼吸急促、心悸、恶心和出汗。
  • 回答2: 心脏病患者可能会经历胸部不适、疲劳和头晕等症状。
  • 选择答案: 回答1
  • 拒绝答案: 回答2

示例2：

• 指令: 什么是糖尿病？
• 注释:
  • 回答1: 糖尿病是一种由于胰岛素分泌不足或身体对胰岛素的反应不良引起的慢性疾病。
  • 回答2: 糖尿病是一种血糖水平异常升高的疾病。
  • 选择答案: 回答1
  • 拒绝答案: 回答2

基于UltraMedical的Llama-3微调

UltraMedical项目在Llama-3系列模型上进行了全面的微调和优化，主要包括监督微调(SFT)、偏好优化(DPO和KTO)以及奖励模型训练和迭代偏好学习。

• 通过多步优化策略，生成了在多个医疗基准测试中表现出色的专门医疗模型。
• UltraMedical 8B和70B模型在多个医疗基准上达到了竞争性的结果，特别是UltraMedical 70B模型在MedQA-USMLE测试中取得了86.5的高分。

以下是具体的过程和方法：

1. 监督微调 (Supervised Fine-Tuning, SFT)

过程：

• 基础模型：使用Llama-3 8B和70B基础模型。
• 数据集：利用UltraMedical数据集进行微调，包括410K条医学指令。
• 整合通用数据：为了增强模型的通用指令跟随能力，整合了UltraMedical数据集和通用领域数据集（如UltraChat、ShareGPT、Open-Orca等），共约600K条指令。

方法：

• 使用gpt-4-turbo生成的高质量回答进行微调，这些回答在多个来源中提供了最高质量。
• 保留在0-hero/Matter-0.1项目中高评分的指令，以确保质量。

2. 偏好学习 (Preference Learning)

数据集：

• 使用UltraMedical偏好数据进行训练，包含约100K条指令，每条指令包含一个选择和一个拒绝回答。

优化技术：

• 直接偏好优化 (Direct Preference Optimization, DPO) 和 Kahneman-Tversky优化 (KTO)：
  • 每个指令关联八个完成项，生成二元偏好对。
  • 结合通用偏好数据集（如UltraFeedback、UltraInteract、UltraSafety），总计约75K条指令。

3. 奖励建模 (Reward Modeling)

目标：

• 奖励模型是强化学习、人类反馈拒绝采样微调、迭代直接偏好优化等技术的核心组成部分。

训练过程：

• 使用UltraMedical偏好数据训练奖励模型，并增强其在通用聊天、安全和推理方面的能力。
• 模型用于标注UltraMedical LMs的回答，并提供“在线”偏好数据对。

4. 迭代偏好学习 (Iterative Preference Learning)

在线偏好学习：

• 进行推理并生成完成项，将生成的完成项和参考答案标注为“选择”与“拒绝”。
• 基于奖励模型的偏好数据进行偏好学习，反复进行K次，得到最终的UltraMedical LM。

最佳N采样 (Best of N Sampling)：

• 使用奖励模型从N个采样候选中选择最佳完成项，适用于推理和训练过程中。

5.实验结果

基于Llama-3系列进行微调的UltraMedical模型在多个医学基准测试中表现出色，特别是在MedQA、MedMCQA和MMLU等基准测试中，显著优于许多现有的模型。这些结果表明，通过高质量的数据集和多步优化策略，可以大幅提升开源医学模型的性能。

评估基准：

• 医学领域：MedQA、PubMedQA、MedMCQA、MMLU医学类目（临床知识、医学遗传学、解剖学、专业医学、大学生物学、大学医学）。
• 通用领域：MT-Bench、Alpaca-Eval、MMLU通用类目、GPQA、GSM8k。

1. 医学多项选择题结果

2. 通用领域基准测试结果

 数据混合策略的影响

• UltraMedical 数据集：专注于医学指令，显著提升了Llama-3模型在医学领域的表现。
• UltraMix 数据集：结合医学和通用指令，进一步提升了模型在医学和通用领域的表现，表明混合数据策略对于提升模型整体性能的重要性。

偏好优化的有效性

• 使用偏好优化技术（如DPO和KTO）对模型进行微调，进一步提升了模型在医学任务中的表现，特别是在复杂问题上的表现。
• 迭代偏好学习通过在线生成和评估模型的完成项，显著提升了模型的表现。

 医学与通用领域性能权衡

• UltraMedical LMs在医学任务中的表现优异，同时在通用领域基准测试中的表现略有下降。这显示了专用通用语言模型在医学和通用任务中的潜力和必要性。

3.两款模型具体表现

• 小规模语言模型 (7B级别)

UltraMedical训练和发布了一系列小规模的语言模型，其中表现最好的模型是Meta-Llama-3-8B。这些模型在多个流行的医学基准测试中表现优异，包括MedQA、MedMCQA、PubMedQA和MMLU-Medical。

Demo: Huggingface Space – Huggingface: Llama-3-8B-UltraMedical

模型表现统计：

• Llama-3-8B-UltraMedical (Ensemble)：采用了集成策略，在多个医学基准测试中取得了77.77的平均成绩，是表现最好的7B级别模型。
• Llama-3-8B-UltraMedical (Greedy)：采用贪婪搜索策略，取得了75.20的平均成绩。
• OpenBioLM-8B：在多个医学基准测试中取得了72.48的平均成绩。
• Llama-3-8B-Instruct (Ensemble) 和 Llama-3-8B-Instruct (Greedy)：分别取得了71.23和68.56的平均成绩。
• Internist-7B、Gemma-7B、Meerkat-7B (Ensemble)、MedAlpaca、BioMistral-7B：这些模型的平均成绩从67.79到57.26不等。

大规模语言模型 (70B级别)

UltraMedical还计划发布一系列大规模的语言模型，如Llama-3-70B-UltraMedical。这些模型预计将在未来几个月内发布。

模型表现统计：

• GPT-4 (Medprompt)：在多个医学基准测试中取得了90.76的平均成绩，是目前表现最好的模型。
• GPT-4-base (5-shot) 和 Med-PaLM 2 (best)：分别取得了87.00和86.66的平均成绩。
• OpenBioLM-70B：在多个医学基准测试中取得了86.06的平均成绩。
• Llama-3-70B-Instruct：在多个医学基准测试中取得了82.66的平均成绩。
• Flan-PaLM (best) 和 Mixtral-8x22B-Instruct：分别取得了74.70和73.10的平均成绩。
• GPT-3.5-Trubo 和 Meditron-70B：分别取得了67.70和66.00的平均成绩。

GitHub：https://github.com/tsinghuac3i/ultramedical

Dataset • Weights • Demo • Paper