微调常出现的问题​
1.
上下文关联能力差​
2.
问题理解能力差​
3.
大模型的可移植性很差：对于万亿规模参数的模型而言，针对下游任务对模型进行微调很难，即便微调数据集很大，大模型也很难记住这些样本​
4.
训练时间周期长，结果无法快速验证​
5.
增大学习率，会有灾难性遗忘 （在2e-5会比较合适，但需要更大的算力支撑）​
​
微调常用方法​
1.
Lora：Fine-tuning the low-rank adapters of the model. 通过low rank adapters 方式调整模型​
2.
P-Tuning V2：Fine-tuning the prefix encoder of the model. 通过调整encoder尾部几层做微调​
3.
Freeze：（传统方法）Fine-tuning the MLPs in the last n blocks of the model. 通过冻结其他层，微调最后几层做微调​
4.
Full Tuning：全参微调​
​
垂直领域效果推测​
目标：实现中文支持的效果推测，并能解决微调中常出现的问题​
​
HuatuoGPT​
使用了三种中国现有的医疗QA数据集：包括cMedQA2\webMedQA\huatuo-26M，分别包括108,000的问题、63,284的问题、2600万的问题（用于验证）​
​
​
按钮