深色模式
产品简介
产品定义
紫东太初大模型训推平台(以下简称训推平台)是面向企业及合作伙伴的的一站式大模型开发及服务平台。训推平台不仅提供了包括紫东太初基础模型和第三方开源大模型,还提供了大模型定制化开发的整套环境,方便用户结合专属数据高效便捷的开发专属大模型。
面向对象:企业大模型开发者以及大模型行业ISV的技术人员
核心功能:大模型增量预训练、微调等定制开发,服务部署等一站式服务
应用场景
模型微调:零代码页面化操作,快速完成场景模型微调。
知识库问答:便捷式构建知识库应用,支持知识库问答。
常用专有名词
序号 | 专有名词 | 描述 |
1 | 全量更新 | 在训练过程中对大模型的全部参数进行更新,可以充分利用训练数据,有潜力在新任务上达到更好的性能。 |
2 | LoRA | 在训练过程中只更新低秩部分的参数,需要的计算资源更少,训练过程更快,可以减少过拟合的风险。 |
3 | 迭代轮数 | 迭代次数(epoch),模型训练过程中迭代的次数。 |
4 | 学习率 | 学习率(LearningRate)是在梯度下降的过程中更新权重时的超参数,过高会导致模型难以收敛,过低则会导致模型收敛速度过慢,平台已给出默认推荐值,可根据经验调整。 |
5 | 序列长度 | 单条数据的长度,单位为token。建议数值大小选择参考训练数据的长度,序列长度一般建议大于训练数据的长度,数值越大资源需求越多。 |
6 | 批处理大小 | 批处理大小(Batch Size),每一步训练中使用的样本数。较大的批处理大小可以加速训练,但所需资源越多,过大可能会导致OOM等问题。 |
7 | 公共资源池 | 公共资源池为系统内置的公共资源,所有用户共用,训练任务或模型服务托管在公共资源池时需计费。 |
8 | 专属资源池 | 专属资源池为用户在算力服务中购买的个人资源,与公共资源隔离,训练任务或模型服务托管在专属资源池时不再额外计费。 |
9 | temperature | 模型生成过程中的温度值,数值越大,输出越随机,数据越小,输出越集中。 |
10 | top_p | 输出文本的多样性,数值越大,文本生成的多样性越强。 |
11 | repetition_penalty | 模型生成过程中的重度惩罚数值,用于减少重复生成的控制,数值越大惩罚越大。 |