Skip to content
目录

产品简介

产品定义

紫东太初大模型训推平台(以下简称训推平台)是面向企业及合作伙伴的的一站式大模型开发及服务平台。训推平台不仅提供了包括紫东太初基础模型和第三方开源大模型,还提供了大模型定制化开发的整套环境,方便用户结合专属数据高效便捷的开发专属大模型。

  • 面向对象:企业大模型开发者以及大模型行业ISV的技术人员

  • 核心功能:大模型增量预训练、微调等定制开发,服务部署等一站式服务

应用场景

模型微调:零代码页面化操作,快速完成场景模型微调。

知识库问答:便捷式构建知识库应用,支持知识库问答。

常用专有名词

序号专有名词描述
1全量更新在训练过程中对大模型的全部参数进行更新,可以充分利用训练数据,有潜力在新任务上达到更好的性能。
2LoRA在训练过程中只更新低秩部分的参数,需要的计算资源更少,训练过程更快,可以减少过拟合的风险。
3迭代轮数迭代次数(epoch),模型训练过程中迭代的次数。
4学习率学习率(LearningRate)是在梯度下降的过程中更新权重时的超参数,过高会导致模型难以收敛,过低则会导致模型收敛速度过慢,平台已给出默认推荐值,可根据经验调整。
5序列长度单条数据的长度,单位为token。建议数值大小选择参考训练数据的长度,序列长度一般建议大于训练数据的长度,数值越大资源需求越多。
6批处理大小批处理大小(Batch Size),每一步训练中使用的样本数。较大的批处理大小可以加速训练,但所需资源越多,过大可能会导致OOM等问题。
7公共资源池公共资源池为系统内置的公共资源,所有用户共用,训练任务或模型服务托管在公共资源池时需计费。
8专属资源池专属资源池为用户在算力服务中购买的个人资源,与公共资源隔离,训练任务或模型服务托管在专属资源池时不再额外计费。
9temperature模型生成过程中的温度值,数值越大,输出越随机,数据越小,输出越集中。
10top_p输出文本的多样性,数值越大,文本生成的多样性越强。
11repetition_penalty模型生成过程中的重度惩罚数值,用于减少重复生成的控制,数值越大惩罚越大。