LoRA 部署与检查点

MinT 上的训练产物是 LoRA 增量权重——训练完成即可通过 save_weights_and_get_sampling_client 拿到一个可采样的客户端。部署形态支持"在线挂载"和"合并部署"两种。

为什么以 LoRA 为核心

LoRA 是 MinT 的核心价值之一：内置 LoRA Manager，训练完成后可直接得到一个轻量增量权重并立刻采样验证。所有训练任务都以 LoRA 微调为核心，平均单次完整微调耗时约 1 至 1.5 小时（30B 模型，A3B 结构）。

保存 LoRA 与拿到采样客户端

训练循环结束后，一行调用保存权重并得到 sampling client：

sampling_client = training_client.save_weights_and_get_sampling_client(name='my-run-v1')

prompt_ids = tokenizer.encode('3 * 7 =')
samples = sampling_client.sample(
    prompt=types.ModelInput.from_ints(prompt_ids),
    sampling_params=types.SamplingParams(max_tokens=16, temperature=0.7),
    num_samples=4,
)
for s in samples.sequences:
    print(tokenizer.decode(s.tokens))

得到的 sampling_client 支持 .sample(prompt, sampling_params, num_samples) 接口，可用于灰度对比、自动评测、A / B 上线等场景。

两种部署形态

明确 LoRA 权重可以一键挂载到推理服务，得到一个 OpenAI 兼容的 Endpoint；部署支持两种模式：

形态	说明	适用场景
LoRA 在线挂载	与基础模型共享显存，启动时间最快。	多实验并行采样、灰度对比、A / B 上线
LoRA 合并部署	把 LoRA 合并进底座生成完整权重，导出后可单独离线部署。	私有化交付、离线部署

保存检查点

训练结束后，在用量页查看本次训练消耗，并保存当前模型检查点用于部署或后续 RL 阶段。每个检查点都会带上元数据（Recipe、数据版本、超参、评测分），方便回溯。

私有化下的 LoRA 托管

明确私有化交付包含"私有化模型托管：训练得到的 LoRA 与合并权重可直接落地为离线部署包"。企业版控制台与 SDK 与公有云版本完全同源，无版本分叉。

对接 OpenAI 兼容 Endpoint

拿到的推理服务是 OpenAI 兼容的——业务系统切换 base URL 即可接入，详见 OpenAI 兼容 API。