Skip to content

Config.py 配置指南

大模型配置

  • llm_api_impl：大模型API接口实现
  • 默认llm_api_default使用UnionLLM进行多模型支持，UnionLLM兼容LiteLLM， 支持模型和参数配置方式参见：UnionLLM仓库和LiteLLM文档。
  • 主流模型只需要修改api_config即可接入，无需修改该参数
  • 实现默认不支持的大模型接入，可实现AbstractApi接口，并将类名传入该参数。
  • api_config: 大模型API配置

除必选参数外，其他参数根据模型需求填写，具体模型对应的参数参见LiteLLM文档以及UnionLLM仓库-DOC目录中相应模型部分。具体而言：

国外模型请查找LiteLLM文档，并将LiteLLM示例中litellm.completion内的参数填写到api_config中，若示例需要通过环境变量鉴权，也请填写到api_config中。

国内模型请查找UnionLLM仓库-DOC目录，并将UnionLLM示例中unionchat内的参数填写到api_config中，若示例需要通过环境变量鉴权，也请填写到api_config中。 - 必选参数 - model 传入模型名称 - provider 传入模型提供商 - 常用可选参数 - api_base 传入API地址 - api_key 传入API密钥 - 其他可选参数 - max_tokens 设置生成文本的最大长度 - temperature 控制生成文本的随机性 - top_p 控制生成文本的多样性 - n 设置生成的文本数量 - logprobs 返回生成文本的对数概率 - stream 是否以流式方式返回生成结果 - stop 设置生成文本的停止标记 - presence_penalty 控制生成文本中重复内容的惩罚 - frequency_penalty 控制生成文本中频繁出现内容的惩罚 - best_of 从多次生成中选择最佳结果 - logit_bias 调整生成文本中某些词的概率 - api_url 传入API地址 - api_version 传入API版本 - extra_headers 传入额外的HTTP头信息 - 其他参数请参考上述文档 - 该配置会自动传给llm_api_impl的set_config方法，用于初始化大模型API。

示例

DeepSeek

api_config = {
    "api_key": "your deepseek key",
    "model": 'deepseek-chat',
    "provider": "deepseek",
}

ChatGPT

# 直接传入
api_config = {
    "api_key": "your openai key",
    "api_base": "https://api.openai.com/v1",
    "model": "gpt-3.5-turbo",
    "provider": "openai",
}
# 通过环境变量传入
api_config = {
    "OPENAI_API_KEY": "your openai key",
    "OPENAI_API_BASE": "https://api.openai.com/v1",
    "model": "gpt-3.5-turbo",
    "provider": "openai",
}

Ollama

api_config = {
    "api_base": "http://localhost:11434",
    "model": "llama3.2",
    "provider": "ollama",
}

Gitlab配置

GitLab 服务器地址与访问令牌通过后台的 GitLab 配置 页面写入 GitLabConfig 表，系统仅读取数据库中的激活记录。 - server_url: GitLab 实例地址 - private_token: 用于访问 API 的 Token - is_active: 控制是否为当前生效配置（仅允许单条激活） - maximum_files: GitLab Merge Request 最大文件数（可选）

消息通知配置

  • dingtalk_webhook: 钉钉机器人Webhook
  • dingtalk_secret: 钉钉机器人密钥