mirror of
https://github.com/snailyp/gemini-balance.git
synced 2026-05-12 02:19:59 +08:00
a7d548a849
本次提交引入了伪流式传输（Fake Streaming）功能，旨在为不支持原生流式响应的语言模型或特定场景提供类似流式的用户体验。
主要变更包括：
- **配置更新**:
- 在 `.env.example` 和 `app/config/config.py` 中添加了新的配置项 `FAKE_STREAM_ENABLED` 和 `FAKE_STREAM_EMPTY_DATA_INTERVAL_SECONDS`，用于控制伪流式功能的启用和心跳包发送间隔。
- 更新了 `README.md` 以包含新的伪流式配置说明。
- **核心服务逻辑**:
- 在 `app/service/chat/openai_chat_service.py` 中：
- 新增 `_fake_stream_logic_impl` 方法，用于处理伪流式调用的核心逻辑。当启用伪流式时，该方法会调用非流式接口，并在等待期间定期发送空数据块以维持连接。
- 修改 `_handle_stream_completion` 方法，使其能够根据 `FAKE_STREAM_ENABLED` 配置在真实流式和伪流式逻辑之间切换。
- 改进了流式处理中的重试逻辑、API密钥切换机制以及错误日志记录，使其更加健壮。特别是在伪流式场景下，确保了即使在非流式调用中也能正确处理和记录错误。
- **前端配置界面**:
- 在 `app/static/js/config_editor.js` 中添加了处理和填充伪流式配置项的逻辑。
- 在 `app/templates/config_editor.html` 中为伪流式配置添加了相应的表单控件，允许用户在配置编辑器中启用/禁用伪流式并设置空数据发送间隔。
该功能通过在后端模拟流式输出，即使底层模型不支持流式传输，也能向客户端提供持续的数据流，从而改善了用户体验，特别是在处理可能耗时较长的请求时。
69 lines
3.0 KiB
Plaintext
69 lines
3.0 KiB
Plaintext
# 数据库配置
|
|
DATABASE_TYPE=mysql
|
|
#SQLITE_DATABASE=default_db
|
|
MYSQL_HOST=gemini-balance-mysql
|
|
#MYSQL_SOCKET=/run/mysqld/mysqld.sock
|
|
MYSQL_PORT=3306
|
|
MYSQL_USER=gemini
|
|
MYSQL_PASSWORD=change_me
|
|
MYSQL_DATABASE=default_db
|
|
API_KEYS=["AIzaSyxxxxxxxxxxxxxxxxxxx","AIzaSyxxxxxxxxxxxxxxxxxxx"]
|
|
ALLOWED_TOKENS=["sk-123456"]
|
|
AUTH_TOKEN=sk-123456
|
|
TEST_MODEL=gemini-1.5-flash
|
|
THINKING_MODELS=["gemini-2.5-flash-preview-04-17"]
|
|
THINKING_BUDGET_MAP={"gemini-2.5-flash-preview-04-17": 4000}
|
|
IMAGE_MODELS=["gemini-2.0-flash-exp"]
|
|
SEARCH_MODELS=["gemini-2.0-flash-exp","gemini-2.0-pro-exp"]
|
|
FILTERED_MODELS=["gemini-1.0-pro-vision-latest", "gemini-pro-vision", "chat-bison-001", "text-bison-001", "embedding-gecko-001"]
|
|
TOOLS_CODE_EXECUTION_ENABLED=false
|
|
SHOW_SEARCH_LINK=true
|
|
SHOW_THINKING_PROCESS=true
|
|
BASE_URL=https://generativelanguage.googleapis.com/v1beta
|
|
MAX_FAILURES=10
|
|
MAX_RETRIES=3
|
|
CHECK_INTERVAL_HOURS=1
|
|
TIMEZONE=Asia/Shanghai
|
|
# 请求超时时间（秒）
|
|
TIME_OUT=300
|
|
# 代理服务器配置 (支持 http 和 socks5)
|
|
# 示例: PROXIES=["http://user:pass@host:port", "socks5://host:port"]
|
|
PROXIES=[]
|
|
#########################image_generate 相关配置###########################
|
|
PAID_KEY=AIzaSyxxxxxxxxxxxxxxxxxxx
|
|
CREATE_IMAGE_MODEL=imagen-3.0-generate-002
|
|
UPLOAD_PROVIDER=smms
|
|
SMMS_SECRET_TOKEN=XXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
|
|
PICGO_API_KEY=xxxx
|
|
CLOUDFLARE_IMGBED_URL=https://xxxxxxx.pages.dev/upload
|
|
CLOUDFLARE_IMGBED_AUTH_CODE=xxxxxxxxx
|
|
##########################################################################
|
|
#########################stream_optimizer 相关配置########################
|
|
STREAM_OPTIMIZER_ENABLED=false
|
|
STREAM_MIN_DELAY=0.016
|
|
STREAM_MAX_DELAY=0.024
|
|
STREAM_SHORT_TEXT_THRESHOLD=10
|
|
STREAM_LONG_TEXT_THRESHOLD=50
|
|
STREAM_CHUNK_SIZE=5
|
|
##########################################################################
|
|
######################### 日志配置 #######################################
|
|
# 日志级别 (debug, info, warning, error, critical)，默认为 info
|
|
LOG_LEVEL=info
|
|
# 是否开启自动删除错误日志
|
|
AUTO_DELETE_ERROR_LOGS_ENABLED=true
|
|
# 自动删除多少天前的错误日志 (1, 7, 30)
|
|
AUTO_DELETE_ERROR_LOGS_DAYS=7
|
|
# 是否开启自动删除请求日志
|
|
AUTO_DELETE_REQUEST_LOGS_ENABLED=false
|
|
# 自动删除多少天前的请求日志 (1, 7, 30)
|
|
AUTO_DELETE_REQUEST_LOGS_DAYS=30
|
|
##########################################################################
|
|
|
|
# 假流式配置 (Fake Streaming Configuration)
|
|
FAKE_STREAM_ENABLED=True # 是否启用假流式输出
|
|
FAKE_STREAM_EMPTY_DATA_INTERVAL_SECONDS=5 # 假流式发送空数据的间隔时间（秒）
|
|
|
|
# 安全设置 (JSON 字符串格式)
|
|
# 注意：这里的示例值可能需要根据实际模型支持情况调整
|
|
SAFETY_SETTINGS='[{"category": "HARM_CATEGORY_HARASSMENT", "threshold": "OFF"}, {"category": "HARM_CATEGORY_HATE_SPEECH", "threshold": "OFF"}, {"category": "HARM_CATEGORY_SEXUALLY_EXPLICIT", "threshold": "OFF"}, {"category": "HARM_CATEGORY_DANGEROUS_CONTENT", "threshold": "OFF"}, {"category": "HARM_CATEGORY_CIVIC_INTEGRITY", "threshold": "BLOCK_NONE"}]'
|