测量服务耗时,演练故障与恢复
启动真实HTTP服务,用同一批请求观察并发、百分位耗时、请求记录和数据库恢复。
接口能回答问题以后,我们还要知道:多个人一起问时要等多久?没有权限或输入错误时返回什么?数据库恢复后,删除过的资料会不会重新出现?
这节沿用前六节的知识库项目。程序会自动准备临时数据、启动本机服务、发送请求、检查恢复结果,最后停止服务。你运行一次,就能看到这些环节怎样连起来。
用三个数字描述等待
耗时是一次请求从发出到收到结果经历的时间。把40次请求的耗时从小到大排列,第20个是这里的P50,第38个是P95。P50帮助观察中间水平;P95帮助观察比较慢的那部分请求。
并发数是同一时刻允许进行的请求数。并发为1时,完成一个再开始下一个;并发为4时,最多四个请求一起进行。可以把它想成食堂开几个取餐窗口:窗口多了,总体出餐可能更快,但每个人等待的时间还受到后厨处理能力影响。
吞吐量是整批完成的请求数除以总时间,单位为请求/秒。例如40个请求花了2秒,吞吐量就是20请求/秒。模型生成速度常用的token/秒描述的是输出文字速度,这里测的是整个HTTP接口。
保存实验程序
在知识库项目根目录,与 main.py、storage.py、seed.py 放在一起,新建 benchmark.py,保存以下内容。先前安装的 requirements.txt 已包含所需依赖。
"""启动真实本机HTTP服务,测请求耗时、故障响应及SQLite备份恢复。"""
import asyncio
import argparse
from contextlib import closing
import json
import math
import os
from pathlib import Path
import socket
import sqlite3
import subprocess
import sys
import tempfile
import time
import httpx
from seed import DOCUMENTS
from storage import Store
async def measure(base, count, concurrency):
if count < 1 or concurrency < 1:
raise ValueError('请求数与并发数必须大于0')
gate = asyncio.Semaphore(concurrency)
durations, failures, samples = [], 0, []
async with httpx.AsyncClient(base_url=base, timeout=5, trust_env=False) as client:
async def one():
nonlocal failures
async with gate:
start = time.perf_counter()
response = None
try:
response = await client.post('/ask', json={'query': '住宿'},
headers={'Authorization': 'Bearer demo-alpha-token'})
response.raise_for_status()
assert response.json()['citations'][0]['document_id'] == 'travel'
except (httpx.HTTPError, AssertionError, KeyError, IndexError, ValueError, TypeError):
failures += 1
elapsed = (time.perf_counter() - start) * 1000
durations.append(elapsed)
samples.append({'request_id': response.headers.get('X-Request-ID') if response is not None else None,
'status': response.status_code if response is not None else None,
'client_ms': round(elapsed, 3)})
start = time.perf_counter()
await asyncio.gather(*(one() for _ in range(count)))
wall = time.perf_counter() - start
durations.sort()
# 最近秩法:百分位数的排序位置向上取整,从1开始计数。
return {'concurrency': concurrency, 'requests': count, 'failed': failures,
'p50_ms': round(durations[math.ceil(count * .5) - 1], 2),
'p95_ms': round(durations[math.ceil(count * .95) - 1], 2),
'wall_seconds': round(wall, 6),
'requests_per_second': round(count / wall, 2), 'samples': samples}
def run(output_dir=None):
root = Path(__file__).resolve().parent
output_dir = Path(output_dir or root / 'data').resolve()
output_dir.mkdir(parents=True, exist_ok=True)
with tempfile.TemporaryDirectory(dir=output_dir) as folder:
folder = Path(folder)
database = folder / 'kb.sqlite3'
trace = folder / 'trace.jsonl'
store = Store(database)
for doc_id, title, text in DOCUMENTS:
store.put('alpha', doc_id, title, text)
# 系统选择一个可用端口,只监听本机回环地址。
with socket.socket() as sock:
sock.bind(('127.0.0.1', 0))
port = sock.getsockname()[1]
base = f'http://127.0.0.1:{port}'
env = dict(os.environ, KB_DB_PATH=str(database), KB_TRACE_PATH=str(trace),
KB_GENERATION_ENABLED='0', PYTHONDONTWRITEBYTECODE='1')
# 日志保留在临时目录之外,断言或启动失败后仍可定位原因。
with (output_dir / 'benchmark-server.log').open('w', encoding='utf-8') as log:
process = subprocess.Popen([sys.executable, '-E', '-B', '-m', 'uvicorn', 'main:app',
'--host', '127.0.0.1', '--port', str(port)], cwd=root, env=env,
stdout=log, stderr=log)
try:
with httpx.Client(base_url=base, timeout=5, trust_env=False) as client:
for _ in range(100):
try:
if client.get('/health').status_code == 200:
break
except httpx.ConnectError:
pass
if process.poll() is not None:
raise RuntimeError(f'服务提前退出,请查看 {output_dir / "benchmark-server.log"}')
time.sleep(.1)
else:
raise RuntimeError(f'服务未及时就绪,请查看 {output_dir / "benchmark-server.log"}')
headers = {'Authorization': 'Bearer demo-alpha-token'}
checks = []
for name, body, auth, status, mode in [
('有依据', {'query': '住宿'}, headers, 200, 'extractive'),
('无依据', {'query': '火星移民'}, headers, 200, 'abstain'),
('其他团队', {'query': '住宿'}, {'Authorization': 'Bearer demo-beta-token'}, 200, 'abstain'),
('缺凭据', {'query': '住宿'}, {}, 401, None),
('输入为空', {'query': ''}, headers, 422, None),
]:
response = client.post('/ask', json=body, headers=auth)
assert response.status_code == status
if mode:
assert response.json()['mode'] == mode
assert response.headers['X-Request-ID']
checks.append({'case': name, 'status': status, 'passed': True})
measurements = [asyncio.run(measure(base, 40, c)) for c in (1, 4)]
assert all(row['failed'] == 0 for row in measurements)
finally:
if process.poll() is None:
process.terminate()
try:
process.wait(timeout=15)
except subprocess.TimeoutExpired:
process.kill()
process.wait()
# 先删除,再用SQLite备份API得到一致性快照;恢复后确认删除仍生效。
assert store.delete('alpha', 'travel') == 1
backup = folder / 'restore.sqlite3'
with closing(sqlite3.connect(database)) as source, closing(sqlite3.connect(backup)) as target:
source.backup(target)
restored = Store(backup)
assert restored.search('alpha', '住宿', 3) == []
assert restored.search('alpha', '权限', 3)[0]['document_id'] == 'access'
spans = [json.loads(line) for line in trace.read_text(encoding='utf-8').splitlines()]
report = {'checks': checks, 'measurements': measurements,
'trace_rows': len(spans), 'restore_checked': True,
'model_calls': 0}
# 留下报告与日志,仅临时数据库随上下文退出清理。
output = output_dir / 'benchmark-result.json'
output.write_text(json.dumps(report, ensure_ascii=False, indent=2), encoding='utf-8')
(output_dir / 'benchmark-trace.jsonl').write_text(trace.read_text(encoding='utf-8'), encoding='utf-8')
# 控制台展示汇总;逐请求的关联编号留在JSON报告中。
summary = {**report, 'measurements': [{k: v for k, v in row.items() if k != 'samples'}
for row in measurements]}
print(json.dumps(summary, ensure_ascii=False, indent=2))
if __name__ == '__main__':
parser = argparse.ArgumentParser(description=__doc__)
parser.add_argument('--output-dir', help='报告、日志和临时数据库所在目录')
run(parser.parse_args().output_dir)打开项目目录的终端,使用前六节创建的虚拟环境。Windows PowerShell执行:
.\.venv\Scripts\python.exe -E -X utf8 -B benchmark.pymacOS或Linux执行:
.venv/bin/python -E -X utf8 -B benchmark.py程序自己启动一个本机服务,系统选择可用端口。数据库位于临时目录,运行结束后自动清理;测量报告、请求记录和 benchmark-server.log 保存在项目的 data 目录。可以加 --output-dir 实验目录 指定保存位置,例如 --output-dir F:\实验\kb-benchmark;源码发布目录不应存放运行数据。
先检查回答,再解释速度
程序先逐个发送五种请求。只有状态码和回答方式符合预期,才进入耗时测量。
| 请求 | 预期结果 | 检查的知识点 |
|---|---|---|
| alpha团队问“住宿” | 200,返回资料摘录 | 能找到本团队的依据 |
| alpha团队问“火星移民” | 200,回答方式为abstain | 缺少依据时说明资料不足 |
| beta团队问“住宿” | 200,回答方式为abstain | 团队之间的资料隔离 |
| 未携带凭据 | 401 | 入口身份校验 |
| 问题为空 | 422 | 请求参数校验 |
随后程序分别以并发1和并发4发送40次请求。本次运行的测量结果如下;你电脑上的时间会随处理器、磁盘和后台任务变化。
| 并发数 | 请求数 | 失败数 | P50 | P95 | 吞吐量 |
|---|---|---|---|---|---|
| 1 | 40 | 0 | 4.54毫秒 | 5.22毫秒 | 176.96请求/秒 |
| 4 | 40 | 0 | 9.93毫秒 | 17.96毫秒 | 328.27请求/秒 |
这组结果里,并发4完成整批任务更快,但单次请求等待更久。看性能时把耗时、吞吐量和失败数一起读,才能决定这种取舍是否适合业务。此次请求使用SQLite检索和资料摘录;接入模型后,还要分别记录模型首字等待和生成耗时。
benchmark-result.json 中,五项检查的 passed 都应为 true,两组 failed 应为0,restore_checked 应为 true。程序也会核对引用确实来自差旅文档,避免把错误回答的快速返回计作正常处理。
沿着代码看一次测量
asyncio.Semaphore 控制进入请求区的数量。程序在拿到名额后开始计时,收到响应并完成状态和引用校验后记录耗时,因此P50和P95不包含取得并发名额之前的排队时间;整批吞吐量的计时则包含所有请求排队完成的时间。报告的 wall_seconds 是吞吐量分母。本次分别为0.226039秒和0.121849秒,40除以它们得到表中的请求/秒。百分位统计包含成功和失败尝试;requests_per_second 同样以全部尝试计数,不是成功吞吐量。本例随后要求失败数为0才继续恢复验证。
本实验五种行为检查和测量请求的HTTP响应都会携带 X-Request-ID。服务把相同编号、请求方法、状态码和处理耗时写入 benchmark-trace.jsonl。这次一共有86行记录:1次健康检查、5次行为检查、80次测量请求。报告中每组 measurements 的 samples 保存每次请求的 request_id、状态码和 client_ms,可用编号在trace文件中找到同次请求的 duration_ms。两者差值还包含客户端连接池、传输、响应体、结果校验和日志写入等开销,不能直接解释成纯网络延迟。记录内容保留定位故障所需的字段,凭据与用户问题留在请求处理流程中。
程序用 try/finally 停止服务:即使某项断言失败,也先 terminate 并等待15秒;仍未退出则 kill,再回收子进程。服务日志保留在临时目录外,所以启动失败后仍能打开查看。接着删除差旅资料,再通过SQLite备份API复制数据库,最后从新文件恢复并检查两件事:住宿资料查不到,权限资料仍能查到。这样同时覆盖了删除状态和其余资料的保存。
SQLite连接用 closing 在操作结束后关闭。这一步在Windows尤其直观:连接没有关闭时,临时数据库文件可能仍被占用,清理目录就会失败。
课后练习展开习题收起习题
练习:观察并发增加后的变化
将 measure(base, 40, c) 所在行的 (1, 4) 改为 (1, 4, 8),重新运行。比较三组失败数、P95和吞吐量,再将它恢复为 (1, 4)。
参考分析
并发提高后,吞吐量可能增长,也可能因数据库、线程调度或CPU竞争而趋于平稳。P95更容易暴露少量慢请求。把多次运行的结果放在一起比较,寻找稳定趋势;若出现失败,先检查状态码和请求记录,再解释速度变化。
SQLite备份接口的用法见 Python sqlite3文档,HTTP客户端用法见 HTTPX文档。