修复 worker slot 初始化失败导致的批次死循环

[feixi139]

修改内容

1. 增加初始化失败退避和退役

   • 记录 slot 连续初始化失败次数。
   • 按 5/15/30/60 秒退避。
   • 默认连续失败 5 次后标记为 retired，不再自动复活。
   • worker 成功进入 ready 状态后清零失败计数。

2. 优化调度和回队逻辑

   • 优先调度健康的 idle slot。
   • 按失败次数对其他候选 slot 排序。
   • 退避中、隔离中和 retired slot 不参与调度。
   • 初始化失败后及时释放 reservation，并将未派发的 assignment 放回 pending 队列。

3. 增加快速失败

   • 当仍有未完成 case，但所有 slot 都已 retired 或 quarantined 时，立即失败退出，不再等待 pressure timeout。

4. 增加初始化超时诊断

   • 在 kill 进程前保存 ps、py-spy 和 /proc 信息。
   • 诊断文件写入 <TEST_LOG_PATH>/init_timeout/。
   • 可通过 PADDLEAPITEST_INIT_TIMEOUT_DIAGNOSTICS=0 关闭。