2. 具备“自愈”能力的UI/E2E自动化测试框架

核心痛点：传统UI自动化脚本高度依赖XPath/CSS等定位器，前端页面微调即导致脚本大面积失效，维护成本极高。

开发方向：开发融合计算机视觉（CV）与大语言模型（LLM）的测试框架。工具不再死板依赖DOM结构，而是通过“视觉识别+语义理解”定位页面元素。当UI发生变更时，AI能自动识别元素变化并动态修复定位器或执行逻辑，实现从“按步骤执行”到“感知-决策-自愈”的闭环。

核心价值：将UI变更导致的脚本失效率从30%降至5%左右，大幅降低自动化脚本的日常维护成本。

技术实现要点：

• 多模态元素定位策略：建立分层定位库（如data-testid -> 文本内容 -> 视觉AI）。当主定位器失效时，Agent自动降级，利用LLM结合页面源码生成新的XPath，或通过CV识别按钮文本/相对位置。
• ReAct执行范式：采用“目标-分解-执行-反思”的Agent工作流。测试失败时，Agent主动收集上下文（页面状态、网络响应、控制台日志）进行反思，决定是重试、换策略还是宣告失败。
• 自愈映射缓存：成功自愈后，将“旧定位器-新定位器”的映射关系缓存，供后续测试复用，使框架随时间推移越来越健壮。
• 语义视觉证明验证（VPV）：超越传统像素级截图对比，利用视觉变换器（ViT）进行上下文感知的视觉比较，验证UI的语义完整性。