牛
返回首页

1、AI应用测试开发工程师 — 简历

AI应用测试面试宝典

#AI测试#AI测试面试

AI应用测试开发工程师 — 简历与面试宝典

第一部分：简历

个人信息

项目内容
姓名张明远
求职意向AI 应用测试开发工程师 / AI 质量保障工程师
工作年限6 年
学历计算机科学与技术 硕士
邮箱zhangmingyuan@example.com
GitHubgithub.com/mingyuan-zhang

个人总结

拥有 6 年软件测试与质量保障经验，其中近 4 年专注于 AI/ML 应用测试领域。精通大语言模型（LLM）应用测试、推荐系统模型评估、数据管道质量验证及 MLOps 测试体系建设。擅长搭建自动化测试框架，设计模型评估指标体系，构建 CI/CD 流水线实现模型持续测试与交付。具备扎实的 Python 编程能力和主流 ML 框架实践经验，能够从数据质量、模型性能、系统稳定性、安全合规等多个维度保障 AI 产品的交付质量。

核心技能

技能类别具体技能
测试框架pytest、unittest、Selenium、Locust、JMeter、Robot Framework
AI/ML 框架PyTorch、Scikit-learn、Hugging Face Transformers、LangChain、LlamaIndex
LLM 测试prompt injection 测试、幻觉检测、RAG 评估（RAGAS）、响应质量评分、内容安全审查
模型评估准确率/精确率/召回率/F1/AUC-ROC、混淆矩阵、交叉验证、A/B 测试统计显著性
向量数据库FAISS、Milvus、Pinecone、ChromaDB — 召回率/延迟/一致性测试
数据测试Great Expectations、Deequ、Pandera — 数据漂移检测、Schema 验证、分布测试
MLOps / CI/CDMLflow、Kubeflow、Jenkins、GitHub Actions、Docker、Kubernetes
对抗性测试Adversarial Robustness Toolbox (ART)、FGSM/PGD 攻击测试、OOD 检测
监控与可观测Prometheus + Grafana、Evidently AI、WhyLogs、模型性能漂移告警
编程语言Python（精通）、SQL、Shell、Java（熟练）
云平台AWS SageMaker、阿里云 PAI、Google Vertex AI

工作经验

公司：某头部互联网 AI 平台部 | 2022.06 — 至今

职位：高级 AI 测试开发工程师

项目一：企业级 RAG 智能问答系统质量保障体系

项目背景： 公司推出了面向企业客户的 RAG（检索增强生成）智能问答平台，基于自研 LLM + 企业知识库，支持文档问答、多轮对话、SQL 生成等场景。日均调用量超 500 万次，服务 200+ 企业客户。

我的职责： 作为测试负责人，从 0 到 1 搭建了 LLM 应用全链路质量保障体系。

核心工作：

  1. Prompt Injection 安全测试框架

    • 构建了包含 5000+ 条攻击样本的注入测试用例库，覆盖直接注入、间接注入、越狱攻击、角色扮演绕过等 8 大类攻击向量
    • 基于 LangChain 开发自动化测试 Runner，集成到 CI 流水线，每次模型发布前自动执行全量安全扫描
    • 拦截高危注入漏洞 23 个，将模型安全通过率从 76% 提升至 99.2%

  2. RAG 回答质量自动化评估

    • 引入 RAGAS 评估框架，自定义了 6 维评估指标：答案相关性（Answer Relevancy）、上下文精确率（Context Precision）、上下文召回率（Context Recall）、忠实度（Faithfulness）、有害性（Harmfulness）、完整性（Completeness）
    • 搭建 Golden Dataset（3000 条人工标注 QA 对），作为回归测试基准
    • 开发基于 LLM-as-Judge 的自动评分 Pipeline，评估结果与人工评分相关系数达 0.87

  3. 多维性能压测体系

    • 使用 Locust 构建分布式压测框架，模拟 1000 QPS 并发场景
    • 监控端到端延迟（P50/P95/P99）、首 Token 时间（TTFT）、Token 生成速率、GPU 利用率等核心指标
    • 定位并推动优化了向量检索慢查询和 Prompt 拼接瓶颈，将 P99 延迟从 8.2s 降至 2.1s

  4. 知识库更新回归测试

    • 设计知识库增量更新的回归测试策略：每次知识库变更后自动触发 RAG 回答质量回归
    • 基于 ChromaDB 构建向量索引快照对比工具，检测知识更新导致的质量退化
    • 知识库变更导致的质量回退率从 12% 降低到 0.5%

技术栈：Python, LangChain, RAGAS, ChromaDB, Locust, Prometheus + Grafana, GitHub Actions, Docker

项目成果：

  • 线上故障率降低 85%，客户满意度 NPS 提升 22 分
  • 模型发布周期从 2 周缩短至 2 天，实现持续交付

项目二：推荐系统模型质量保障与 A/B 实验平台

项目背景： 公司内容推荐系统承载首页 Feed 流、相关推荐、搜索排序等核心场景，日活用户 8000 万+，涉及 20+ 个推荐模型。需要建立统一的模型质量评估标准和自动化测试体系。

我的职责： 负责推荐模型的质量评估体系建设和 A/B 实验测试框架开发。

核心工作：

  1. 模型离线评估标准化

    • 制定了推荐模型离线评估标准规范，统一采用 AUC、NDCG@K、HitRate@K、MRR 等指标
    • 开发离线评估自动化平台，支持一键发起多模型对比评估，自动生成评估报告
    • 集成 Fairness 指标（Demographic Parity、Equal Opportunity），检测模型在不同用户群体间的推荐偏差

  2. 在线 A/B 测试框架

    • 基于 Delta Method 和 Bootstrap 设计统计显著性检验模块，支持多指标联合检验和多重比较校正（Bonferroni/Holm）
    • 开发实验健康度监控：SRM（样本比例不匹配）检测、新奇效应过滤、网络效应检测
    • 实现实验自动下线机制：检测到核心指标显著负向时自动停止实验并告警

  3. 模型漂移检测与自动回滚

    • 部署 Evidently AI 实现模型性能实时监控，监控数据漂移（PSI > 0.2 告警）和预测漂移
    • 搭建模型线上 A/B 部署架构，配置金丝雀发布策略（5% → 20% → 50% → 100%）
    • 实现模型自动回滚：在线指标劣化（CTR 下降 > 2%）持续 30 分钟后自动切回流量的 100% 到旧模型

  4. 特征数据质量测试

    • 使用 Great Expectations 搭建特征数据验证 Pipeline，覆盖 200+ 特征的质量规则
    • 监控特征缺失率、分布一致性（KS 检验）、异常值比例等维度
    • 日均拦截特征数据质量问题 15+ 起，防止脏数据进入模型训练

技术栈：Python, PyTorch, Scikit-learn, Great Expectations, Evidently AI, Jenkins, Kubernetes

项目成果：

  • 模型评估效率提升 10 倍（从 2 天缩短至 2 小时）
  • 线上推荐 CTR 年均提升 8.3%，模型上线事故率降低至 0

公司：某 AI 独角兽企业 | 2019.03 — 2022.05

职位：AI 测试开发工程师

项目三：ML 数据管道端到端质量测试平台

项目背景： 公司 AI 平台的训练数据来源于多个异构数据源（日志埋点、第三方 API、数据湖），每日处理数据量达 50TB+。数据质量问题导致模型训练多次失败，造成大量 GPU 算力浪费。

我的职责： 主导设计并实现数据管道全链路质量测试平台。

核心工作：

  1. 数据 Schema 自动化验证

    • 使用 Pandera 定义 50+ 张核心表的 Schema 约束（字段类型、取值范围、非空约束、唯一性等）
    • 每次 ETL 任务完成后自动触发 Schema 合规检查，不合规数据自动隔离并告警
    • 将因表结构变更导致的训练失败从月均 6 次降至 0 次

  2. 数据分布漂移检测

    • 实现基于 KS 检验、卡方检验、Wasserstein 距离的多维数据分布对比
    • 设定漂移阈值自动告警机制，支持按特征粒度的漂移贡献度分析
    • 提前发现数据源切换导致的数据分布突变 10+ 次，避免模型线上效果大幅回退

  3. 数据标注质量自动化审核

    • 基于 Active Learning 策略设计标注质量审核流程：自动识别低置信度样本推送给人工复核
    • 开发标注一致性检测（Fleiss’ Kappa / Cohen’s Kappa），自动标记标注员间分歧大的样本
    • 标注错误率从 8% 降低到 1.5%，将整体标注效率提升 35%

  4. Pipeline 可观测性与故障自愈

    • 集成 Prometheus + Grafana 搭建 Pipeline 监控大盘，覆盖数据吞吐量、延迟、错误率等指标
    • 设计 Pipeline 重试与断点续传机制，任务失败自动重试 3 次，支持从失败节点恢复
    • Pipeline 可用性从 96.5% 提升至 99.8%

技术栈：Python, Pandera, Apache Spark, Great Expectations, Prometheus + Grafana, Airflow, S3

项目成果：

  • 数据引起的模型训练失败降低 95%
  • GPU 训练算力浪费减少，节省成本约 200 万元/年

项目四：计算机视觉模型鲁棒性测试体系

项目背景： 公司的人脸识别和图像分类模型部署在安防、金融等高风险场景。需确保模型在对抗攻击、环境变化、边缘场景下的鲁棒性和安全性。

我的职责： 搭建 CV 模型的鲁棒性测试框架，覆盖对抗攻击防御、环境鲁棒性、公平性等维度。

核心工作：

  1. 对抗攻击防御测试

    • 基于 Adversarial Robustness Toolbox (ART) 实现 FGSM、PGD、C&W、DeepFool 等多类对抗攻击自动化测试
    • 构建对抗攻击评估矩阵：记录不同攻击强度（ε = 0.01~0.3）下的模型准确率下降曲线
    • 推动引入对抗训练，将模型在 PGD 攻击下的鲁棒准确率从 32% 提升至 78%

  2. 环境鲁棒性测试

    • 构建图像变换测试套件：亮度/对比度/色相变化、高斯模糊/运动模糊、JPEG 压缩、随机裁剪/旋转/翻转、雨雾雪噪声模拟
    • 自动化批量生成变换图像并评估模型性能退化，设定各维度退化阈值
    • 发现模型在低光照场景下准确率骤降 40%，推动数据增强策略优化

  3. 模型公平性测试

    • 按肤色、年龄、性别等维度分层采样构建 Fairness 测试集
    • 计算各组间准确率差异（Accuracy Parity）、等错误率差异等公平性指标
    • 识别出深肤色群体识别准确率低于浅肤色群体 6.3 个百分点的问题，推动训练数据平衡优化

  4. 边缘场景覆盖测试

    • 基于模型不确定度（Entropy / Margin Sampling）从生产数据中挖掘难样本
    • 建立 Corner Case 知识库，持续积累和回归测试边缘场景
    • 线上误识率（FAR）从 1/10000 降至 1/50000

技术栈：Python, PyTorch, ART, OpenCV, Albumentations, MLflow, Docker

项目成果：

  • 模型对抗鲁棒性提升 2.4 倍
  • 通过国家级 AI 安全测评认证，支撑产品在金融、政务等高合规要求场景落地

教育背景

时间学校专业学位
2016.09 — 2019.03XX 大学计算机科学与技术硕士
2012.09 — 2016.06XX 大学软件工程学士

证书与荣誉

  • ISTQB Advanced Level — Test Automation Engineer
  • AWS Certified Machine Learning — Specialty
  • TensorFlow Developer Certificate
  • 公司年度技术突破奖（2023）
本文是 AI应用测试开发面试合集 系列第 1 篇
1 / 2
1 1、AI应用测试开发工程师 — 简历 当前 2 2、你如何评估一个分类模型的质量？会使用哪些指标？分别适用于什么场景
查看完整系列 →

评论

二维码

扫码关注