自動(dòng)化軟件測(cè)試實(shí)施指南

譯者序
序
序二
前言
第一部分 什么是自動(dòng)化軟件測(cè)試和為什么需要自動(dòng)化
第1章 自動(dòng)化軟件測(cè)試概述
1.1 自動(dòng)化測(cè)試定義
1.2 自動(dòng)化測(cè)試的方法
1.3 AST技術(shù)的發(fā)展
1.4 各種自動(dòng)化測(cè)試類型
1.5 提供基于AST的產(chǎn)品支持
1.5.1 按照需要對(duì)定位和修復(fù)產(chǎn)品問題提供支持
1.5.2 對(duì)確定出修正給特定程序組件造成的影響提供支持
1.5.3 校驗(yàn)產(chǎn)品修正的準(zhǔn)確性和質(zhì)量
1.5.4 支持產(chǎn)品的STR分類方法
1.6 自動(dòng)化評(píng)估標(biāo)準(zhǔn)
小結(jié)
第2章 為什么要使用自動(dòng)化
2.1 當(dāng)今測(cè)試軟件面臨的挑戰(zhàn)
2.2 減少軟件測(cè)試的時(shí)間和成本
2.2.1 自動(dòng)測(cè)試計(jì)劃和開發(fā)——初始測(cè)試的工作量增加
2.2.2 生成測(cè)試數(shù)據(jù)——測(cè)試工作／計(jì)劃減少
2.2.3 測(cè)試的執(zhí)行——測(cè)試工作的減少／測(cè)試進(jìn)度的加快
2.2.4 測(cè)試結(jié)果分析——測(cè)試工作的減少／測(cè)試進(jìn)度的加快
2.2.5 錯(cuò)誤狀態(tài)／更正監(jiān)測(cè)——測(cè)試工作的減少，測(cè)試進(jìn)度的加快
2.2.6 報(bào)告的創(chuàng)建——測(cè)試工作的減／測(cè)試進(jìn)度的加快
2.2.7 其他需要考慮的降低因素
2.3 影響軟件質(zhì)量
2.4 改進(jìn)軟件測(cè)試程序
2.4.1 改進(jìn)構(gòu)建驗(yàn)證測(cè)試（冒煙測(cè)試）
2.4.2 改進(jìn)回歸測(cè)試
2.4.3 多平臺(tái)兼容性測(cè)試和配置測(cè)試
2.4.4 改善日常測(cè)試的執(zhí)行
2.4.5 改進(jìn)重點(diǎn)關(guān)注的高級(jí)測(cè)試問題
2.4.6 完成手動(dòng)測(cè)試無法完成的工作
2.4.7 重現(xiàn)軟件缺陷的能力
2.4.8 加強(qiáng)系統(tǒng)專業(yè)知識(shí)
2.4.9 下班后“無人值守”測(cè)試
2.4.10 改進(jìn)需求定義
2.4.11 改進(jìn)性能測(cè)試
2.4.12 改進(jìn)壓力測(cè)試和耐力測(cè)試
2.4.13 質(zhì)量度量和測(cè)試優(yōu)化
2.4.14 改進(jìn)系統(tǒng)開發(fā)生命周期
2.4.15 改進(jìn)文檔和可跟蹤性
2.4.16 分布式工作負(fù)載和并發(fā)測(cè)試
小結(jié)
第3章 商業(yè)案例
3.1 商業(yè)案例的定義
3.2 確定業(yè)務(wù)需要
3.3 在成本和收益方面調(diào)整自動(dòng)化
3.3.1 評(píng)估ROI
3.3.2 自動(dòng)化測(cè)試的總節(jié)省
3.3.3 測(cè)試環(huán)境建立的時(shí)間節(jié)省
3.3.4 測(cè)試開發(fā)的時(shí)間節(jié)省
3.3.5 測(cè)試執(zhí)行時(shí)間的節(jié)省
3.3.6 測(cè)試評(píng)估／診斷時(shí)間節(jié)省
3.3.7 ROI的其他幾點(diǎn)考量
3.3.8 更多ROI指標(biāo)
3.4 風(fēng)險(xiǎn)
3.5 其他考慮
小結(jié)
第4章 自動(dòng)化測(cè)試失敗的原因以及需要避免的陷阱
4.1 通常R&D不重視自動(dòng)化測(cè)試或手動(dòng)測(cè)試的工作
4.2 自動(dòng)化測(cè)試的神話與現(xiàn)實(shí)
4.2.1 自動(dòng)測(cè)試計(jì)劃的生成
4.2.2 測(cè)試工具適合所有場(chǎng)景
4.2.3 測(cè)試工作立即減少
4.2.4 計(jì)劃立即縮減
4.2.5 工具的易用性
4.2.6 任何應(yīng)用都可以使用AST
4.2.7 100％測(cè)試覆蓋率
4.2.8 捕獲／回放等同AST
4.2.9 AST是手動(dòng)測(cè)試活動(dòng)
4.2.10 忘記了測(cè)試的目的是找出缺陷
4.2.11 側(cè)重于系統(tǒng)測(cè)試自動(dòng)化而非自動(dòng)化單元測(cè)試
4.3 軟件開發(fā)時(shí)缺乏針對(duì)AST的考慮
4.3.1 在應(yīng)用中構(gòu)建可測(cè)試性
4.3.2 遵循開放架構(gòu)標(biāo)準(zhǔn)
4.3.3 遵循標(biāo)準(zhǔn)文檔格式
4.3.4 標(biāo)準(zhǔn)化的文檔測(cè)試用例
4.3.5 遵循編碼標(biāo)準(zhǔn)
4.3.6 使用OMG的IDI
4.3.7 GUI測(cè)試建議
4.3.8 GuI對(duì)象命名標(biāo)準(zhǔn)
4.3.9 代碼重用的庫概念
4.4 只見樹木不見森林——不知道如何選擇工具
4.5 缺少工具供應(yīng)商都遵循的自動(dòng)化標(biāo)準(zhǔn)
4.6 缺乏企業(yè)案例
小結(jié)
第二部分 如何實(shí)現(xiàn)自動(dòng)化：獲得自動(dòng)化回報(bào)最重要的6個(gè)要點(diǎn)
第5章 要點(diǎn)1：了解需求
5.1 理解AST所支持的需求
5.1.1 AUT或SUT需求
5.1.2 AST框架（ASTF）和工具的需求
5.1.3 AST數(shù)據(jù)需求
5.1.4 測(cè)試環(huán)境的需求
5.1.5 AST過程需求
5.2 支持.AST需求的更多信息
5.2.1 手動(dòng)測(cè)試過程
5.2.2 設(shè)計(jì)文檔
5.2.3 原型
5.3 當(dāng)信息不存在時(shí)
5.3.1 引導(dǎo)性的訪談
5.3.2 進(jìn)一步增加知識(shí)面
5.3.3 基于遺留應(yīng)用程序或遺留系統(tǒng)開發(fā)需求
5.4 開始實(shí)現(xiàn)需求跟蹤矩陣（RTM）
5.4.1 RTM中的信息
5.4.2 RTM示例
小結(jié)
第6章 要點(diǎn)2：開發(fā)自動(dòng)化測(cè)試策略
6.1 AST策略文檔
6.2 范圍和自動(dòng)化測(cè)試目標(biāo)
6.2.1 決定要自動(dòng)化哪些測(cè)試
6.2.2 優(yōu)先級(jí)——基于優(yōu)先級(jí)的功能計(jì)劃的自動(dòng)化需求
6.2.3 定義測(cè)試目標(biāo)：示例
6.3 確定方法
6.4 自動(dòng)化軟件測(cè)試框架
6.5 AST環(huán)境／配置
6.5.1 測(cè)試配置
6.5.2 其他測(cè)試環(huán)境的自動(dòng)化測(cè)試需求
6.5.3 自動(dòng)化測(cè)試環(huán)境管理——自動(dòng)化CM
6.6 自動(dòng)化RTM
6.6.1 需要標(biāo)準(zhǔn)的測(cè)試用例模板，對(duì)自動(dòng)化框架極其有用
6.6.2 鏈接到測(cè)試用例
6.6.3 更新測(cè)試用例的步驟，包括通過失敗結(jié)果
6.6.4 更新RTM，包括通過，失敗結(jié)果
6.7 自動(dòng)化的缺陷跟蹤
小結(jié)
第7章 要點(diǎn)3：測(cè)試自動(dòng)化軟件測(cè)試框架（ASTF）
7.1 驗(yàn)證ASTF是否滿足特定需求，功能是否表現(xiàn)得如預(yù)期那樣
7.2 對(duì)所有ASTF相關(guān)工件，包括設(shè)計(jì)、開以及相關(guān)測(cè)試用例進(jìn)行同級(jí)評(píng)審
7.2.1 作為軟件開發(fā)生命周期一部分的同級(jí)評(píng)審
7.2.2 評(píng)估所有ASTF組件
7.2.3 評(píng)審測(cè)試用例
7.2.4 評(píng)審測(cè)試邏輯
7.2.5 評(píng)審測(cè)試數(shù)據(jù)
7.2.6 評(píng)審自動(dòng)化的測(cè)試代碼
7.3 驗(yàn)證需求和覆蓋率
7.3.1 跟蹤能力
7.3.2 覆蓋率
7.4 舉行一次用戶審查
小結(jié)
第8章 要點(diǎn)4：持續(xù)跟蹤過程并作相應(yīng)調(diào)整
8.1 AST程序跟蹤和缺陷預(yù)防
8.1.1 技術(shù)交換和走查
8.1.2 內(nèi)部檢查
8.1.3 檢查約束和相關(guān)風(fēng)險(xiǎn)
8.1.4 實(shí)現(xiàn)風(fēng)險(xiǎn)緩解策略
8.1.5 維護(hù)AST過程和環(huán)境的完整性
8.1.6 定義、溝通和跟蹤進(jìn)度和成本
8.1.7 跟蹤工作、問題和缺陷
8.2 AST度量
8.2 可自動(dòng)化的百分比或自動(dòng)化指標(biāo)
8.2.2 自動(dòng)化進(jìn)展
8.2.3 測(cè)試進(jìn)度
8.2.4 自動(dòng)化測(cè)試覆蓋率百分比
8.2.5 缺陷密度
8.2.6 缺陷趨勢(shì)分析
8.2.7 缺陷移除效率
8.2.8 自動(dòng)化軟件測(cè)試ROI
8.2.9 其他軟件測(cè)試度量
8.3 根本原因分析
小結(jié)
第9章 要點(diǎn)5：實(shí)施AST過程
9.1 AST的階段和里程碑
9.2 AST階段1：需求收集——分析自動(dòng)化測(cè)試需求
9.3 AST階段2：測(cè)試用例設(shè)計(jì)和開發(fā)
9.4 AST階段3：開發(fā)自動(dòng)化測(cè)試軟件框架（ASTF）和測(cè)試腳本
9.5 AST階段4：自動(dòng)化測(cè)試的執(zhí)行和結(jié)果報(bào)告·
9.6 AST階段5：程序?qū)彶楹驮u(píng)估
9.7 虛擬質(zhì)量門檻
9.8 過程度量
小結(jié)
第10章 要點(diǎn)6：人盡其才
10.1 程序管理
10.1.1 AST階段1：需求收集——分析自動(dòng)化測(cè)試需求
10.1.2 AST階段2：測(cè)試用例設(shè)計(jì)與開發(fā)
10.1.3 AST階段3：開發(fā)自動(dòng)化軟件測(cè)試框架和測(cè)試腳本
10.1.4 AST階段4：自動(dòng)化測(cè)試執(zhí)行和結(jié)果報(bào)告
10.1.5 AST階段5：審查并評(píng)估程序
10.2 系統(tǒng)工程
10.2.1 AST階段1：需求收集——分析自動(dòng)化測(cè)試需求
10.2.2 AST階段2：測(cè)試用例設(shè)計(jì)和開發(fā)
10.2.3 AST階段3：開發(fā)自動(dòng)化測(cè)試框架和測(cè)試腳本
10.2.4 AST階段4：自動(dòng)化測(cè)試的執(zhí)行和結(jié)果報(bào)告
10.2.5 AST階段5：審查并評(píng)估程序
10.3 軟件開發(fā)
10.3.1 AST階段1：需求收集——分析自動(dòng)化測(cè)試需求
10.3.2 AST階段2：測(cè)試用例設(shè)計(jì)和開發(fā)
10.3.3 AST階段3：開發(fā)自動(dòng)化軟件測(cè)試框架和測(cè)試腳本
10.3.4 AST階段4：自動(dòng)化測(cè)試的執(zhí)行和結(jié)果報(bào)告
10.3.5 AST階段5：程序?qū)彶楹驮u(píng)估
10.4 配置管理
10.4.1 AST階段1：需求收集——分析自動(dòng)化測(cè)試需求
10.4.2 AST階段2：測(cè)試用例設(shè)計(jì)和開發(fā)
10.4.3 AST階段3：開發(fā)自動(dòng)化軟件測(cè)試框架和測(cè)試腳本
10.4.4 AST階段4：自動(dòng)化測(cè)試的執(zhí)行和結(jié)果報(bào)告
10.4.5 AST階段5：審查并評(píng)估程序
10.5 質(zhì)量保證
10.5.1 AST階段1：需求收集——分析自動(dòng)化測(cè)試需求
10.5.2 AST階段2：測(cè)試用例設(shè)計(jì)和開發(fā)
10.5.3 AST階段3：開發(fā)自動(dòng)化軟件測(cè)試框架和測(cè)試腳本
10.5.4 AST階段4：自動(dòng)化測(cè)試的執(zhí)行和結(jié)果報(bào)告
10.5.5 AST階段5：審查并評(píng)估程序
10.6 領(lǐng)域?qū)＜遥?ME）
10.7 培訓(xùn)
小結(jié)
附錄
附錄A 過程一覽表
附錄B 將AST應(yīng)用到的各種測(cè)試類型
附錄C 工作中的利器
附錄D 案例研究：自動(dòng)化軟件測(cè)試框架（ASTF）示例