ISTQB Foundation - CHAPTER 5
1. TEST INDIPENDENCE
- Benefits of test indipendence: Lợi ích của tính độc lập test
o Recognize defferent kinds of failures – Nhận ra các loại failure khác nhau
o Verify assumptions – Xác minh các giả định
- Drawbacks of test indipendence: Hạn chế của tính độc lập test
o Isolation form the development team – Cô lập khỏi nhóm phát triển
o Developers may lose the sense of responsibility for quality – Dev có thể mất ý thức trách nhiệm về chất lượng
o Independent tester may be seen a bootleneck or blamed for delay in release – Test độc lập có thể được coi là điểm nghẽn/đổ lỗi cho sự chậm trễ trong phát hành
o Independent tester may be lack some important information – Tester độc lập có thể bị thiếu một vài thông tin quan trọng
2. TASK OF TEST MANAGER AND TESTER
|
Testing
activity |
Test
manager (Leader) task |
Tester
task |
|
Planning |
-
Create/update test plan – Tạo/sửa test plan -
Coordinate – Điều phối -
Share testing perspectives – Chia sẻ quan điểm test |
-
Review and contribute test plan – Review và đóng góp -
Create detail schedule – Tạo kế hoạch chi tiết |
|
Test analysis and design implement
and execution |
-
Initiate – Bắt đầu -
Support - Hỗ trợ -
Choose tools – Chọn công cụ -
Setup configuration management – Thiết lập quản lý cấu hình -
Decide – Quyết định -
Priority – Quyền ưu tiên |
-
Analyze, review, asses test basic – Phân tích, nhận xét, đánh giá -
Indentify test condition – Xác định điều kiện test -
Design, setup, verify test inviroment – Thiết kê, thiết lập, xác
minh môi trường test -
Design test case, procedures – Thiết kế TC, quy trình -
Prepare and acquire test data – Chuẩn bị và thu thập data test -
Execute test, evaluate the result – Test, đánh giá kết quả -
Auto test (Decide, emplement) -
Evaluate non-function – Đánh giá sự không hoạt động -
Review test developed – Đánh giá test đã phát triển |
|
Monitoring and control |
-
Monitor test progress and result – Theo dõi tiến độ và kết quả test -
Check status of exit criteria – Kiểm tra trạng thái tiêu chí kết
thúc -
Create test progress report – Tạo báo cáo tiến độ -
Adapt planning – Điều chỉnh kế hoạch -
Take corrective action (Decision) – Đưa quyết định khắc phục |
-
Use management tool – Sử dụng công cụ quản lý |
3. TEST PLANNING AND ESTIMATION
3.1. Purpose and content of test plan (IEEE 829) – Mục đích và nội dung của test plan
- Determining scope, objectives, risk of testing – Xác định phạm vi, mục tiêu, rủi ro của test
- Define test approach: Test activity, test level, test type, test technique… - Xác định phương pháp test
- Decision what to test, people, resource – Quyết định những gì cần kiểm tra, con người, nguồn lực
- Schedule – Kế hoạch
- Select metric – Chọn số liệu
- Determin level of detail for test document – Xác định mức độ chi tiết của tài liệu test
3.2. Test strategy and test approach – Chiến lược test và phương pháp test
|
Test
strategy – Chiến lược |
Test
approach – Phương pháp |
|
Analytical – Phân tích |
Requirment base or risk base –
Cơ sở yêu cầu, rủi do |
|
Model base – Cơ sở mô hình |
Base on aspect of product (Model,
embedded) – Căn cứ vào khía cạnh của sản phẩm |
|
Methodical base – Cơ sở phương
pháp |
Error guessing or checklist from
standard (ISO 25010) – Đoán lỗi hoặc checklist theo tiêu chuẩn |
|
Process compliant – Tuân thủ
quy trình |
Follow agile process – Thực hiện
theo quy trình linh hoạt |
|
Consultative – Tư vấn |
Guide by expert, user – Hướng dẫn
bởi chuyên gia, ng dùng |
|
Regression averse – Phản đối
hôi quy |
Highly automation test – Test tự
động cao |
|
Reactive/Dynamic/Heuristic |
Exploratory testing – Test thăm
dò |
3.3. Entry criteria and exit criteria - Tiêu chí bắt đầu và tiêu chí kết thúc
|
Entry
criteria (Smoke test) |
Exit
criteria |
|
When to start test level? Khi
nào bắt đầu kiểm tra cấp độ |
|
|
Check variable (Readiness): Kiểm
tra tính khả dụng -
Documents -
Prior test level met exit criteria -
Test enviroment -
Test tool -
Test data |
Check 5 criteria: -
Coverage (Thoroughness) -
Defect (Functional, non-functional: realiability) -
Cost/effort -
Time -
Residual risks: issue, open defect, untested |
3.4. Factor inffluencing the test effort – Yếu tố ảnh hưởng đến nỗ lực kiểm thử
Test effort estimation predicts amount of test related work – Dự đoán số lượng công việc liên quan đến kiểm thử
- Product characteristics – Đặc tính sản phẩm
- Development process characteristics - Đặc điểm quá trình phát triển
- People characteristics - Đặc điểm con người
- Test result/test outcome - Kết quả kiểm tra
3.5. Test estimation techniques – Kỹ thuật test estimate
- Metrics base: Base on historical of similar project or typical values- Dựa trên lịch sử của dự án tương tự hoặc giá trị tiêu biểu
- Expert base: Wisdom (Predict) by owner expert (Test manager, PM) use WBS – Dự đoán bởi test manager, PM, sử dụng WBS
4. TEST MONITORING AND CONTROL
|
Test
monitoring – Giám sát |
Test
control – Kiển soát |
|
Compare actual with plan to assess
test progress, quality, cost, time - So sánh thực tế với kế hoạch để đánh
giá tiến độ, chất lượng, chi phí, thời gian test Create test report – Tạo test
report |
Take decision (Crective action) - Đưa
ra quyết định (Hành động cải tiến) -
Reprioritizing - Tái ưu tiên -
Changing - Thay đổi -
Re-evaluating - Đánh giá lại -
Set entry criterion for bug fixing - Đặt tiêu chí bắt đầu để sửa lỗi |
|
Metric use in testing: -
Progress -
Quality -
Approach -
Effectiveness |
|
|
Content for test report (IEEE
829): -
Summary of testing -
Analysis -
Variances (deviations) from plan -
Metrics -
Evaluation (Residual) |
|
5. CONFIGURATION MANAGEMENT
- The purpose is to establish and maintain the integrity of system - Mục đích là thiết lập và duy trì tính toàn vẹn của hệ thống
- All test item are uniquely identified, version controlled, track for changes, and related to each other - Tất cả các mục test đều được xác định duy nhất, được kiểm soát phiên bản, theo dõi các thay đổi và liên quan với nhau
6. RISK AND TESTING
Risk level = Likelihood (Probability) x Impact (Harm)
|
Project
risk |
Product
risk |
|
Scope, cost, time |
Quality of product |
|
Relate to management and control: People, tool,
customer, technical, schedule, budget, work product - Liên quan đến quản
lý và kiểm soát: Con người, công cụ, khách hàng, kỹ thuật, tiến độ, ngân
sách, sản phẩm công việc |
Relate to test objective: Liên
quan đến mục tiêu kiểm tra -
Failure delivered -
The potential that software/hardware could cause harm to an
individual/company -
Poor software charisteritic (Functionality, reliability, usability,
performance) - Khả năng có thể gây hại cho cá nhân/công
ty -
Poor data intergity and quality - Tính toàn vẹn và chất lượng dữ
liệu kém -
Software that does not perform intended function - Phần
mềm không thực hiện được chức năng như mong muốn |
|
Action: PM, Test manager -
Migration/reduce risk |
Action: Tester -
Test technique -
Level and type of test -
Extent of test -
Prioritize testing -
Any activities in addition to testing |
7. DEFECT MANAGEMENT
- Incident: the discrepancies between actual and expected outcomes - sự khác biệt giữa kết quả thực tế và kết quả mong đợi
- An incident must be investigated and may turn out to be defect - Một sự cố phải được điều tra và có thể trở thành khiếm khuyết
Incident reports have the following objectives: Báo cáo sự cố gồm các mục tiêu
- Provide information to be enable fixing defects - Cung cấp thông tin để có thể khắc phục lỗi
- Provide a means of tracking quality - Cung cấp phương tiện theo dõi chất lượng
- Provide ideas for test process improvement - Đưa ra ý tưởng cải tiến quy trình kiểm thử
A defect include fields: Một lỗi bao gồm các trường
- A title and short summary - Tiêu đề và tóm tắt ngắn gọn
- Date
Indentification of the test item (version) and inviroment - Xác định hạng mục kiểm thử (phiên bản) và môi trường
- A description including logs, database dumps, screenshorts, recordings - Mô tả bao gồm nhật ký, kết xuất cơ sở dữ liệu, ảnh chụp màn hình, bản ghi
- Expected and actual result - Kết quả mong đợi và thực tế
- Severity (Impact) - Mức độ nghiêm trọng (Tác động)
Priority (Business importance) - Ưu tiên (Tầm quan trọng của doanh nghiệp)
- State