1.애플리케이션 테스트 관리
1) 애플리케이션 테스트
* 소프트웨어 테스트
- 개발된 응용프로그램이나 시스템이 사용자가 요구하는 성능이나 사용성, 안정성 등을 만족하는지 확인하고 소프트웨어 결함을 찾아내는 과정
- 오류 발견의 관점, 오류 예방의 관점, 품질 향상 관점(발예향)
* 테스트 프로세스 : 테스트 계획 -> 분석/설계 -> 수행 -> 관리
* 소프트웨어 테스트 원리
- 테스팅은 결함이 존재하는 것을 밝혀내는 행동
- 완벽한 테스팅은 없다.
- 개발 초기에 테스팅을 시작 ( 개발 완료 후 테스팅을 시작하면 비용 및 시간 증가 )
- 결함의 집중 ( 결함은 한 모듈에 집중되어 있다 )
- 살충제 패러독스 ( 2020 실기 1회 기출문제 )
: 동일한 테스트 케이스로 테스트를 진행하면 더이상 새로운 결함을 찾을 수 없으므로 주기적으로 테스트 케이스를 점검하고 관리하여야 한다.
- 테스팅은 정황에 의존적
- 오류-부재의 궤변(서술형)
: 요구사항을 충족시켜주지 못한다면, 결함이 없다고 해도 품질이 높다고 볼 수 없는 소프트웨어 테스트 원리
(결완초집 살정오) 소프트웨어 테스트의 원리 - 결함이 존재 / 완벽한 테스팅 불가능 / 초기에 테스팅 시작 / 결함집중 / 살충제 패 러독스 / 정황에 의존 / 오류-부재의 궤변
* 소프트웨어 테스트 산출물
- 테스트 계획서(테스트 수행 계획), 테스트 케이스(테스트 항목 명세서, 설계 산출물), 테스트 시나리오(테스트 절차 명세), 테스트 결과서(테스트 리프팅)
- 정적 테스트 : 프로그램 실행 없이 구조를 분석하여 논리성을 검증 ( 동료검토, 인스펙션, 워크스루 )
- 동적 테스트 : 프로그램 실행을 요구하는 테스트 ( 화이트박스, 블랙박스 테스트 )
* 요구사항 검토(Requirements Review)
요구사항 명세서의 오류 확인 및 표준 준수 여부 등의 결함 여부를 검토 담당자들이 수작업으로 분석하는 방법
* 종류
- 동료 검토(Peer Review) : 요구사항 명세서 작성자가 내용을 직접 설명, 동료들이 이를 들으면서 결함 발견
- 워크 스루(Walk Trough) : 검토 회의 전 요구사항 명세서를 미리 배포하여 사전 검토 회의를 통해 결함 발견
- 인스펙션(Inspection) : 요구사항 명세서 작성자를 제외한 다른 검토 전문가들이 결함 발견
- 프로토타이핑 : 실제 개발될 소프트웨어에 대한 견본품을 만들어 최종 결과물 예측
- 테스트 설계 : 테스트 케이스를 생성해 이후에 요구사항이 현실적으로 테스트 가능한지 검토
- CASE 도구 활용 : 일관성 분석을 통해 요구사항 변경사항의 추적 및 분석, 관리, 표준 준수 여부 확인
◆ 화이트박스 테스트(White-Box Test): 원시 코드의 논리적인 모든 경로를 테스트하여 테스트 케이스를 설계하는 방법 (구조 검사)
◆ 화이트박스 테스트 유형
- 구문(문장) 커버리지 : 프로그램 내의 모든 명령문을 적어도 한 번 수행하는 커버리지
- 결정(선택, 분기) 커버리지 : 결정 포인트 내의 전체 조건식이 적어도 한번은 참과 거짓의 결과가 되도록 수행하는 커버리지
- 조건 커버리지 : 결정 포인트 내의 각 개별 조건식이 적어도 한번은 참과 거짓의 결과가 되도록 수행하는 커버리지
- 조건/결정 커버리지 : 전체 조건식 & 개별 조건식 모두 참 한번, 거짓 한 번 결과가 되도록 수행하는 커버리지
- 변경 조건/결정 커버리지 : 개별 조건식이 다른 개별 조건식에 영향을 받지 않고 전체 조건식에 독립적으로 영향을 주도록 하는 커버리지
- 다중 조건 커버리지 : 결정 조건 내 모든 개별 조건식의 모든 가능한 조합을 100% 보장하는 커버리지
- 기본 경로 커버리지 : 수행 가능한 모든 경로를 테스트 하는 기법
- 제어 흐름 테스트 : 프로그램 제어 구조를 그래프 형태로 나타내어 내부 로직을 테스트하는 기법
- 데이터 흐름 테스트 : 제어 흐름 그래프에 사용현황 추가한 테스트 기법
◆ 블랙박스 테스트(Black-Box Test): 사용자의 요구사항 명세를 보면서 수행하는 테스트 (기능 검사)
◆ 블랙박스 테스트 유형
- 동등 분할 테스트 : 입력 데이터의 영역을 유사한 도메인별로 유효값/무효값을 그룹핑하여 대푯값 테스트 케이스를 도출하여 테스트 하는 기법
- 경곗값 분석 테스트 : 입력 조건의 경계값을 테스트 케이스로 선정하여 검사하는 기법
- 결정 테이블 테스트 : 요구사항의 논리와 발생조건을 테이블 형태로 나열하여, 조건과 행위를 모두 조합해 테스트
- 상태 전이 테스트 : 이벤트에 의해 어느 한 상태에서 다른 상태로 전이 되는 경우의 수를 수행하는 테스트
- 유스케이스 테스트 : 유스케이스로 모델링 되어 있을 때 프로세스 흐름을 기반으로 테스트 케이스를 명세화해 수행하는 테스트
- 분류 트리 테스트 : SW의 일부 또는 전체를 트리구조로 분석 및 표현하여 테스트 케이스 설계하여 테스트
- 페어와이즈 테스트 : 테스트 데이터 값들 간에 최소한 한 번씩을 조합하는 방식
- 원인-결과 그래프 테스트 : 그래프를 활용해 입력 데이터 간의 관계 및 출력에 미치는 영향을 분석하여 효용성이 높은 케이스를 선정하여 테스트
- 비교 테스트 : 여러 버전의 프로그램에 같은 입력값을 넣어 동일한 데이터가 나오는지 비교하는 테스트
◆ 테스트 시각에 따른 분류
- 검증(Verification): 소프트웨어 개발 과정을 테스트, 개발자 또는 시험자의 시각
- 확인(Validation): 소프트웨어 결과를 테스트, 사용자 시각
- 검증 : 소프트웨어 과정을 테스트 ( 개발자 관점 )
- 확인 : 소프트웨어 결과를 테스트 ( 사용자 관점 )
2) 소프트웨어 테스트 유형 (단답형/서술형)
- 회귀 테스트 : 오류를 제거하거나 수정 후 새롭게 유입된 오류가 있는지 테스트
- 회복 테스트 : 고의로 실패 유도 후 정상 복귀 여부 확인하는 테스트
- 안전 테스트 : 소스 내의 보안적인 결함을 확인
- 강도 테스트 : 과부하 시 정상적인 동작을 하는지 테스트
- 성능 테스트 : 응답시간, 특정 시간, 처리량 등 시스템 반응 속도 테스트 (처응경쟈)
- 구조 테스트 : 시스템 내부의 경로나 소스코드 복잡도 테스트
- 병행 테스트 : 변경된 시스템과 기존의 시스템에 동일한 데이터 입력 후 결과 비교
3) 소프트웨어 테스트 종류
** 구조 기반 테스트 ( 화이트박스 테스트)
* 구문 커버리지
- 프로그램 내 모든 명령문을 적어도 한 번 수행
* 결정 커버리지
- 프로그램 내 전체 결정문이 적어도 한 번은 참과 거짓의 결과를 수행
- 프로그램 내의 전체조건식이 적어도 한 번은 참과 거짓의 결과를 수행하는 테스트 케이스
* 조건 커버리지
- 결정 명령문 내 각 조건이 적어도 한 번은 참과 거짓의 결과가 출력되도록 수행
- 전체 조건식과 결과와 관계없이 각 개별 조건식이 참/거짓 한 번만 모두 갖도록 개별 조건식을 조합하는 테스트 커버리지
* 조건-결정 커버리지
- 전체 조건 식 뿐 아니라 개별 조건식도 참, 거짓이 한 번 씩 결과가 되도록 수행
- 결정 명령문 내의 각 조건(개별조건)과 전체조건식이 적어도 한 번은 참과 거짓의 결과를 수행하는 테스트 케이스
* 변경 조건/결정 커버리지
- 각 개별 조건식이 다른 개별 조건식에 영향을 받지 않고 전체 조건식의 독립적 영향을 주도록 수행
* 다중 조건 커버리지
- 결정 포인트 내에 있는 모든 개별 식 조건의 모든 조합을 고려한 커버리지
* 명세 기반 테스트 : 동등 분할, 경계값 분석, 결정 테이블, 유스케이스, 상태 전이 ( 블랙박스 테스트 )
* 경험 기반 테스트 : 블랙박스 테스트
* 테스트 케이스 : 특정 요구사항을 준수하는지 확인하기 위해 입력값, 실행조건, 예상 결과의 집합
4) 테스트 오라클(참샘휴일)
테스트의 결과값이 참인지 거짓인지 판단하기 위해서 사전에 정의한 참 값을 입력하여 비교
* 종류
- 참 오라클 : 모든 입력값에 대해 기대하는 결과 생성, 모든 오류 검사
- 샘플링 오라클 : 특정 몇 개의 입력값에 대해 결과값을 제공
- 휴라스틱 오라클 : 샘플 오라클을 개선한 것으로 특정 몇 개의 입력값에 대한 결과를 제공하고 나머지는 추정
- 일관성 검사 오라클 : 애플리케이션 변경이 있을 대 수행 전 후의 결과값이 동일한지 확인
* 테스트 레벨 : 테스트 활동의 그룹
| 단위 테스트 | 통합 테스트 | 시스템 테스트 | 인수 테스트 |
| 단위 모듈, 서브루틴 | 모듈 간 상호작용 | 시스템 기능 | 사용자 입장 테스트 베타/알파 테스트 |
* 테스트 시나리오 : 테스트를 수행하기 위한 테스트 케이스의 집합으로 테스트 케이스의 실행 순서와 절차를 작성한 문서
5) 통합 테스트
소프트웨어의 각 모듈 간의 인터페이스 관련 오류와 결함을 찾아내는 테스트
- 하향식 통합 : 깊이-너비, 스텁
- 상향식 통합 : 드라이버
- 빅뱅 통합 : 실제 모듈 테스트 진행
6) 테스트 자동화 도구(단답형)
테스트 도구를 활용하여 반복적인 테스트를 스크립트 형태로 구현하여 시간 단축과 비용 최소화
* 정적 분석 도구(2020 실기 2회 기출문제) : 애플리케이션을 실행하지 않고 테스트 수행
- 애플리케이션을 실행하지 않고 소스코드에 대한 표준 코딩, 코딩 스타일, 코드 복잡도 및 결함을 발견하기 위해 사용
* 성능 테스트 도구
- 애플리케이션 처리량, 응답시간, 경과시간에 대해 가상 사용자를 생성하여 테스트 실행
* 테스트 통제 도구
- 테스트 계획 및 관리를 위한 테스트 관리 도구
* 테스트 하네스
- 테스트를 지원하기 위한 코드와 데이터를 말하며 단위 테스트에 사용하기 위해 개발자가 작성
* 테스트 슈트
- 테스트 대상 컴포넌트나 시스템에 사용되는 테스트 케이스 집합
* 테스트 케이스
- 입력값, 실행 조건, 기대 결과 등의 집합
* 테스트 스크립트
- 자동화된 테스트 케이스의 절차와 실행 순서 명시
* 목 오브젝트
- 사용자의 행위를 조건부로 사전에 입력해두면 예정된 행위를 수행하는 객체
7) 소프트웨어 결함
- 에러/오류 : 결함의 원인이 되는 것으로 인간의 실수에서 생성
- 결함/버그 : 에러나 오류가 원인이 되어 소프트웨어에 포함되어 있는 것
- 실패/문제 : 소프트웨어 결함이 시스템 실행 시 발생되어 시각적으로 문제를 확인
* 결함 추이 분석
- 분포 분석 : 결함의 수
- 추세 분석 : 시간의 흐름에 따른 결함의 수
- 에이징 분석 : 결함 상태의 지속시간 측정
* 테스트 커버리지 : 테스트 범위를 측정하는데 테스트 품질 측정 기술
* 구문 커버리지 - 결정 커버리지 - 조건/결정 커버리지 - 변경 조건 커버리지 - 다중 조건 커버리지
* 결함 심각도
- 치명적 - 주요 - 보통 - 경미 - 단순
* 결함 우선순위
- 치명적 - 높음 - 중간 - 낮음
8) 애플리케이션 성능 측정 지표( 2020 실기 1회 기출문제 )
* 처리량(Throughput)
- 일정 시간 내 애플리케이션이 처리하는 작업의 양
- 애플리케이션이 주어닌 시간에 처리할 수 있는 트랜잭션 수
* 응답시간(Response Time)
- 애플리케이션에 작업을 요청해서 응답 도착까지 걸린 시간
- 응답 후 입력에 대한 응답 출력(완료된 상태)
* 경과시간(Turn Around Time)
- 애플리케이션에 작업을 의뢰한 시간부터 처리가 완료될 때까지 걸린 시간
- 요구를 입력하여 트랜잭션 처리 후 출력(완료가 되지 않은 상태)
* 자원사용률(단답형)
- 애플리케이션이 작업을 처리할 동안의 CPU, MEM, DISK 등의 사용량
* 성능 테스트 도구 : JMeter, Load UI
* 시스템 모니터링 도구
- 스카우터 : 애플리케이션 및 OS 자원에 대한 모니터링 기능을 제공하는 소프트웨어
* 애플리케이션 성능 개선
- 나쁜 코드 : 다른 개발자가 로직을 이해하기 어렵게 작성된 코드, 동일한 처리 로직이 중복되게 작성된 코드 등
- 클린 코드 : 의미있는 이름, 간결하고 명확한 주석, 보기좋은 배치 ( 가독성, 유지보수, 프로그래밍 속도 증가 )
* 소스코드 품질 분석
- 정적 분석 도구 : 작성된 코드를 실행시키지 않고 분석
- 동적 분석 도구 : 애플리케이션을 실행하여 코드에 존재하는 메모리 누수 현황 파악 및 스레드의 결함 분석
* 애플리케이션 성능 개선 방안
- 소스코드 최적화
- 아키텍처 조정을 통한 성능 개선
- 프로그램 호출 순서 조정 적용
- 소스코드 품질 분석 도구 활용
- 메모리 사용 최적화 적용
- 입출력 발생의 최소화
- System.out.println() 사용 제외