이 책은 국제개발협력사업 평가와 모니터링의 이론부터 실제를 설명하는 책이다. 국제개발협력평가에 대한 중요성은 높아져 가고 있지만, 평가에 대해 이론부터 실제까지의 정보를 종합적이고 포괄적으로 소개한 책은 없었다. 이 책은 국제개발협력평가에 대한 체계적인 학습과 실제적인 평가 수행이 가능하도록 이론부터 실제까지의 평가에 대한 종합적 지식을 담았다. 프로그램이론과 변화이론과 같은 평가 관련 주요 이론을 소개하고, 단계별 평가업무 수행법을 예시와 함께 설명하며, 평가를 위한 실제 분석 도구(tools)와 조사 방법을 알려 준다. 또한, 영향평가, 인도주의활동평가와 같은 평가 관련 최신 동향을 소개하여 시의성 있는 정보를 확인할 수 있도록 하였다. 이 책은 독자 여러분들이 평가 기초 이론과 함께 실용적인 지식을 습득하고 평가를 실제로 수행할 수 있도록 하는 유용한 참고서가 될 것이다.

기후 위기, 분쟁, 감염병 위기와 같은 새롭고 복잡한 위기에 대응하여 효과적인 사업 수행을 위해 국제개발협력평가는 어떻게 변화해야 하는가.

제2차 세계 대전 이후 70여 년간 이어져 왔던 국제개발협력은 21세기에 전환점을 맞이하고 있다. 기후 위기와 감염병 위기와 같은 전과 다른 위기에 대응하기 위해 국제사회는 국제개발협력사업의 효과성 제고를 통해 위기에 보다 효율적으로 대응하고자 노력하고 있다. 혁신을 위해서는 사업에 대한 논리적이고 체계적이며, 객관적인 성찰을 통한 학습이 필요하다. 따라서 다양한 국제개발협력기관은 성과 관리와 평가 강화를 통해 위기 대응 능력을 강화하고자 노력하고 있다.

하지만 개발협력에서의 평가는 개념에 대한 체계적인 학습과 더불어 실제 수행에 대한 실용 지식이 필요한 복잡한 주제이다. 그러나 아직까지 국제개발협력평가에 대해 이론부터 실제까지의 정보를 종합적이고 포괄적으로 소개한 책은 없었다. 이 책은 평가와 관련된 다양한 개념과 의미를 정리하고, 단계별 평가 업무 수행법을 예시와 함께 소개하고, 평가를 위한 실제 분석 도구(tools)와 조사 방법을 설명한다. 이 책은 독자 여러분들이 평가 이론을 체계적으로 이해하고, 실제 평가 업무를 단계별로 수행할 수 있도록 실질적인 정보와 자료를 포함했다.

이 책은 크게 네 부분으로 구성된다. 첫 번째 부분에서는 평가와 관련된 주로 개념과 배경 이론을 담고 있다. 먼저 평가의 정의, 원칙, 기준, 유형에 대해서 알아보고, 이어 개발협력평가에서 논리적 기초가 되는 프로그램이론과 변화이론에 대해서 살펴본다. 두 번째 부분은 평가 단계별 업무를 소개한다. 평가업무를 기획, 수행, 종료의 세 단계로 구분하여 단계별 수행 사항을 다양한 도구(tool)와 예시와 함께 설명한다. 세 번째 부분에서는 개발협력평가에서 많이 사용되는 문헌조사, 인터뷰, 포커스 그룹, 설문조사 등의 방법론과 함께, 다양한 방법론을 통해 수집한 데이터의 분석법에 학습한다. 마지막으로 네 번째 부분에서는 평가와 관련된 최근 이슈들을 보다 심도 있게 살펴본다. 먼저 영향평가와 인도주의활동평가의 특성과 방법을 살펴본다. 아울러 최근 강조되고 있는 평가 윤리와 평가 품질 보증 방법에 대해 생각해 본다.

한정된 개발협력자원에 비해 대응해야 할 위기 상황이 증가하는 현재 명확한 평가를 통해 재원활용의 효과성을 높이는 문제는 더욱 중요해지고 있다. 이에 따라 많은 개발협력기관에서는 평가를 통한 학습을 강조하며 사업 효과성을 높이기 위해 노력하고 있다. 이 책은 평가 이론부터 실제까지를 총망라한 정보와 지식을 제공하여 독자 여러분들이 평가의 정확한 의미를 학습하고 평가 업무에 대한 실용적인 지식을 습득하여 평가를 실제로 수행하는 데 있어 유용한 지침서가 될 것이다.

제1장 평가의 주요 개념

1. 평가 정의

2. 평가 목적

3. 평가 기준

4. 평가 원칙

5. 평가 종류

제2장 프로그램이론과 변화이론

1. 이론적 배경

2. 프로그램이론의 구성

3. 논리모형과 변화이론

4. 의미와 한계

제3장 평가 기획

1. 사전 조사

2. 평가 질문 개발

3. 평가계획서 수립

제4장 평가 수행

1. 평가수행계획서 작성

2. 데이터 수집

3. 현지 조사

4. 수행 관리

제5장 평가 종료와 보고

1. 평가결과보고서 작성

2. 평가 결과 소통

3. 평가 결과 활용

제6장 데이터 수집 I

1. 데이터 수집 전략

2. 문헌 조사

3. 인터뷰

제7장 데이터 수집 II

1. 포커스그룹

2. 전문가 판단

3. 설문 조사

제8장 표본 추출

1. 의미

2. 방법

3. 비무작위표집법

4. 무작위표집법

제9장 데이터 분석

1. 분석의 의미

2. 정성 분석

3. 정량 분석

4. 지표와 범위

제10장 영향평가 I: 정성평가와 RCT

1. 기여도분석

2. 가장중요한변화법

3. RCT와 인과추론

4. RCT 수행 방법

5. RCT 설계 시 고려 사항

6. RCT의 한계

제11장 영향평가 II: 준실험설계법

1. 전후비교법

2. 단절적시계열기획법

3. 비동등집단설계법

4. 회귀불연속기획법

5. 이중차분법

제12장 인도주의활동평가

1. 주요 개념

2. 모니터링과 평가 주기

3. 실시간평가와 공동평가

4. 주의 사항

제13장 평가 품질과 윤리

1. 평가 품질

2. 평가와 정치

3. 평가 윤리

제14장 조직성과관리

1. 배경과 의미

2. 사례 분석

3. 의미와 한계

참고문헌

표 목차

<표 1-01> 평가의 다양한 정의들

<표 1-02> OECD DAC 평가 기준

<표 1-03> 평가의 종류

<표 2-01> 프로그램이론의 서로 다른 정의

<표 2-02> 논리모형 예시

<표 2-03> PDM의 구조와 내용

<표 3-01> 평가 질문 유형

<표 3-02> OECD DAC 평가 기준별 표준 질문

<표 3-03> 평가 질문 점검표

<표 3-04> 예산을 고려한 표본규모 조절

<표 3-05> 평가계획서의 구성

<표 3-06> 평가팀 업무 일자 산정 양식

<표 3-07> 평가 예산 항목 예시

<표 4-01> 평가매트릭스 양식

<표 5-01> 평가결과보고서 구성 예시 

<표 5-02> 평가결과보고서 품질확인서

<표 5-03> 관리자답변매트릭스

<표 6-01> SDGs 지표 관련 데이터베이스

<표 6-02> 문헌 자료 분류 기준

<표 6-03> 문헌 자료 선정 기준표 예시

<표 7-01> 개방형 질문과 폐쇄형 질문 비교

<표 8-01> 95% 신뢰 수준과 5% 오차 범위에 필요한 최소 표본 크기

<표 8-02> 엑셀로 생성한 난수표

<표 9-01> 코드와 코딩 구조 예시

<표 9-02> 코드 색인 예시

<표 9-03> 평가매트릭스를 활용한 삼각측량법

<표 9-04> 에티오피아인종 명목 데이터 빈도표

<표 9-05> 시험 성적 등간 데이터 빈도표

<표 9-06> 성별 만족도 조사결과표

<표 9-07> QQT targeting 예시

<표 13-01> 유용성 세부 기준과 설명

<표 13-02> 타당성 세부 기준과 설명

<표 13-03> 정당성 세부 기준과 설명

<표 13-04> 정확성 세부 기준과 설명

<표 13-05> 책무성 세부 기준과 설명

<표 13-06> AEA의 평가자를 위한 원칙

<표 13-07> UNEG 평가 윤리 가이드라인의 평가 원칙

<표 14-01> 네덜란드 중점 지원 주제와 국별프로그램 연계

그림 목차

<그림 2-01> 프로그램이론의 구조

<그림 2-02> 변화이론 예시

<그림 2-03> 프로그램이론 예시

<그림 2-04> PDM의 논리 체계

<그림 2-05> 변화이론 도식화 예시

<그림 2-06> 구체화된 변화이론 도식의 예시

<그림 3-01> 평가 기획 절차

<그림 4-01> 평가 수행 절차

<그림 5-01> 평가 종료 절차

<그림 5-02> 그래프를 활용한 시각화 예시

<그림 5-03> 워드클라우드를 사용한 핵심 단어 표현 예시

<그림 9-01> 상자수염그래프

<그림 9-02> 표준정규분포 그래프

<그림 11-01> 전후비교법

<그림 11-02> 단절적시계열기획법

<그림 11-03> 단순 비동등집단설계법

<그림 11-04> 코호트 비동등집단설계법

<그림 11-05> 기초선 추가 비동등집단설계법

<그림 11-06> 회귀불연속기획법

<그림 11-07> 이중차분법

<그림 14-01> 개발협력기관 조직성과관리틀

<그림 14-02> 네덜란드 원조 성과체계

상자 목차

<상자 1-01> OECD DAC의 평가 정의

<상자 1-02> 모니터링과 평가 비교

<상자 3-01> 사업 평가 기획 수립에 필요한 주요 문서 예시

<상자 3-02> 사업 관련 주요 이해관계자 예시

<상자 4-01> 평가수행계획서 목차 예시

<상자 6-01> 반구조화인터뷰 추가 질문 예시

<상자 6-02> 인터뷰 체크리스트

<상자 6-03> 인터뷰기법 사용 시 유의점

<상자 7-01> 포커스그룹 사용 시 유의점

<상자 7-02> 평가에서 델파이 기법 사용

<상자 7-03> 설문 조사 질문 작성에서 발생 가능한 실수

<상자 7-04> 설문 조사 시 유의점

<상자 8-01> 미국 대선 여론 조사와 표집틀의 중요성

<상자 10-01> 평가 협약서 주요 내용

<상자 12-01> 인도주의활동 원칙

<상자 12-02> 인도주의 지원 평가 기준

<상자 13-01> 뉘른베르크 강령

<상자 13-02> 터스키기 매독 실험