국제개발협력 프로젝트의 평가와 검증: 일관성과 발전적 방향

1. 서론: 국제개발협력에서 평가와 검증의 중요성

국제개발협력 사업의 성공을 측정하고 투명성과 책무성을 확보하기 위한 필수 과정으로서 평가와 검증의 중요성이 점점 더 강조되고 있다. 평가는 단순히 프로젝트의 결과를 확인하는 차원을 넘어, 개발효과성을 증진하고 지속가능발전목표(SDGs) 달성에 기여하는 핵심 메커니즘이다. 프로젝트가 '얼마나 잘 맞는가', 즉 '일관성'에 주목하는 최근의 평가 패러다임 변화는 독립된 프로젝트가 아닌 전체 개발생태계 내에서의 조화를 강조한다.

효과적인 평가와 검증 체계는 원조의 투명성과 책무성을 높일 뿐만 아니라, 향후 사업의 효과성을 개선하는 중요한 학습도구로 기능한다. 강경재 교수의 강의자료에서 강조된 바와 같이, 사후평가(Ex-post Evaluation)와 평가 검증(Validation)은 프로젝트의 실제 성과를 객관적으로 측정하고, 그 결과를 미래 사업에 반영함으로써 원조의 질을 높이는 선순환 구조를 만든다.

2. OECD DAC의 평가 가이드라인과 평가기준 개정

2.1 기존 평가기준과 개정 배경

국제개발협력 분야에서 OECD 개발원조위원회(DAC)의 평가기준은 1991년 처음 수립된 이후 약 30년간 공여국과 국제기구의 사업 평가에 주요 지침이 되어왔다. 기존의 5대 평가기준은 적절성(Relevance), 효과성(Effectiveness), 효율성(Efficiency), 영향력(Impact), 지속가능성(Sustainability)으로 구성되어 있었다.

하지만 2015년 지속가능발전목표(SDGs)의 채택 등 개발환경의 변화로 인해, OECD DAC은 2019년 평가기준을 개정하였다. 이는 단순히 기준을 추가하는 것을 넘어, 국제개발협력의 패러다임 변화를 반영한 중요한 전환점이었다.

2.2 개정된 평가기준과 일관성의 중요성

2019년 개정된 OECD DAC 평가기준은 기존의 5개 기준을 유지하되 정의를 수정하고, 일관성(Coherence)이라는 새로운 기준을 추가하여 총 6개 기준으로 확대되었다:

1. 적절성(Relevance): 사업 설계 및 결과가 핵심 이해관계자의 수요에 부합하는지 여부를 평가한다.
2. 효과성(Effectiveness): 사업 성과의 달성, 달성 범위와 정도, 부가가치 창출 등을 평가한다.
3. 효율성(Efficiency): 적시에 경제적인 방법으로 자원 투입이 이루어졌는지 여부를 평가한다.
4. 영향력(Impact): 사업을 통한 장기적 변화를 평가한다.
5. 지속가능성(Sustainability): 지원 종료 후에도 긍정적 영향의 지속 여부를 평가한다.
6. 일관성(Coherence): 타 국가, 분야, 기관의 사업과의 양립가능성 및 시너지를 평가한다.

특히 주목할 만한 점은 '일관성' 기준의 추가이다. 강경재 교수의 강의자료에서 강조하듯이, 일관성은 개발협력 프로젝트가 고립된 결과에 집중하는 것이 아니라 전체 정책 환경과 개발 생태계 내에서 어떻게 조화롭게 작동하는지를 평가한다. 일관성은 내부적 일관성(Internal Coherence)과 외부적 일관성(External Coherence)으로 구분된다.

• 내부적 일관성: 프로젝트가 같은 공여국/기관의 다른 지원 프로젝트와 일치하는지, 시너지 효과가 있는지, 국제 규범과 표준에 부합하는지 여부를 평가한다.
• 외부적 일관성: 다른 행위자들의 개입과의 일관성, SDG 목표와의 부합도, 정책과의 일치도 등을 평가한다.

3. 주요 기관별 평가체계 및 검증방법 비교분석

3.1 KOICA(한국국제협력단)의 평가체계와 검증

KOICA의 평가체계는 1996년 평가 전담부서 설치 이후 지속적으로 발전해왔다. KOICA는 평가등급 시스템을 통해 사업 성과를 체계적으로 관리하며, 독립평가패널과 품질검토위원회를 통한 검증 절차를 강화하고 있다.

KOICA는 자체평가와 함께 제3자 평가를 병행하여 객관성을 확보하고 있으며, 6등급(A~F) 평가시스템을 적용하여 사업 성과를 세분화하여 평가한다. 특히 최근에는 OECD DAC의 개정된 평가기준을 적극 반영하여 일관성 측면의 평가를 강화하고 있다.

검증 측면에서 KOICA는 평가부서의 평가담당 직원이 평가 절차에 대한 자문과 보고서 검토를 통해 필요한 검증 절차를 진행한다. 최종 평가보고서가 접수되면 평가 결과에 대한 종합적인 심층 검토를 실시하고, 품질평가도 함께 수행하며, 필요시 조정사항을 권고한다.

3.2 EDCF(대외경제협력기금)의 평가체계와 검증

EDCF는 다른 원조개발기관들과 마찬가지로 체계화된 평가 및 검증 절차를 갖추고 있다. EDCF의 평가는 자체등급 시스템에 기반하여 OECD DAC 평가기준별로 점수를 부여하고 있다.

EDCF는 각 평가기준에 대해 1~4점 척도로 성과를 측정하며, 이러한 개별 점수를 평균내어 프로젝트의 전반적인 성과를 평가한다. 일반적으로 적절성, 효과성, 효율성, 지속가능성 등 네 가지 기준이 적용되며, 때로는 영향력이 추가되기도 한다.

EDCF의 평가검증 절차는 평가부서의 평가담당관이 배정되어 평가 절차에 대한 자문과 보고서 검토를 담당한다. 최종 평가보고서 접수 후 심층 검토를 통해 결과의 타당성을 확인하고, 보고서가 요구되는 표준과 방법론을 준수했는지 품질평가를 실시한다. 검토 후 필요한 경우 데이터, 방법론, 결론 등에 관한 조정사항을 권고한다.

3.3 JICA(일본국제협력기구)의 평가체계와 검증

JICA는 프로젝트의 PDCA(Plan-Do-Check-Action) 사이클 전반에 걸친 일관된 평가를 실시한다. JICA의 평가체계는 다음과 같은 특징이 있다:

1. 프로젝트 PDCA 사이클 전반에 걸친 일관된 평가: 지원 유형(기술협력, ODA 대출, 무상원조)에 관계없이 모든 프로젝트에 대해 PDCA 사이클에 기반한 평가를 수행한다.
2. 세 가지 지원 방식에 대한 일관된 방법론과 기준: 모든 지원 유형에 대해 크로스섹터럴 평가 방법론을 적용한다.
3. 주제별 평가를 통한 부문 간, 종합적 평가: 특정 주제를 중심으로 프로젝트 그룹을 분석하여 권고사항과 교훈을 도출한다.
4. 객관성과 투명성 보장: 외부 평가를 통한 객관성 확보와 결과의 공개를 통한 투명성을 강화한다.
5. 평가 결과 활용 강조: 평가 결과를 향후 프로젝트와 전략에 반영한다.

JICA의 평가 시스템은 흐름도(flow chart) 방식을 적용하여 각 기준별 단계적 평가를 실시한다. 예를 들어, 적절성과 일관성 평가에서 먼저 통과해야 다음 단계인 효과성과 영향력 평가로 넘어갈 수 있다. 검증 측면에서, 제3자에 의한 객관적 검증을 철저하게 실시하며, 평가 결과를 투명하게 공개하고 이를 향후 프로젝트에 적극 반영하는 체계를 갖추고 있다.

3.4 ADB(아시아개발은행)의 평가체계와 검증

아시아개발은행(ADB)은 국가협력전략(CPS)이 종료되는 주기에 맞춰 국별평가를 실시하며, 그 성과에 대한 독립적인 평가를 진행한다. ADB의 평가체계는 다음과 같은 특징을 보인다:

1. 이원화된 평가 시스템:

   • 국별 프로그램 평가(Country Assistance Programme Evaluation, CAPE): 독립평가부서(IED)에서 실시하는, 협력전략에 따른 총괄적 프로그램 평가를 진행한다.
   • 국가협력전략 최종평가(Country Partnership Strategy Final Review, CPSFR): 사업운영부서에서 실시하는 자체평가를 진행한다.

2. 체계적인 검증 시스템(MARS): ADB는 평가 결과를 환류하기 위한 별도의 정보시스템인 '관리조치기록시스템'(Management Action Record System, MARS)을 운영한다. 이 시스템에서는 평가결과의 제언을 정책화한 비율, 실제 집행률 등을 구체적으로 관리한다.

3. 단계적 검증 절차: ADB의 검증은 크게 7단계로 이루어진다. 평가팀은 증거와 분석의 품질 및 완전성을 검토하고, ADB 가이드라인 및 표준과의 일치 여부를 확인한다. 또한 보고서 내의 일관성, 경제적/사회적/환경적 요소의 충분한 반영, 명확하고 간결한 보고서 작성, 교훈 및 권고사항의 질 등을 평가한다.

4. 투명한 정보 공개: ADB는 평가 투명성을 위해 원본 평가보고서와 검증 보고서를 모두 홈페이지를 통해 공개한다. 또한 교훈 데이터베이스(Lessons database)를 운영하여 주제별, 국가별 보고서를 공개함으로써 향후 평가에 참고할 수 있도록 한다.

4. 평가와 검증의 발전적 방향

4.1 평가의 독립성과 객관성 강화

평가체계의 발전을 위해서는 무엇보다 평가의 독립성과 객관성이 보장되어야 한다. 이를 위해 다음과 같은 방안이 고려될 수 있다:

1. 독립적 평가부서 설치: ADB의 독립평가부서(IED)나 독일의 개발협력평가연구소(DEval)와 같이 평가를 전담하는 독립적인 조직을 구성한다.
2. 제3자 검증 체계 강화: 평가 결과에 대한 객관적인 검증을 위한 외부 전문가 참여를 확대한다.
3. 평가 역량 강화: 평가자의 전문성을 높이기 위한 교육 및 훈련 프로그램을 확대한다.

4.2 일관성 기준을 통한 통합적 접근 강화

일관성 기준의 도입은 개발협력 프로젝트가 단독으로 운영되는 것이 아니라 전체 개발 생태계 내에서 어떻게 작동하는지를 평가하는 중요한 변화이다. 이를 효과적으로 적용하기 위해서는:

1. 내부적 일관성과 외부적 일관성의 균형: 프로젝트가 동일 기관의 다른 프로젝트 및 다른 기관의 프로젝트와 어떻게 조화를 이루는지 종합적으로 평가한다.
2. 다부문 간 협력 강화: 물 프로젝트가 환경 정책, 농업 정책 등과 어떻게 연계되는지 등 부문 간 연계성을 강화한다.
3. SDGs와의 연계: 프로젝트가 SDG 목표 17.14 "지속 가능한 개발을 위한 정책 일관성 강화"에 부합하는지 평가한다.

4.3 평가결과의 환류 및 활용 체계 강화

평가가 단순한 보고서 작성에 그치지 않고 실제 개발협력 사업의 개선으로 이어지기 위해서는 환류 체계가 중요하다:

1. 정보관리시스템 구축: ADB의 MARS 시스템처럼 평가 결과를 체계적으로 관리하고 환류할 수 있는 시스템을 구축한다.
2. 평가결과의 정책화 비율 관리: 평가를 통해 도출된 권고사항이 실제 정책으로 반영되는 비율을 체계적으로 관리한다.
3. 교훈 데이터베이스 구축: 과거 평가 결과와 교훈을 쉽게 참고할 수 있는 데이터베이스를 구축한다.

4.4 수원국 참여 및 역량 강화

효과적인 평가와 검증을 위해서는 수원국의 참여와 역량 강화가 필수적이다:

1. 참여적 평가 확대: 수원국 정부, 수혜자, 현지 NGO 등 다양한 이해관계자가 평가 과정에 참여할 수 있는 기회를 확대한다.
2. 현지 평가 전문가 양성: 수원국 내 평가 전문가를 양성하여 지속가능한 평가 역량을 구축한다.
3. 현지 맥락을 고려한 평가: 수원국의 문화적, 사회적 맥락을 고려한 평가 방법론을 개발한다.

5. 결론 및 제언

국제개발협력 프로젝트의 평가와 검증은 단순한 성과 측정을 넘어 개발효과성을 높이고 지속가능한 발전을 이끄는 핵심 요소이다. OECD DAC의 평가기준 개정과 일관성 기준의 추가는 프로젝트가 전체 개발 생태계 내에서 어떻게 작동하는지에 더 주목하는 중요한 변화이다.

한국의 개발협력 평가체계는 KOICA와 EDCF를 중심으로 지속적으로 발전해왔으나, JICA와 ADB 등의 선진 사례에 비추어 볼 때 다음과 같은 발전 방향을 고려할 수 있다:

1. 평가의 독립성과 객관성 강화: 독립적인 평가 전담 조직 구성과 제3자 검증 체계를 강화한다.
2. 일관성 중심의 통합적 평가 확대: 내부적·외부적 일관성을 균형있게 고려한 평가를 실시한다.
3. 체계적인 환류 메커니즘 구축: 평가 결과가 실제 정책과 사업에 반영될 수 있는 체계적인 시스템을 구축한다.
4. 수원국 중심의 평가 강화: 수원국의 참여와 역량 강화를 통한 지속가능한 평가 체계를 구축한다.
5. 평가 정보 공개 및 투명성 강화: 평가 결과와 후속 조치에 대한 폭넓은 정보 공개를 통한 투명성을 확보한다.

이러한 발전 방향을 통해 한국의 국제개발협력은 더욱 효과적이고 일관성 있는 접근을 추구할 수 있을 것이며, 궁극적으로는 수원국의 지속가능한 발전에 더 크게 기여할 수 있을 것이다.

참고문헌

외교부. (2024). 개발협력 사업 평가 기준 개정에 관한 논의 동향. 외교부

JICA. (2023). Project Evaluation in JICA. 일본국제협력기구

김은주. (2021). OECD DAC 평가기준 개정안 적용방안에 대한 연구. 대외경제정책연구원

ODA 코리아. (2024). 국제개발협력 평가 매뉴얼. ODA 코리아

박현주 외. (2023). 공적개발원조(ODA)의 원조효과성 향상을 위한 평가체계 고도화 연구. 연세대학교 국제개발협력연구센터

이창호 | C2CP 대표컨설턴트 | 2025.5.12