성과를 측정하지 말고, 변화를 설계하라: 효과성(Effectiveness)과 영향(Impact) 평가에 대한 전략적 접근
서론국제개발협력(ODA) 현장에서 “사업이 잘 수행되었는가?”라는 질문은 늘 중심에 놓인다. 하지만 단순히 계획된 활동이 실행되었는지, 목표 수치가 달성되었는지에만 초점을 맞춘 평가는 더 이상 충분하지 않다. 오늘날 국제협력 프로젝트는 사회적 변화, 제도적 정착, 지속가능성, 그리고 무엇보다 형평성을 수반해야만 진정한 성과로 인정받는다. 특히 스마트시티, 교통, 에너지, 기후 대응(Net Zero) 등 복합 분야에서의 ODA 프로젝트는 단기 성과를 넘어서 중장기적 파급효과와 의도하지 않은 변화까지도 포괄적으로 평가할 수 있는 체계가 필요하다. 이에 따라 최근 평가계에서는 'Effectiveness(효과성)'와 'Impact(영향)'라는 두 핵심 기준에 대한 이론적 정교화와 실천적 정비가 활발히 이루어지고 있다.
본론국제개발협력에서의 효과성(Effectiveness)은 프로젝트가 설정한 산출물과 성과를 얼마나 달성했는지를 평가하는 기준이다. KOICA와 EDCF는 효과성을 산출물(output), 성과(outcome), 형평성(equity) 세 가지 영역으로 구분하여 각각 1점에서 4점까지 평가한다. 이러한 점수는 정량적 목표의 달성률, 수혜자의 행동 변화, 취약계층의 포함 여부 등을 반영하여 평균값으로 종합된다. 이때 형평성 지표가 미흡하거나 소외계층의 접근이 배제된 경우, 전체 점수는 감점 처리된다. 이는 단순 수치 성과만으로는 전체 사업의 효과성을 설명할 수 없음을 시사한다. 한편, 영향(Impact)은 프로젝트가 유발한 장기적이고 구조적인 변화를 의미한다. 이는 제도적 변화, 사회경제적 변화, 환경적 변화, 의도치 않은 부수적 효과까지 포함하며, 사업 종료 이후에도 지속적 관찰이 필요하다. 영향 평가는 단순한 결과 확인을 넘어, 그 변화의 방향성과 지속가능성, 그리고 기대하지 않았던 파급효과까지 확인하는 데 중점을 둔다. 이러한 평가 기준을 신뢰성 있게 운영하기 위해서는 초기 사업 기획 단계부터 SMART 지표(Specific, Measurable, Achievable, Realistic, Time-bound)를 활용하여 목표를 명확히 정의해야 하며, 경우에 따라 CREAM, SPICED와 같은 보완적 지표 체계도 함께 고려되어야 한다. 또한 평가자는 사전에 명확한 Theory of Change(변화이론)를 수립하거나 사후적으로 재구성함으로써 프로젝트의 논리적 구조와 인과관계를 설명할 수 있어야 한다. 마지막으로, 평가자는 다양한 현실적 제약에 직면하게 된다. 불완전한 기초 데이터, 모호한 목표 설정, 성과 귀속의 불명확성, 의도치 않은 영향의 발생 등은 흔한 과제이다. 이를 극복하기 위해 삼각측정(triangulation), 기여도 분석(contribution analysis), 참여형 조사 등 대안적 방법론을 활용한 유연한 평가 접근이 요구된다.
결론국제개발협력의 평가는 점수 매기기의 과정이 아니다. 그것은 '무엇을 바꾸었는가', '그 변화가 지속 가능한가', '누구에게 영향을 미쳤는가'를 묻는 구조적 질문이어야 한다. 이는 곧 프로젝트의 기획과 실행, 피드백, 학습 전반에 걸쳐 반영되어야 하며, 평가란 프로젝트가 사회적 가치와 구조적 전환을 이끌어내기 위한 설계 도구로 기능해야 한다. 우리는 이러한 패러다임 전환을 기반으로, 스마트시티 ODA 사업에서 성과 중심 설계 – 형평성 기반 실행 – 데이터 기반 평가 – 지속 가능한 확산을 구현하는 전략 파트너로서 기여해 나갈 것이다. 우리가 원하는 것은 단순한 '성공'이 아닌, 측정 가능한 변화와 실질적인 임팩트다. 그리고 그것은 곧 잘 설계된 평가에서 시작된다.
|
