서 론

공적개발원조(Official Development Assistance, ODA)는 2차 세계대전 이후 전후 복구 차원에서 시작되었으며 시대가 변화면서 ODA의 목적도 변화하고 있다(Cho, 2013). 2000년대 UN에서 발표한 새천년개발(MDGs) 선언과 2011년 11월 부산 에서 개최된 제4차 세계개발원조총회 선언은 ODA 목적이 원 조(aids)에서 개발(development)로의 전환을 보여준다. 이러한 변화에 맞춰 국제사회는 개발의 중요성을 강조하고 있으며 개 발협력 사업의 성과를 측정하기 위해 ODA 평가를 강화하고 있다. 이에, 우리나라는 2010년 시행된 국제개발협력기본법에 의거하여 ODA 사업 시행기관의 자체평가가 시작되었으며, 2014년부터 모든 ODA 사업에 대한 평가가 의무화되었다.

한국의 경제적 위상이 커짐에 따라 ODA 예산 규모는 매년 양적으로 증가하고 있으며 농업을 비롯하여 교육, 보건 등 다 양한 분야에서 개발협력이 이루어지고 있다. 우리나라는 OECD/DAC에서 제시하는 평가 기준과 KOICA 평가지침에 따 라 각 개발사업에 대한 평가를 수행하고 있다. OECD/DAC은 ODA 사업의 집행 및 성과를 체계적이고 객관적으로 평가하기 위해 5대 핵심 평가 기준인 적절성(relevance), 효율성 (efficiency), 효과성(effectiveness), 영향력(impact), 지속가능성 (sustainability)을 제시하였으며 최근에는 일관성(coherence) 기 준을 추가하였다.

ODA 평가는 주로 완료된 사업을 대상으로 개발성과에 대 한 객관적인 결과를 도출한 후, 환류(feedback)를 통해 후속사 업을 원활히 수행하고 가시적인 성과를 내는데 도움을 준다. 하지만 현재의 평가방식은 원조 수원국의 정치, 사회·문화적 환경이 다름에도 원조 공여국 전문가의 입장에서 수행기관 및 이해관계자를 대상으로 평가가 이루어진다(Lee and Kim, 2017;Park and Shin, 2019). 또한, 공여국 전문가의 전문성 과 능력에 따라 공정성과 객관성을 확보하지 못하는 상황이 발생할 수 있다(Lee and kim, 2017). 이러한 한계성을 개선 하는 측면에서 수원국 지역주민이 직접 ODA 사업평가에 참 여하는 주민참여형 방식을 제안하였다(Choi, 2020). ODA 사 업의 지속가능성과 주인의식을 강화하는 목적으로 사업초기 단계에서 주민참여를 사업평가까지 확장하여 공여국 전문가 중심의 평가방식을 개선하자는 취지이다. ODA 평가에 수혜 자인 지역주민이 참여한다는 것은 ODA 사업을 수행한 사업 주체와의 친분으로 오히려 평가의 공정성과 객관성이 훼손될 우려가 있다는 지적도 있으나 사업의 투명성과 민주성 확보, 평가결과에 대한 수용도 향상, 사업 효과성 증진 등 여러 긍 정적 효과를 가져올 수 있다(Park and Shin, 2015).

주민 참여형 ODA 평가는 소수의 주민대표가 공여국 ODA 평가 전문가와 함께 참여할 수 있고 또는 설문조사에 응답하 는 방식으로 다수의 지역주민이 참여할 수 있다. 후자와 같이 지역주민을 대상으로 설문조사를 수행할 경우, 지역주민이 응 답 가능한 평가항목을 구성하는 것이 전제되어야 한다. 하지 만, 일부 OECD/DAC 평가기준별 평가항목에는 지역주민이 응답하기 어려운 항목이 존재한다. 예를 들면, ODA 사업이 수원국의 요구 또는 공여국의 원조계획에 부합하는지를 판단 하는 항목은 적절성을 평가하는 항목으로 되어있다. 이 항목 은 공여국 평가자가 수원국의 발전전략 및 공여국의 국별원조 계획 관련 문헌을 고찰한 후 평가하는 것으로 지역주민이 관 련 문서를 검토하고 평가하기에는 어려움이 있다. 효율성에 관 한 평가항목인 수행기관의 효율적 예산사용의 경우, 지역주민 은 공여국 수행기관의 예산사용에 대한 정보를 습득하는 것은 불가능하므로 해당항목을 평가하는 것은 무리가 있다. 따라 서, 주민응답이 가능하도록 새로운 평가항목을 개발하거나 기 존의 평가항목을 수정 및 보완이 필요하다.

이에, 본 연구는 수원국(recipient country)의 지역단위에서 수행한 ODA 사업을 대상으로 OECD/DAC 평가 기준(적절성, 효율성, 효과성, 영향력, 지속가능성)에 대해 지역주민이 응답 할 수 있는 설문문항을 개발하는 것을 목적으로 한다. 또한, ODA 사업성과의 결과로 지역주민과 지역사회의 변화 및 파 급효과를 측정할 수 있는 문항을 추가로 개발하였다. 이를 위 해 본 연구는 국제농촌개발 전문가를 비롯한 보건, 교육 분야 등의 다양한 국제협력 분야의 ODA 전문가를 대상으로 델파 이 조사(Delphi survey)를 수행하였다.

선행연구

지금까지 수원국 주민대상의 설문조사 방식으로 수행된 평 가사례는 드무나 일부 사업에서 수원국 주민은 인터뷰 또는 공동워크숍 등의 형식으로 제한적으로 참여하고 있다. Lee(2015)는 에티오피아의 농촌개발 사업을 대상으로 주민 참 여적 개발의 유용성에 대한 연구를 수행하였으며 수원국 주민 은 사업평가를 포함한 사업 전 과정에 참여하였다. 수혜지역 의 주민은 의사결정, 사업수행, 사업혜택, 사업평가 등의 과정 에 하나 이상 참여하였으며, 사업평가의 경우 주민이 선출한 대표가 참여하였다. Oh(2018)는 베트남에서 수행된 관광 ODA 사업에 대해 지역주민 인터뷰를 통해 사업성과에 대한 평가를 수행하였으며 나아가 공여기관과 주민의 평가결과를 비교·분석하였다. 일부 세부사업 평가에서 두 평가주체 간에 상반되는 의견이 있는 것을 발견하였으나 ODA 사업에 대한 지역주민의 의견수렴과 평가참여의 유익성과 필요성을 강조하 였다. 수원국 현지주민 설문조사를 통해 ODA 사업성과를 측 정한 사례는 Choi and Lee(2016)와 Choi(2020)의 연구가 대 표적이다. 이들 연구는 캄보디아와 우간다에서 종료된 농촌개 발사업 지역의 주민을 대상으로 설문조사를 수행하였다. 연구 자들은 OECD/DAC 기준을 반영하는 설문문항을 구성하였으 며, 적절성, 효과성, 효율성, 영향력, 지속가능성이 주민 만족 도와 공여국 이미지에 긍정적인 영향을 미치는지를 구조방정 식모형(structural equation modeling) 분석을 통해 규명하였다. 설문조사에 사용된 설문문항은 요인분석(factor analysis)을 통 해 신뢰성(reliability)과 타당성(validity)을 확보하였으나, 연구 자의 자의적 설계에 따른 편향성과 과학적 엄밀성이 떨어지는 한계성을 드러냈다. 따라서, 본 연구에서는 연구자의 자의적 설계에 따른 문제점을 극복하기 위해 전문가의 의견을 반영하 는 델타이 방법을 적용하여 보다 객관적이고 과학적인 설문문 항을 개발하였다는 측면에서 연구적 의의를 갖는다.

연구방법

델파이 연구절차

문항개발 연구는 델파이 기법을 주로 이용한다. 델파이 기 법은 특정 분야의 전문가를 대상으로 반복적인 설문조사를 통 해 다양한 의견을 취합하고 집단적 합의점을 찾아가는 의사결 정 방법이다. 델파이 기법에서는 전문가에게 개방형 설문(openended questionnaire)으로 제시되기 때문에 응답하는 데 많은 시간이 필요하다. 델파이 기법의 이러한 단점을 개선하고자 수정델파이 기법(modified Delphi technique)이 개발되었다 (Murry and Hammons, 1995). 수정델파이 기법은 연구자가 선행연구 고찰을 통해 설문문항을 선정하고 전문가에게 제시 하여 응답을 구하는 방식이다. 전문가는 구조화된 설문(closed questionnaire)에 응답하기 때문에 개방형 설문보다 시간적 제 약은 비교적 덜하지만, 응답 범위가 제한적이라는 단점이 있 다. 본 연구는 설문 응답에 대한 시간적 부담을 줄이고 편의 성 확보를 위해 수정델파이 기법을 이용하였다.

본 연구의 수정델파이 조사는 Fig. 1과 같이 문헌연구, 1차 델파이 조사, 2차 델파이 조사로 수행하였다.

우선, 문헌연구는 앞서 제시한 선행연구 이외에 교육과 농 촌개발 분야에서 평가문항 개발연구를 수행한 Soung and Hong(2010), Kim(2013), Kim et al(2014)의 연구를 추가로 검토한 후, 연구자가 ODA 평가항목 관련 설문문항을 선정하 고 전문가에게 제시할 구조화된 설문지를 개발하였다. 1·2차 델파이 조사에 참여한 국내 ODA 전문가 16명은 수원국 지역 주민 수준에서 설문문항이 평가항목으로 적용가능한지를 판단 하는 적용가능성(applicability)과 설문문항이 평가항목으로 얼 마나 중요한지를 판단하는 중요성(importance)에 대하여 리커 트 5점 척도로 평가하였다. 1차 델파이 조사에서 적용가능성 과 중요성이 낮아 적절하지 않는 문항은 제외한 후, 2차 델파 이조사를 위한 설문지를 개발하였다. 2차 델파이조사에서 전 문가는 1차 델파이 조사에서 선정된 설문문항이 적절한지를 재검토하기 위해 1차 조사와 같이 각 설문문항의 적용가능성 과 중요성을 리커트 5점 척도로 평가 한 후, 최종 평가 기준 별 설문문항을 도출하였다.

전문가 패널 구성

델파이 조사에 참여한 전문가 패널은 ODA 사업에 대한 이 해도와 경험이 있는 전문가로 구성하였다. 전문가 성별은 남 성과 여성이 각각 10명(62.5%)과 6명(37.5%)이며 40대 전문 가가 62.5%으로 가장 많은 비율을 차지하였으며 평균나이는 41.2세이다. ODA 사업관련 경력은 5년 미만이 2명(12.5%), 5 년에서 10년 사이가 6명(37.5%), 10년 이상이 8명(50%)으로 평균 9.1년으로 나타났다. ODA 사업을 위한 수원국 거주기간 은 5년 미만이 10명(62.5%), 5년 이상이 6명(37.5%)으로 평 균 3.4년이었으며 현재 거주지역은 국내가 11명(68.8%)과 국 외가 5명(31.2%)이다. 전문가는 사업시행(19.3%)과 성과관리 (19.3%)에 가장 많이 참여하였으며, 예비조사(17.5%), 평가 (15.9%), 수요조사(14%)와 컨설팅(14%) 순으로 나타났다. 전 문가가 ODA 사업을 수행한 대륙별 분포에서 아시아(41.7%) 로 가장 많았으며, 다음으로 아프리카(30.6%), 중남미(19.4%), 중동·CIS(8.3%) 순이었다. 전문가의 수행한 ODA 사업분야 중 농림수산 분야에서 가장 많은 전문가(22.5%)가 수행하였으며, 다음으로 교육(16.4%), 빈곤(14.3%), 과학기술(14%), 보건 (12.3%) 순이었으며 그 외에 환경, 거버넌스, 젠더, 인권은 각 각 10% 미만으로 나타났다.

내용타당도와 범용성

델파이조사 문항에 대한 내용타당도는 Lawshe(1975)가 제 시한 내용타당도 비율(content validity ratio, CVR)로 분석하 며 계산식은 식(1)과 같다.

N은 각 문항에 대한 응답빈도로 16이다. n_e 는 타당하다고 응답한 빈도수로 본 연구는 리커트 척도 3점(보통이다) 이상 을 타당하다고 판단하였다. CVR은 –1에서 1까지의 범위를 가 지며 3점(보통이다 )이상 응답자가 없으면(n_e =0)이면 CVR은 –1을 값을, 리커트 척도 3점 이상의 응답자 수가 8이면(n_e =8) CVR은 0의 값을, 응답자 수가 16이면(n_e =16) CVR은 1의 값을 산출한다. 내용타당도는 Table 2와 같이 전문가를 구성 하는 인원수에 따라 달라지는 타당성 허용기준치와 비교하여 CVR이 허용기준치 이상의 값을 가질 때 내용타당도가 확보 한 것으로 판단한다. 본 연구는 내용타당성 허용기준치를 Lawshe(1975)가 제시한 기준을 참고하여 0.5로 설정하였으며 설문문항의 적용가능성과 중요성 CVR이 0.5 미만의 CVR을 가질 경우, 해당 문항은 수원국 주민이 응답하기에 부적합한 문항으로 판단하였다.

1차 델파이 조사에서 제시된 전문가의 의견 중 가장 많은 비율로 차지한 것은 사업규모, 대상, 국가, 분야별 특수성 등 으로 사업 대상지역의 주민에게 일률적으로 사용하는데 한계 가 있다는 것이다. 이에, 국제농촌개발분야 외에 보건, 교육 등 다른 ODA 분야에도 활용이 가능한 범용성(generality)을 지닌 문항을 2차 델파이조사에서 선별할 필요가 있었다. 이에 적용 가능성과 중요성에 대한 가중치를 조사한 후, 델파이 설문문 항이 범용성을 가지는 주민참여형 ODA 평가항목인지를 최종 적으로 판단하기 위해 식(2)를 이용하여 각 문항의 통합 CVR(integrated CVR)을 산출하였다.

(2)

CVR_{적용가능성}과 CVR_중요성은 적용가능성과 중요성에 대한 CVR 이다. W_{적용가능성}과 W_중요성은 16명 전문가가 적용가능성과 중 요성에 부여한 가중치(weight)의 평균으로 각각 0.55와 0.45로 산출되었다. 통합 CVR은 –1에서 1의 값을 가지며, 1이 가장 큰 값이 된다.

통합 CVR이 큰 문항은 다양한 분야의 전문가로 구성된 패널 이 해당 문항의 적용가능성과 중요성을 높게 평가하였기 때문 에 여러 ODA 분야에서 공통적으로 사용할 수 있는 범용성을 가지고 있다고 판단하였다. 하지만 통합 CVR이 작아 범용성은 낮은 문항이더라도 특정 분야에 따라 ODA 사업을 평가하는데 더 적용가능하고 중요한 문항일 수 있다는 것을 밝혀 둔다.

델파이조사 결과

1차 델파이조사는 2020년 12월 8일부터 12월 12일까지 전 문가의 E-mail로 델파이설문지를 발송하고 회신하는 방법으로 이루어졌다. 1차 델파이 설문지는 OECD/DAC 5대 기준과 지 역주민·지역사회 파급효과를 측정할 수 있는 총 63개 문항으 로 구성하였으며 문항의 적용가능성과 중요성 모두 0.5 이상 의 CVR을 가지는 54개 문항을 2차 델파이조사 설문지로 사 용하였다. 여기에, 전문가의 요청에 따라 성주류화와 환경영향 에 대한 4개 문항과 추가로 제안한 4개 문항을 포함하여 총 62개 문항이 최종 2차 델파이조사 문항으로 사용되었다. 2차 델파이조사는 1차 델파이 조사에 참여했던 ODA 전문가 16명 을 대상으로 2020년 12월 21일부터 12월 27일까지 이루어졌 으며, 2차 델파이조사 결과는 다음과 같다.

적절성

적절성에 관한 문항은 ① ODA 사업은 우리의 요구를 반영 하였다 ② ODA 사업의 목표와 방향은 일관성있게 추진되었 다 ③ ODA 사업은 우리지역 발전을 위한 것이다 ④ ODA 사업은 지역의 규모·환경을 고려해서 수행되었다 ⑤ ODA 사 업은 우리지역에 필요한 사업이다 ⑥ ODA 사업은 우리가 활 용가능한 기술을 사용하였다 ⑦ ODA 사업은 지역 정서와 문 화에 맞게 수행되었다로 최종 7개로 결정되었다. 모든 문항의 CVR은 0.5이상으로 ODA 사업이 수원국 지역주민의 수요를 반영했는지를 묻는 ①번 문항이 통합 CVR이 가장 컸으며 다 음으로 ⑦번과 ②번 항목으로 나타났다. 이들 문항은 다양한 ODA 분야에서 사용할 수 있은 범용성이 높은 문항인 반면 ④번과 ⑥번 문항은 통합 CVR이 작아 상대적으로 범용성이 떨어지는 것으로 나타났다.

효율성

효율성에 관한 문항은 ① 완성된 시설의 투자대비 기능과 규모는 지역여건에 적합하였다 ② ODA 사업은 계획대로 잘 이루어졌다 ③ 사업진행 과정에서 부정적 활동은 없었다 ④ ODA 사업의 수행은 지역주민과의 협의를 통해 이루어졌다 ⑤ 사업담당자와 행정기관간의 의사소통이 잘 이루어졌다 ⑥ 사 업담당자와 주민간의 의사소통이 잘 이루어졌다 ⑦ 행정기관 과 주민간의 의사소통이 잘 이루어졌다 ⑧ 공여국 사업수행팀 은 지역에서 발생한 갈등, 자연재해, 위기상황, 위험에 신속하 고 원활하게 대처하였다로 최종 8개 항목으로 구성되었다. 모 든 항목의 통합 CVR은 0.5이상이지만 ②번 항목에 대한 중요 성 CVR은 높으나 적용가능성 CVR이 0.375로 산출되어 문항 중 가장 작은 통합 CVR을 가졌다. ④번과 ⑥번 항목은 통합 CVR이 1로 범용성이 가장 높은 문항으로 나타났다.

효과성

효과성에 관한 문항은 ① ODA 사업은 당초 설명한 목표를 달성하였다 ② ODA 사업으로 주민간 교류활동이 활발히 이 루어졌다 ③ ODA 사업은 차별없이 주민에게 균등한 혜택을 주었다 ④ ODA 사업 수행팀은 주민과 협력체제를 구축하였 다 ⑤ ODA 사업 수행팀은 행정기관과 협력체제를 구축하였 다 ⑥ ODA 사업으로 지역주민의 역량이 강화되었다 ⑦ ODA 사업으로 주민조직의 자생력이 강화되었다 ⑧ 지역주민 의 자발적 사업참여가 증가하였다 ⑨ ODA 사업으로 우리 지 역이 다른 지역에 비해 발전하였다로 최종 9개 항목으로 결정 되었다. 모든 문항의 통합 CVR은 0.5 이상으로 특히 ⑥번, ⑦번, ⑧번, ⑨번 항목은 통합 CVR이 1로 범용성이 가장 높 은 문항으로 나타났다. 수원국 지역주민이 ODA 사업에 대해 충분히 이해를 한 다음에 응답할 수 있는 ①번과 ③번 항목은 상대적으로 범용성이 낮았다.

영향력

영향력에 관한 문항은 ① 공여국의 경험 및 기술 노하우가 우리에게 전수되었다 ② ODA 사업은 우리지역발전에 기여하 였다 ③ ODA 사업으로 생활수준이 높아졌다 ④ ODA 사업 으로 소득원이 다양화 되었다 ⑤ 지역문제에 관심을 갖게 되 었다 ⑥ 우리지역의 발전가능성을 보았다 ⑦ 타지역 주민이 우리지역 ODA 사업에 관심을 갖게 되었다 ⑧ ODA 사업으 로 우리 지역의 인지도가 높아졌다 ⑨ 우리지역 수행된 ODA 사업은 타 지역으로 확산되어야 한다 ⑩ ODA 사업을 다른 지역주민에게 추천하겠다 ⑪ ODA 사업으로 협동조합와 같은 지역민간조직이 결성되어 활동하고 있다로 최종 11개 문항으 로 결정되었으며 모든 문항의 통합 CVR은 0.5이상으로 나타 났다. ②번, ⑦번, ⑧번, ⑩번 항목은 통합 CVR이 커 범용성 이 높은 반면 ①번, ④번, ⑤번, ⑪번 항목은 상대적으로 범용 성이 낮은 것으로 나타났다.

지속가능성

지속가능성에 관한 문항은 ① 사업종료 후에도 한국의 ODA 사업 수행팀은 시설물을 운영 및 유지하고 있다 ② 사 업종료 후에도 한국의 ODA 사업 수행팀의 재정지원이 이루 어졌다 ③ 사업종료 후에도 한국의 ODA 사업 수행팀은 주민 과 협력이 계속되고 있다 ④ 사업종료 후에도 시설물은 주민 의 참여로 운영 및 관리되고 있다 ⑤ 사업종료 후에도 지역주 민(또는 주민조직)은 시설물의 운영예산을 가지고 있다 ⑥ 우 리지역에는 ODA 사업과 연계된 후속사업이 필요하다로 최종 6개 문항으로 구성되었다. 공여국이 제공한 시설물에 대한 수 원국 지역주민의 관리를 묻는 ④번과 ⑤번 a문항과 후속사업 의 필요성을 묻는 ⑥번 문항은 통합 CVR이 커 범용성이 높 았다. 사업종료후에도 공여국의 지원을 묻는 ①번, ②번, ③번 문항은 통합 CVR이 0.5 미만으로 지속가능성 측정에 적절하 지 않는 문항으로 나타났다.

기타(성주류화와 환경영향)

기타(성주류화, 환경영향)는 1차 델파이 조사에서는 포함되 지 않았지만, 해당기준이 필요하다는 전문가의 의견을 반영하 여 2차 델파이조사에 포함하였다. 성주류화에 관한 문항은 ① ODA 사업에 여성참여 기회는 남성과 동등하였다 ② ODA 사업은 여성의 역량개발을 위한 프로그램을 제공하였다로 2개 문항이고 환경영향은 ① ODA 사업은 대기·수질오염(환경오염) 을 발생시키지 않았다 ② ODA 사업은 지역의 자연환경에 대 한 훼손 없이 종료되었다로 2개 문항이다. 모든 문항에 대한 통합 CVR이 0.5 이상으로 산출되어 다양한 ODA 분야에서 두 기준의 평가문항으로 적절한 것으로 나타났다.

수원국 지역주민·사회 파급효과

본 연구는 공여국의 수원국에서 수행한 ODA 사업에 대한 중·단기성과를 측정하기 위해 수혜지역의 지역주민과 지역사 회에 파급효과를 추가하였다. 지역주민·지역사회 파급효과는 ① 사업종료 후, 한국에 대한 이미지가 더 좋아졌다 ② 사업 종료 후, 한국에 대해 더 많이 알게 되었다 ③ 사업종료 후, 한국에 대해 고마움을 가지고 있다 ④ 사업종료 후, 모든 일 에 더 열정적으로 일하게 되었다 ⑤ 사업종료 후, 할 수 있다 는 자신감이 더 생겼다 ⑥ 사업종료 후, 지역 활동에 더 많은 나의 시간과 재능을 투자할 생각이 생겼다 ⑦ 사업종료 후, 나의 앞날은 더 희망적으로 변했다 ⑧ 사업종료 후, 미래에 대한 계획이 생겼다 ⑨ 사업종료 후, 더 긍정적으로 생각하는 사람이 되었다 ⑩ 사업종료 후, 지역 주민들은 서로 믿고 신 뢰하는 정도가 더 높아졌다 ⑪ 사업종료 후, 지역 주민들의 협동심이 더 깊어졌다 ⑫ 사업종료 후, 우리 지역에 대한 애 향심이 더 커졌다 ⑬ 사업종료 후, 우리 지역 문화에 대한 자 긍심이 더 커졌다 ⑭ 사업종료 후, 육체적·정신적 건강이 더 좋아졌다 ⑮ 사업종료 후, 자녀 양육과 교육환경이 더 좋아졌 다 ⑯ 사업종료 후, 문화·여가생활이 더 늘었다 ⑰ 사업종료 후, 주거환경이 더 좋아졌다로 최종 17개 항목이 설정되었다. 문항인 상위개념인 평가범주는 공여국 이미지, 개인 활력, 낙 관적 자세, 지역사회 활력, 지역사랑, 삶의 질로 구성하였으며 각 범주는 2~4개 문항을 포함하고 있다. 모든 항목의 통합 CVR은 0.5이상으로 지역사회의 파급효과를 측정할 수 있는 적절한 문항으로 나타났다.

결 론

ODA 사업의 계획단계부터 수원국 지역주민의 참여는 강조 되어왔으나 사업평가에서 주민참여에 대한 논의는 부족하다 (Kim, 2018). 이에, 본 연구는 현재 대부분 전문가 집단을 단 기파견하여 ODA 사업평가를 수행하는 한계를 극복하고 전문 가의 편향을 최소화하고 평가의 객관성과 공정성을 강화하는 측면에서 수원국 지역주민의 ODA 사업평가 참여의 필요성을 제시하였다. 수원국 주민참여형 ODA 사업평가가 이루어지기 위해서는 OECD/DAC 평가 기준인 적절성, 효율성, 효과성, 영향력, 지속가능성에 대해 지역주민의 응답이 가능하고 ODA 사업성과로 지역사회 파급효과를 측정할 수 있는 타당성이 확 보된 문항이 개발되어야 한다. 본 연구는 수원국 주민참여형 ODA 평가에 필요한 평가항목을 개발하고자 국제협력개발 경 험이 있는 농촌개발, 교육, 보건, 빈곤 분야 등 ODA 전문가 16명을 대상으로 2회에 걸쳐 델파이 조사를 수행하였다. 공여 국 ODA 평가를 위한 수원국 지역주민 대상 설문조사에 활용 가능한 문항으로 적절성 7개 항목, 효율성 8개 항목, 효과성 9개 항목, 영향력 11개 항목, 지속가능성 6개 항목(통합 CVR 이 0.5 미만 2개 항목 포함), 기타(성주류화와 환경영향) 4개 항목, 지역주민·사회 파급효과 17개 항목이 최종 선정되었다.

ODA 사업성과에 대한 실증연구의 필요성이 대두되면서 정 량적인 평가방법이 강조되고 있다(Byun, 2014;Sohn et al, 2018). ODA 평가 및 사업성과에 대한 정량적 연구는 선형회 귀분석 또는 패널회귀분석 모형을 이용해 수원국 원조액이 수 원국의 경제성장에 미치는 영향 정도를 분석하는 국가단위의 거시적 관점에서 주로 이루어지고 있다. 하지만, 거시계량모형 연구는 종속변수인 경제성장과 이에 영향을 미치는 주요 독립 변수 간의 유의적인 관계를 분석하기 위한 자료를 확보하는데 어려움이 있다. 또한 분석자료가 있더라도 공여국의 원조 규 모가 수원국 경제규모에 비해 미미해 분석모형이 의미 있는 수준에서 설명력을 갖는데 한계가 있다(Byun, 2014). 한국의 ODA 사업은 수원국 지역단위에서 대부분 수행되기 때문에 지 역수준에서 ODA 성과에 대한 실증적 분석이 필요하다. 본 연 구에서 최종 선정된 문항을 이용하여 지역주민을 대상으로 수 집된 자료는 통계 및 계량분석에 기반한 ODA 개발성과를 평 가할 수 있는 정량적 분석자료로 활용할 수 있다. 최근, 우리 나라 ODA 사업규모가 커짐에 따라 사업은 다양해지고 수혜 자를 구체화한 경향을 보인다. 예를 들면, 수원국 농촌지역의 농민을 대상으로 이루어졌던 농촌개발사업은 여성, 노인, 장애 인 등 특정계층으로 확대하고 있다. 해당사업의 개발성과로 이 들의 구체적인 행동 및 인식 변화를 평가할 경우, 기존의 ODA 평가방식으로 행동 및 인식변화가 사업에 기인하는지에 대한 인과관계를 파악하는 것은 쉽지 않다. 본 연구에서 도출 한 평가항목을 이용한 주민참여형 설문조사는 수혜자의 행동 및 인식변화 측정에 활용가치가 높을 것으로 예상된다. 이처 럼, ODA 사업과 개발성과 사이의 인과관계에 대한 실증분석 의 필요성이 대두되는 시점에서 지역주민을 대상으로 자료수 집이 가능하고 통계·계량모형 분석을 위한 자료를 제공할 수 있는 주민참여형 ODA 평가를 위한 평가항목 개발연구는 시 의적절한 연구로 판단되며 실증분석에 기반한 ODA 평가연구 의 출발점이 되기를 바란다.

본 연구는 지역단위에서 이루어지는 ODA 전 분야에 활용 이 가능하도록 범용성을 강조함에 따라 분야별 특수성과 수원 국별 설문문항에 대한 주민의 이해도를 반영한 문항을 개발하 는데 한계가 있었다. 따라서, 각 분야별 전문가는 본 연구에서 도출된 문항을 토대로 수원국 지역주민의 이해도와 각 분야의 특수성을 반영한 문항으로 수정 및 보완할 필요가 있다. 또한, 지역주민이 최종 선별된 62개 문항에 대해 응답할 경우, 응답 피로(response fatigue)로 인해 불성실한 응답으로 이어질 수 있어 문항 수를 축소할 필요가 있다. 이는 현지 조사, 문항분 석 및 요인분석 등을 통해 해결해야 할 문제이므로 향후 연구 과제로 남겨놓는다.

신뢰성있는 설문조사를 위해 주민으로부터 양질의 자료를 수집하기 위한 노력이 수반되어야 한다. 우선, 현지어와 영어 에 능숙한 전문가에 의해 영어로 작성된 설문지를 수원국 언 어로 번역하고 수원국 언어로 작성된 번역본을 다시 영어로 번역을 하는 역번역(back translation)절차가 필요하다. 이는 지 역주민에게 설문내용을 정확하게 전달하기 위한 것으로 최초 의 영어 설문문항과 재번역한 영어 설문문항이 동일한 의미를 갖는지를 확인한다. 대상지역이 문맹율이 높아 현지주민이 설 문지에 응답하기 어려운 경우가 발생할 수 있으므로 현지 조 사원이 질문하고 응답내용을 기록하는 1:1 면접법 설문조사를 수행하는 것이 효과적이다. 한국 전문가나 조사원에 의한 설 문조사에서는 지역주민이 갖고 있는 한국에 대한 이미지로 설 문응답에 의도치 않는 영향을 주는 후광효과(halo effect)와 호 손효과(hawthorne effect)가 발생할 수 있다. 따라서, 이러한 영향을 최소화하기 위해 현지 조사원을 적극적으로 활용할 필 요가 있다. 이러한 노력은 수원국 지역 주민의 ODA 사업에 대한 객관적인 평가를 유도하고 과학적이고 투명한 ODA 평 가연구 발전에 기여할 것이다.

적 요