Journal Search Engine

ISSN : 1225-8504(Print)
ISSN : 2287-8165(Online)

Journal of the Korean Society of International Agriculture Vol.32 No.4 pp.415-422
DOI : https://doi.org/10.12719/KSIA.2020.32.4.415

Local Residents’ Quantitative Evaluation on Performance of Official Development Assistance in Agriculture and Rural Development

Jong-San Choi^†

Dept. of Agri-Food Marketing & International Agricultural Development and Cooperation Center, Jeonbuk National University, Jeonju, 54896, Korea

^†Corresponding author (Phone) +82-63-270-4160 (E-mail) choijs@jbnu.ac.kr

Received October 10, 2020 Review November 27, 2020 Accepted November 30, 2020

Abstract

The purpose of this study is to test the applicability of the resident-participatory quantitative evaluation on the Official Development Assistance (ODA) based on the criteria of the Organization for Economic Co-operation and Development's Development Assistance Committee (OECD/DAC). The questionnaire was composed of 20 items related to relevance, efficiency, effectiveness, impact, substantiality, resident satisfaction and donor country image with 5-point Likert scale. Data were collected from 200 residents in regions where the ODA project was conducted by a donor agency in Korea from August 20 to September 30, 2019. Partial Least Square-Structure Equation Modeling (PLS-SEM) was used to examine the significant effects of the performance of ODA project on residents’ satisfaction and donor country image. The result of the PLS-SEM analysis revealed that the performance of the ODA project was significantly associated with residents’ satisfaction and donor country image. The study verified the applicability of the resident-participatory quantitative evaluation using the 5 criteria of OECD/DAC and would contribute to complement the donor country expert-led evaluation in the field of agriculture and rural development.

Key Words : Evaluation , structural equation modeling , partial least square , performance , ODA

농업·농촌개발 분야 ODA 사업성과에 대한 수원국 지역주민의 정량적 평가

최종산^†

전북대학교 농경제유통학부 식품유통학 전공, 국제농업개발협력센터

초록

키워드 :

This article has been cited by 0 article in crossref

Cited-By

Funding:

서 론

우간다는 케냐, 콩고 민주공화국, 르완다, 탄자니아, 남수단 과 국경을 접하고 있는 동아프리카 내륙국가로 1963년부터 우 리나라와 외교관계를 유지하고 있다. 2010년 이전까지는 교류 협력이 미미하다가 2010년 한국국제협력단(Korea International Cooperation Agency, KOICA) 사무소 설치와 2014년 농촌진 흥청 KOPIA(Korea Program for International cooperation in Agricultural technology) 센터 설립이 이어지면서 기술 및 인 적 교류가 활발해지고 있다. KOICA는 우간다를 한국의 중점 협력 국가로 선정하고 해외공적원조(Official Development Assistance, ODA)를 적극 지원하고 있어 한국의 對우간다 ODA 지원액은 2013년 11.36 백만 달러에서 2017년 22.68 백 만 달러로 5년 사이에 2배가 증가하였으며 앞으로 지속적인 증 가가 예상된다(ODA Korea, 2020).

우리나라 공공기관은 KOICA를 중심으로 다양한 분야에서 ODA 사업을 진행하고 있다(ODA Korea, 2020). 예를 들어, 농업 관련 사업으로는 행정안전부에서 농촌지역 새마을금고(금 융협동조합) 제도 확산을 위한 사업과 현지연수를 진행하고 있 다. 농림축산식품부는 곡물가공식품 제조기술 전수사업을 마무 리하고 후속사업으로 낙농기술지원을 통한 생산성 향상사업을 수행하고 있다. 농촌진흥청은 해외 농업기술 개발사업을 추진 하고 있으며 KOICA는 지속가능 농촌개발 시범마을 확산사업 을 진행하고 있다. 종료된 농업분야 ODA 사업으로 KOICA 가 수행한 농업지도자 연수원 건립(2015년 종료), 과일 가공 공장 설립(2017년 종료), 새마을운동 시범마을 건립(2018년 종료)이 있다. 또한, 2017년에는 특허청·한국발명진흥회가 국 제 지식재산 나눔사업의 하나로 태양광 스마트 제어장치를 적용한 건조기(이하 태양광 건조기) 적정기술 개발사업을 수 행하였다.

이와 같이, 한국 ODA는 규모와 사업비가 양적으로 증가함 에 따라 개발효과성을 제고하기 위해 2014년부터 ODA 사업 시행기관은 자체평가를 의무화하고 있다(Committee for International Development, 2018). 사업평가 결과로 도출된 시 사점은 후속사업에 반영하는 환류과정을 통해 질적 개선이 가 능해져 사업평가의 중요성이 더욱 강조되고 있다(Heo & Ji, 2014). 공여국은 종료된 ODA 사업에 대한 평가 시, 주로 경 제협력개발기구의 개발원조위원회(OECD/DAC)가 제시한 적 절성(relevance), 효율성(efficiency), 효과성(effectiveness), 영향 력(impact), 지속가능성(sustainability) 기준을 기반으로 평가를 실시하고 있다. 하지만, ODA 사업의 양적증가와 함께 해외에 서 진행되는 특수성으로 일부 사업에 대해 체계적인 평가가 이루어지지 못하는 한계점이 존재한다. Lee & Kim(2017)은 ODA 사업 평가의 문제점과 개선사항 등을 파악하고자 평가 경험이 있는 전문가를 대상으로 개인 심층면담을 수행하였으 며 평가의 문제점으로 객관성과 공정성 부재를 제시하였다. 평 가의 객관성과 공정성 문제를 해소하기 위한 여러 방법 중 ODA 사업이 수행된 지역의 주민이 직접 참여하는 평가방식 의 도입을 고려할 수 있다. 수원국의 지역주민은 사업기간 동 안 공여국(donor country)의 사업시행자와 교류하면서 사업의 의의와 가치를 충분히 이해하고 있으며 지역사회는 공여국의 사업시행자와 협조와 감시활동을 통해서 ODA 사업에 대한 공감대가 형성되어 있다. 따라서 수혜주민(beneficiary resident) 의 관점에서 ODA 사업 평가는 공여국 전문가 중심의 평가방 식을 보완할 수 있다.

본 연구의 목적은 우간다 ODA 사업(특허청·한국발명진흥회 국제 지식재산 나눔사업)을 사례로 수원국 지역주민이 평가에 참여하는 주민참여형 평가모형을 소개하고 해당사업의 종료평 가에서 수집된 자료를 이용하여 정량적 평가의 적용가능성을 타진하는 것이다. 구체적으로 OECD/DAC 5대 기준별로 점수 를 산출하고 ODA 성과가 주민 만족도와 공여국(한국) 이미지 에 미치는 영향관계를 살펴보고자 한다. 이를 위해 확인적 요 인분석(confirmatory factor analysis)과 경로분석(path analysis) 을 통합한 부분최소제곱-구조방정식 모형(partial least squaresstructural equation modeling, PLS-SEM)을 적용하였다.

우간다 국제 지식재산 나눔사업

본 연구는 ODA 사업 사례로 특허청·한국발명진흥회가 2017년 우간다에서 수행한 국제 지식재산 나눔사업을 선정하 였다. 국제 지식재산 나눔사업은 한국의 특허기술 중 개도국 의 상황 및 운영관리 능력에 부합하는 적정기술을 발굴하여 현지사정에 맞게 보급하고 있으며 사업화가 가능한 제품 및 브랜드 개발을 통해 주민 소득증대에 직접적으로 기여하고 있 다. 개도국 적정기술 개발 사업은 현재까지 우간다를 비롯하여 네팔, 과테말라, 파푸아뉴기니, 필리핀, 가나, 베트남, 몽골, 미 얀마, 인도네시아에서 수행되었다. 제품 및 브랜드 개발 사업 은 캄보디아, 필리핀, 볼리비아, 미얀마, 가나, 인도네시아, 몽 골, 인도네시아에서 이루어졌다. 특히, 적정기술을 이용한 ODA사업은 개도국 빈곤문제를 해결하고 선진국과의 경제적 격차를 효과적으로 해소할 수 있는 방법으로 인정받고 있다 (Kim & Kim, 2019).

우간다는 온화한 열대성 기후로 아프리카 내륙국가 중 농업 에 필요한 기후조건이 가장 좋으며 전 국토의 약 80%가 농업 에 적합한 지역을 가졌다. 하지만 농업을 발전시킬 수 있는 최적의 조건에도 농업생산성은 여전히 낮은 상태이다(Lee et al., 2012;Jee & Lee, 2016). 그나마 생산된 농작물은 저장 및 건조시설 미비로 손실되는 양이 많으며 사료작물 건조기술 이 부족하여 양질의 가축용 사료를 생산하는 데 어려움이 있 다. 건조기술은 열풍건조 또는 자연건조로 농작물의 습기를 말 려 없애는 기술로 저장·유통 시 안전성 제고, 부피 손실방지, 유용성분 농축에 도움을 준다. 따라서 사료용 농작물의 품질 개선을 통해 영양상태가 개선된 사료를 공급하여 가축 생산성 을 증대할 수 있는 방안으로 농작물 건조기술의 필요성이 대 두되었다. 국제 지식재산 나눔사업은 한국이 보유한 특허기술 을 활용하여 가축사료 건조 기술 개선을 위한 태양광 건조기 를 개발하였으며 현지 적정기술 교육을 통해 주민역량을 강 화하였다. 또한, 농업 적정기술 연구센터를 설립하여 양질의 사료와 건조·가공농산물 생산을 위한 연구기반을 조성하였다.

연구 방법

1. 설문지 구성 및 연구모형

설문지는 인구통계적 요인, OECD/DAC의 5개 기준인 적절 성, 효율성, 효과성, 영향력, 지속가능성, 주민 만족도, 공여국 이 미지를 묻는 질문으로 구성하였다. OECD/DAC의 5대 기준, 주 민 만족도, 공여국 이미지는 응답자로부터 직접 관찰되거나 측 정되지 않으며 여러 설문문항으로 간접적으로 측정된다. SEM 에서 전자를 잠재변수(latent variable) 또는 구성개념(construct) 으로 정의되며 이를 측정하는 설문문항을 측정변수(measured variable) 또는 관찰변수(manifest variable)라고 칭한다.

Table 1은 측정변수와 잠재변수를 보여주며 설문 항목인 측 정변수는 Choi & Lee(2016)의 연구를 참고하여 선정하였다. OECD/DAC 기준에서 적절성을 측정하는 항목은 3개, 효율성 은 4개, 효과성은 4개, 효율성은 3개, 지속가능성은 2개이다. ODA 사업에 대한 주민 만족도와 공여국 이미지는 각각 2개 측정변수를 가지며 총 측정변수의 수는 20개이다. 측정변수는 1점은 강한 부정, 5점은 강한 긍정을 의미하는 리커트 5점 척 도로 설계되었다.

Fig. 1은 본 연구의 연구모형으로 사각형은 측정변수를 나 타내고 타원형은 잠재변수를 의미한다. 본 연구는 적절성, 효 율성, 효과성, 영향력, 지속가능성을 ODA 성과의 하위개념으 로 하는 고차요인(higher-order factor) 구조로 설정하였다. Fig. 1에서 ODA 성과는 주민 만족도와 공여국 이미지에 각각 영향을 미치고, 주민 만족도는 공여국 이미지에 영향을 미치 는 구조적 관계를 보여준다. SEM은 측정변수와 잠재변수의 관계를 나타내는 외부모형(outer model)과 잠재변수 간의 인과 관계를 보여주는 내부모형(inner model)으로 구성한다. 내부모 형에서 잠재변수는 화살표를 보내거나 받을 수 있다. 화살표 를 받는 잠재변수를 내생변수(endogenous variable)라고 하며 화살표를 보내는 잠재변수를 외생변수(exogenous variable)라 고 정의한다. 여기서 ODA 성과는 외생잠재변수, 주민 만족도 는 외생잠재변수이면서 내생잠재변수, 공여국 이미지는 내생 잠재변수가 된다.

Fig. 1에서 외생잠재변수와 내생잠재변수 간 화살표는 변수 간의 영향관계를 보여주며 화살표에 의한 관계설정에 따라 연 구가설이 Table 2와 같이 세워진다. ODA 성과에서 출발한 화살표는 주민 만족도와 공여국 이미지로 향하기 때문에 ODA 성과는 주민 만족도와 공여국 이미지에 각각 유의한 영향을 미치는 것으로 첫 번째와 두 번째 가설을 설정하였다. 마찬가 지로, 주민 만족도에서 출발한 화살표가 공여국 이미지로 향 하기 때문에 세 번째 가설은 주민 만족도가 공여국 이미지에 유의한 영향을 미치는 것으로 세웠다.

내부모형의 구조관계는 식(1)과 식(2)와 같이 선형모형으로 표현할 수 있으며 선형모형에서 추정하는 경로계수(path coefficient)는 Table 2에서 제시한 가설을 검정하는데 필요한 정보를 제공한다.

식(1)

식(2)

β₁~β₃는 경로계수이고 ε₁와 ε₂는 오차항(error term)이다. 경 로계수의 유의성은 잠재변수 간의 영향관계가 유의적인지를 판단하며 이를 근거로 가설검정이 이루어진다.

Fig. 1에서 사각형 점선은 OECD/DAC의 5대 기준(적절성, 효율성, 효과성, 영향력, 지속가능성)으로 ODA 성과의 하위개 념이면서 ODA 사업에 대하여 정량적으로 평가한 부분이다. 지역주민 관점에서 해당 사업의 시행, 활동, 결과에 대하여 주 민이 얼마나 동의하는지를 리커트 척도를 이용하여 측정하였 으며 이를 정량화하기 위해 100점 만점으로 환산하였다. 이러 한 과정은 확인적 요인분석으로 얻을 수 있는 요인점수(factor score)를 이용하며 식(3)을 통해 구할 수 있다.

Y_{i} = \sum_{j = 1}^{J} [(\frac{X_{i j} - \bar{X_{j}}}{s_{j}}) \times W_{j}]

식 (3)

i는 관측치이고 j는 측정항목이다. X는 리커트 척도, X 는 리커트 척도의 평균, s는 표준편차이다. W는 가중치(Weight) 이고 확인적 요인분석의 결과로 제공된다. 측정항목(j)별로 리 커트 척도(X)를 표준화한 값에 가중치(W)를 곱 한 후, 이 값 을 더하면 각 응답자(i)의 요인점수(Y_i)가 산출된다.

식 (4)의 분자에 위치한 최대-최소 정규화식으로부터 도출된 점수를 전체 응답자수(N)로 나누면 0~100사이의 값이 산출되 는데 이것이 OECD/DAC 5대 기준의 개별점수가 된다.

식 (4)

Y^점수는 100점 만점으로 환산된 잠재변수의 점수이고 Y_i는 식 (3)에서 산출된 응답자 i의 요인점수이다. Y_min은 i에서 N까지 요인점수 중 최소값을 의미하며 Y_max는 요인점수 중 최댓값을 의미한다.

2. 자료 분석

SEM은 공분산기반 구조방정식(covariance based-structural equation modeling; CB-SEM)과 분산기반인 부분최소제곱-구 조방정식으로 구분한다. CB-SEM은 이론에 근거한 모형설정 을 통해 잠재변수 간의 체계적 관계를 확인하고 실증적 검증을 주목적으로 한다. 표본은 다변량 정규분포를 따르며 모형식별 문제가 발생하지 않도록 일정이상의 표본크기를 요구한다. 또 한, 단일 측정변수 사용에 제약이 있다. PLS-SEM은 잠재변수 간의 새로운 인과적 영향관계에 대한 탐색 및 설명을 주목적 으로 한다. CB-SEM과 달리 다변량 정규분포를 따르지 않아 도 되고, 작은 표본크기에도 모형식별 문제가 발생하지 않으 며, 단일 측정변수 사용에 제약이 없다(Hair et al., 2016). 본 연구는 ODA 성과가 주민 만족도와 공여국 이미지에 미치는 영향관계를 설명하는데 주안점을 두기 때문에 PLS-SEM을 적 용하였다.

PLS-SEM은 외부모형과 내부모형에 대한 평가를 수행한다. 외부모형에서는 확인적 요인분석이 수행되며 잠재변수의 내적 일관성 신뢰도(internal consistency reliability), 집중타당성 (converge validity), 판별타당성(discriminant validity)을 평가한 다. 내적 일관성 신뢰도에 대한 평가는 주로 Cronbachʼs α를 확인하지만 저평가하는 경향이 있어 Dillon-Goldsteinʼs ρ를 추가로 확인하였다(Hair et al., 2016, Sanchez, 2013). 두 기 준의 값은 0~1 사이의 값을 가지며 0.7 이상이면 내적 일관성 신뢰도를 만족하는 것으로 판단한다. 집중타당성은 요인적재량 (factor loading)이 0.7 이상, 평균분산추출(average variance extracted, AVE)이 0.5 이상이면 충족한다. 판별타당성은 Fornell & Larcker(1981)가 제안한 방법으로 잠재변수의 $\sqrt{A V E}$ 가 다른 잠재변수의 상관계수보다 크면 충족한다. 내부모형은 다중공 선성(multicollinearity)과 경로계수의 유의성으로 평가한다. 분 산팽창요인(variance inflation factor, VIF)이 5 미만이면 다중 공선성의 문제가 없는 것으로 판단한다. PLS-SEM은 다변량 정규분포를 가정하지 않기 때문에 경로계수는 부트스트래핑 (bootstrapping) 기법을 적용한 후 p-값 또한 신뢰구간으로 유 의성을 확인한다.

자료는 특허청·한국발명진흥회가 국제 지식재산 나눔사업의 일환으로 수행한 우간다 태양광 건조기가 설치된 지역 (Namulonge, Kkumbya, Kabanyolo, Mitiyana, Kayunga)에 거 주하는 주민 200명을 대상으로 수집되었다. 구체적으로, Namulonge지역에서 34명, Kkumbya지역에서 36명, Kabanyolo 지역에서 56명, Mitiyana지역에서 32명, Kayunga지역에서 42명 이다. 수집기간은 2019년 8월 20일부터 동년 9월 19일까지 1 개월 간 이루어졌다. 설문지는 영문으로 작성한 후 현지어인 우간다어로 번역을 거쳐 최종 설문지를 완성하였으며 자기기 입식 설문지(self-administrative questionnaire)이다. 응답자가 설문지를 이해하는데 어려움이 있을 경우, 조사원 면접식 조 사(face-to-face survey)가 이루어졌다. 수집된 자료는 R 통계 프로그램(R Core Team, 2020)을 이용하여 분석되었으며 사용 된 패키는 plspm 패키지(Sanchez et al., 2017)와 car패키지 (Fox and Weisberg, 2019)이다.

분석 결과

1. 인구통계적 특성

응답자의 특성은 Table 4와 같다. 남성과 여성의 비율은 각 각 55.5%, 43.5%로 나타났다. 응답 연령대는 30대 이하의 비 율이 42.5%로 가장 높은 것으로 나타났다. 교육수준에서는 초 등졸이 40.0%로 가장 많았으며 중고졸, 대학졸, 직업학교 순 으로 나타났다. 가족 구성원은 8인 가족 이상이 43.5%로 가장 많은 것으로 나타났다.

2. 외부모형 평가

내적 일관성 신뢰도는 한 잠재변수를 여러 측정변수로 질문 하는 경우, 응답자가 일관성 있게 응답하는 정도를 평가하는 것으로 Cronbachʼs α와 Dillon-Goldsteinʼs ρ를 이용한다. 집 중타당성 평가는 동일한 잠재변수를 측정하는 데 측정변수 간 의 일치성 정도를 평가하는 것으로 요인적재량과 AVE로 확인 하다. Table 5는 내적 일관성 신뢰도와 집중타당성에 대한 평가 결과를 보여준다. 내적 일관성 신뢰도 평가에서, 지속가능성, 주 민 만족도, 공여국 이미지의 Cronbachʼs α가 기준 이하이긴 하나 모든 잠재변수의 Dillon-Goldsteinʼs ρ이 기준을 넘어 내 적 일관성 신뢰도를 만족하였다. 또한, 모든 측정변수의 요인 적재량 기준과 잠재변수의 AVE 기준을 만족하여 전체적으로 집중타당성을 충족한 것으로 판단하였다.

판별타당성은 한 잠재변수가 다른 잠재변수에 의해 설명되 는지를 확인하는 것으로 잠재변수간의 독립성을 판단할 수 있 는 정보를 제공한다. Table 6은 Fornell-Larcker 기준으로 잠 재변수의 상관계수와 $\sqrt{A V E}$ 를 보여준다. 대각선 축 위의 굵 은 이탤릭체 값은 각 잠재변수의 $\sqrt{A V E}$ 로 이 값이 속한 행 과 열에 있는 잠재변수 간의 상관계수가 $\sqrt{A V E}$ 보다 작으면 판별타당성이 높은 것으로 판단한다. 모든 상관계수는 $\sqrt{A V E}$ 보다 작은 것으로 나타나 판별타당성을 만족하였다.

3. 내부모형 평가

내부모형은 외생변수의 다중공선성과 경로계수의 유의성으 로 평가한다. 다중공선성 확인은 외생변수가 2개 이상인 식(2) 에 대해서만 이루어지며 식(3)을 통해 도출된 각 잠재변수의 요인점수를 가지고 다중회귀분석을 수행한 후 분산팽창요인 (VIF)으로 진단하였다. VIF는 1.57로 5보다 작아 다중공선성 의 문제는 발견되지 않았다. 따라서 외생변수 간의 강한 상관 관계는 보이지 않는 것으로 판단할 수 있다. 앞서 언급하였 듯이, PLS-SEM은 다변량 정규분포를 가정하지 않는다. 따라 서 경로계수인 β₁~β₃는 부트스트래핑(bootstrapping)기법으로 신뢰구간을 추정한 후 유의성을 확인한다. Table 7은 경로모 형 추정결과로 경로계수, 부트스트래핑 95% 신뢰구간, R², 가 설검정 결과를 보여준다. 유의수준 5%에서 ODA 성과는 주민 만족도와 공여국 이미지에 양(+)의 유의미한 영향을 미치는 것 으로 나타나 가설 H₁, H₂가 채택되었다. 하지만, 유의수준 5% 에서 주민 만족도는 공여국이미지에 유의미한 영향을 미치지 않아 H₃은 기각되었다.

4. ODA 성과에 대한 주민평가

한국에서 수행되는 ODA 사업에 대한 평가는 “ODA 사업 평가등급제 시행지침”에 근거하여 등급제를 시행하고 있으며 한국에서 파견되는 전문가가 평가한다. 평가기준의 각 항목에 대하여 1에서 4점까지 점수를 부여하고 기준별로 평균점수를 더한 후 다시 각 기준의 평균점수를 합하여 총점을 산출한다. 총점을 근거로 ODA 사업을 매우 성공적, 성공적, 부분 성공 적, 미흡으로 구분한다. 본 연구는 주민이 평가에 참여하는 방 식을 도입하였으며 등급산출에 있어서 위와 같은 단순산출방 식이 아닌 통계기법인 확인적 요인분석을 이용하였다.

식(3)과 식(4)를 통해 도출된 ODA/DAC 5대 기준에 대한 점수는 Table 8과 같다. 적절성은 88.16으로 평가기준 중 가 장 높은 점수를 차지하여 주민의견의 반영, 적절한 사업비 사 용 및 기간에 대해 높게 평가하는 것으로 나타났으며, 영향력 은 82.42로 본 사업을 통해 개인 삶의 변화와 지역사회에 대 한 관심의 변화에 영향을 주었다는 것에 가장 낮은 평가를 하 였다. ODA/DAC 5대 기준의 각 점수를 산술평균한 종합점수 는 85.45로 산출되었다.

결론 및 논의

종료된 ODA 사업은 객관적이고 공정한 평가가 요구된다. 모든 ODA 사업의 중간, 종료, 사후 평가를 수행하는데 지금 까지의 사후평가는 주로 한국에서 파견된 해당사업 분야의 전 문가 집단에 의해서만 이루어지고 있는 한계점이 있다. 본 연 구는 우간다의 태양광 건조기 개발 및 설치사업을 대상으로 한국에서 파견된 전문가 평가와 함께 지역주민이 평가에 참여 하는 주민참여형 평가를 성공적으로 수행하였다. 주민참여형 평가는 해당사업에 대한 수혜주민의 생각을 반영하고 한국의 전문가로 구성된 평가자의 객관성과 공정성을 확보하는데 기 여할 것으로 예상된다. 또한 본 연구는 주민참여형 평가가 다 른분야의 ODA 사업평가에 적용될 수 있을 것으로 판단한다. ODA평가에 대한 중요성이 커지고 있는 시점에서 본 연구의 분석과정 및 결과에 의해 도출된 시사점은 다음과 같다.

첫째, 경로분석 결과, 유의수준 5%에서 ODA 성과는 주민 만족도와 공여국 이미지에 양(+)의 유의미한 영향을 미친다는 가설을 지지한 반면 주민 만족도는 공여국 이미지에 유의미한 영향을 미치지 않았다(Table 7 참조). ODA 사업의 성과가 높 을수록 사업에 대한 주민 만족도는 높아지고 공여국 이미지가 제고되는 것을 알 수 있다. 하지만, ODA 성과는 주민 만족도 를 매개로 공여국 이미지에 영향을 미치지 않았다. ODA 성 과와 공여국 이미지 간의 관계가 실증적으로 확인됨에 따라 한국 이미지 제고를 위해 농업분야를 비롯한 다양한 분야에서 ODA 사업을 지속해서 확대해야 한다.

둘째, OECD 5대 기준 중 영향력은 사업에 의한 장기적 사 업효과를 평가하는 것으로 사업규모가 작거나 사업기간이 짧 으면 영향력은 작을 수밖에 없다. 특허청·한국발명진흥회의 국 제 지식재산 나눔사업은 단년도 사업으로 최소 3년 이상의 타 ODA 사업보다 사업수행 기간이 짧아 상대적으로 장기적인 효 과를 기대하기 어렵다. 이를 반영하듯이, 5대 평가기준별 100 점 만점으로 환산한 주민평가 결과, 주민은 영향력을 가장 낮 게 평가하였다(Table 8 참조). 단년도 사업은 연도별 성과관리 가 없으며 사후관리도 이루어지지 않는다. 즉, 전년도 성과점 검을 통해 차년도 또는 후속 사업실행에 반영하는 환류 체계 가 없다. 본 사업의 영향력을 높이기 위해서는 단년도 사업에 서 다년도 사업으로 확대하거나 연차별 후속사업으로 전환할 필요가 있다. 수확한 일반농산물 또는 사료작물을 건조하는 단 계에서 건조농산물 가공제품 또는 가축 사료 제품을 생산하는 설비를 구축하여 부가가치 사슬체계를 갖출 필요가 있다. 이 를 통해 실질적으로 농가 소득증대 및 지역사회 발전에 기여 하는 장기적인 사업효과를 기대할 수 있을 것이다.

셋째, 농촌개발을 비롯한 ODA 사업의 목표 중의 하나가 지역주민의 태도와 인식을 변화시키고 자발적 동기를 부여하 는 것으로 지역주민을 사업참여자가 아닌 사업대상자로 간주 하였다. 하지만 지역주민은 사업 초기부터 지속적인 관심을 가 지고 있어 사업에 대한 이해도가 높으며 지역주민의 지지도는 사업의 지속성과 성공적인 결과를 끌어내는데 핵심적인 역할 을 하고 있다. ODA 사업 평가는 수원국 현장에 대한 감각이 부족하고 사업에 대한 이해가 부족한 공여국에서 파견된 전문 가가 평가할 가능성이 존재한다(Lee & Kim. 2017). 이러한 문제에 대한 해결방안으로 누구보다도 현장을 잘 이해하고 있 는 지역주민을 평가자로 하여 주민의 관점에서 ODA 사업을 평가하는 방식을 고려할 수 있다.

2011년 이후부터 ODA 사후평가에서 나타나는 특징 중 하 나는 설문조사를 이용한 다양한 정량적 분석방법이 활용되고 있다(Sohn et al., 2018). 본 연구는 PLS-SEM을 적용하여 ODA 성과를 통계·계량적 방법으로 평가할 수 있는지를 타진 하였다. 확인적 요인분석으로 리커트 5점 척도로 측정된 항목 간의 상호연관성을 확인하여 OECD/DAC 5대 기준으로 요인 화하였다. 5대 기준은 ODA 성과의 하위개념으로 설정하는 고 차요인 구조를 통해 연구모형의 간명성을 확보하였다. 또한 외 생잠재변수인 ODA 성과가 내생잠재변수인 주민 만족도와 공 여국 이미지에 영향을 미치는지를 경로분석을 통해 살펴보았 다. 이러한 구조적 영향관계를 분석할 수 있는 PLS-SEM은 농 업분야 ODA뿐만 아니라 다른 분야 ODA 사업에 적용할 수 있어 실무적 활용이 가능하다. 이와 같이, PLS-SEM을 적용한 평가기법은 ODA 사업성과에 대한 점수 산출뿐만 아니라 사 업성과와 관련된 구조적 영향관계를 실증적으로 분석하고 유 용한 정보를 제공할 수 있을 것으로 기대한다.

적 요

1. 본 연구의 목적은 한국 공여기관이 수행한 ODA 사업을 대상으로 수원국 주민에 의한 정량적 평가방법이 사후평가에 적용가능한지를 탐구함.
2. PLS-SEM 모형을 통해 OECD/DAC 5대 기준별 점수를 산출하였으며 추가로 ODA 성과가 주민 만족도와 공여국 이 미지에 미치는 영향관계를 분석함.
3. 주민은 OECD/DAC 5대 기준 중 영향력에 대해 가장 낮은 점수를 부여하였으며 ODA 성과가 높을수록 주민 만족 도와 공여국 이미지는 높아지는 것으로 나타남.
4. 본 연구를 통해 ODA 사업 사후평가에 주민참여형 정량 적 평가의 적용가능성을 확인하였으며 본 평가방법은 공여국 전문가 주도의 평가방식을 보완하는 목적으로 그 유용성이 클 것으로 기대함.

ACKNOWLEDGMENTS

이 연구는 2019년도 특허청·한국발명진흥회 우간다 국제 지 식재산 나눔사업의 사후평가로 수집된 자료를 이용하였음. 이 논문은 2020년도 한국국제협력단(KOICA)의 “개발협력 평가 혁신을 통한 한국 ODA 성과 제고방안” 연구의 일부로 수행된 연구임(관리번호 제2020-002호).

Figure

Fig. 1.

Research Model

Table

Table 1.

Latent variables and measurement variables

Table 2.

Research Hypothesis

Table 3.

Model Evaluation

Table 4.

Socioeconomic Characteristics

Table 5.

Evaluation of Reliability and Convergent Validity

Table 6.

Evaluation of Discriminant Validity

Table 7.

Result of Path Analysis

Table 8.

ODA Performance

Reference

Choi, J. S. and Lee, Y. H. 2016. Influence Analysis on Resident Satisfaction and Donor Country Image in Cambodia Rural Development: Application of OECD/DAC Evaluation Criteria and PLSSEM. Korean Journal of Agricultural Management and Policy. 43(3): 489-510.
Committee for International Development.2018. Improvement of Evaluation System of ODA. http://www.odakorea.go.kr/fileDown-Load.xdo?f_id=153025615184119216811081AND HC6ZWWRG6OH3HKW5/.
Fornell, C. and Larcker, D. F. 1981. Structural Equation Models with Unobservable Variables and Measurement Error: Algebra and Statistics. Journal of Marketing Research. 18(3): 382-388.
Fox, J and Weisberg, S. 2019. An {R} Companion to Applied Regression, Third Edition. Thousand Oaks CA: Sage. https://socialsciences.mcmaster.ca/jfox/Books/Companion/.
Hair Jr, J. F. , Hult, G. T. M. , Ringle, C. and Sarstedt, M. 2016. A primer on partial least squares structural equation modeling (PLSSEM), Sage Publications.
Heo, J. and Ji, S. T. 2014. A Study on the Establishment of Evaluation Guidelines for Agricultural ODA Projects. Korea Rural Economic Institute.
Jee, H. J. and Lee, H. J. 2016. A Study on the Agricultural Status and Development Policy of Uganda. Journal of Korean Society of International Agriculture. 28(1): 1-6.
Kim, S. B. and Kim, B. N. 2019. A Study on the Evaluation and Sustainable Development of WIPO Appropriate Technology Projects: Focused on WIPO AT Competition. Korean Management Consulting Review. 19(2): 285-304.
Lee, H. J. and Kim, S. Y. 2017. A Study on the Experience of Evaluation Participating Expert for ODA Projects. Social Economy & Policy Studies. 7(3): 169-201.
Lee, J. S. , K, H. H. , Lee, S. C. , Kim,2012. Soil Fertility of Arable Land in Ugnada. Journal of Korean Society of International Agriculture. 24(1): 76-83.
ODA Korea,2020. http://www.odakorea.go.kr/ODAPage_2018/category02/nation_stats2_Uganda.jsp/.
R Core Team.2020. R: A language and environment for statistical computing. R Foundation for Statistical Computing, Vienna, Austria. https://www.R-project.org/.
Sanchez, G. 2013. PLS path modeling with R. Berkeley: Trowchez Editions.
Sanchez, G. , Trinchera, L and Russolillo, G. 2017. plspm: Tools for Partial Least Squares Path Modeling (PLS-PM). R package version 0.4.9. https://CRAN.R-project.org/package=plspm/.
Sohn, H. S. , Lee, J. Y. and Y, I. C.2018. Analyzing the Trends of Development Evaluation in South Korea – Focusing on the Ex- Post Evaluation Reports of KOICA(1988-2016). Journal of International Areas Studies. 22(1): 161-201.