Journal Search Engine
Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 1225-8504(Print)
ISSN : 2287-8165(Online)
Journal of the Korean Society of International Agricultue Vol.31 No.4 pp.424-427
DOI : https://doi.org/10.12719/KSIA.2019.31.4.424

A Survey for Manual Identification Rate of Insect Images on different Image Quality

Young-gyun Park*, Joon-Ho Lee*,**, Jum-Rae Cho***, Gwan Seok Lee***, Chang Woo Ji***,†
*Department of Agricultural Biotechnology, Seoul National University, Seoul 08826, Republic of Korea
**Research Institute of Agriculture and Life Sciences, Seoul National University, Seoul 08826, Republic of Korea
***Crop Protection Division, National Academy of Agricultural Science, Wanju 55365, Republic of Korea
Corresponding author (Phone) +82- (E-mail)
September 11, 2019 December 11, 2019 December 11, 2019

Abstract


We surveyed the identification rate of insect image on different image qualities through visual judgement by insect researchers. Eight insect species (whitefly, thrips, aphid, parasitoid wasp, lacewing, two moth species and planthopper) were used in this survey. Each of them was caught with a yellow sticky trap, and their image on the trap was scanned. Fifty researchers, who are well acquainted with agricultural pest insects, responded to our survey. Identification rate of small-sized insect like whitefly and thrips was about 50 % even at the highest image quality (4,800 dpi). Middle size insect like parasitoids wasp showed over 90 % of identification rate at 600 dpi. However, relatively big-sized insect like lacewing and tobacco cutworm showed about 70 % of identification rate at 600 dpi. Identification performance for small insects varied and relationship with size of insects did not reveal in this study. Further pre-survey considering for image quality would be necessary before developing an automatic recognition system for small insects.



화질에 따른 해충 영상의 인지율 설문 조사

박 영균*, 이 준호*,**, 조 점래***, 이 관석***, 지 창우***,†
*서울대학교 농업생명과학대학
**서울대학교 농생명과학연구원
***국립농업과학원 작물보호과

초록


    서 언

    최근 머신 러닝을 활용한 곤충 영상의 자동 인지 및 계수 에 관한 연구가 급속도로 진행되고 있다. 해충의 동정과 밀도 파악은 농산물 생산비 감소에 이바지할 뿐만 아니라, 개체군 동태와 같은 생태학 분야 연구에도 도움이 될 수 있다(Park et al., 2003; Mu et al., 2007). 특정 색을 가지고 있는 가루이류 나, 다른 해충에 비해 크기가 커서 비교적 동정이 쉬운 나방류의 경우 이미 scoutbox® (Cropwatch, Wageningen, the Netherlands), trapview® (EFOSd.o.o., Hru_sevje, Slowenia)와 같은 자동 계 수기가 상업화되어 판매되고 있다. 하지만 시설원예에서 주로 발생하는 해충인 가루이류, 진딧물류, 총채벌레류는 크기가 3mm 이하로 작은 곤충이다.

    이러한 미소해충의 자동 인식을 위해 곤충의 자세나 촬영 각 도(Leow et al., 2015), 색보정(Kumar et al., 2010), 노이즈 필 터링(Parvati et al., 2008), 특징 추출(Cho et al., 2007;Solis- Sánchez et al., 2009)과 같은 전처리 기법(Pre-processing)이 연구되었다. 최근에는 콘볼루션 신경망(Convolutional neural network)을 이용하여 전처리 과정을 줄이고 곤충을 자동 인지 하는 방법이 개발되었다 (Ding & Taylor, 2016). 또한, 온라인 곤충 자동 인지 시스템이 급속도로 개발되어 자동 영상 인지 시스템 개발이 보다 효율적으로 발전하고 있다(예, 고속 영상 송수신). 앞서 언급한 scoutbox®와 trapview®도 온라인으로 영 상을 받아 서버 컴퓨터에서 해충을 인지 및 계수하고 있다. 하자만 온라인 시스템은 영상을 송수신 할 수 있지만 실물을 보낼 수는 없다. 비록 온라인 시스템을 이용하여 곤충을 자동 인지하고 계수하더라도 자동 인지 시스템의 신뢰성을 확보하 기 위해서는 사람의 시각적 판단과 평가가 필요하다.

    미소 곤충의 영상의 자동 인지와 관련된 문제는 영상의 화 질이 중요하다고 알려져 있다(Martineau et al., 2017). 디지털 영상의 해상도는 영상을 가로 및 세로로 나누는 픽셀 수로 판 단을 한다(예, 1920 × 1080 픽셀). 하지만 물체의 총 픽셀 수 는 카메라와 물체 사이의 거리에 따라 변할 수 있다. 정확한 공간해상도를 얻기 위한 핵심은 영상에 픽셀이나 점이 정확하 게 나타날 수 있는지 여부 이고, 이것은 단순 픽셀수가 아닌 이미지 생성 시스템에 따라 달라진다. 인치당 도트 수(Dots per inch, DPI or dpi)는 실제 1인치 안에 있는 영상의 점의 수이다. 오직 몇몇 연구만이 사진의 화질과 관련해 dpi를 언 급하였고, 600 dpi의 사진이 미소 해충의 자동 동정 및 개수 에 사용되었다(Solis-Sánchez et al., 2011; Xia et al., 2015). Cho et al., (2007)에서 600 dpi로 스캔된 가루이류, 총채벌레 류, 진딧물류의 사진은 각각 346, 246, 244개의 점으로 구성 되었다고 보고하였다. 하지만 앞서의 연구도 해충 자동 인지 결과에 대한 판별은 온라인 시스템이 아닌 현장에서 육안 조 사로 진행되었다(Cho et al., 2007; Mu et al., 2007; Solis- Sánchez et al., 2011; Xia et al., 2015).

    본 설문 조사는 곤충 연구자가 영상을 통해 미소 해충을 판 별하기 위한 최소한의 사진 화질을 구하기 위해 수행되었다. 곤충 영상은 끈끈이트랩에 대상 해충을 붙이고 각 트랩을 300 에서 4,800 dpi까지 상업용 스캐너를 이용하여 획득하였다. 설 문 조사는 38명의 곤충 연구자를 대상으로 하였다. 이 조사의 결과는 미소 해충의 자동 인지 기술 개발을 위한 곤충에 따른 최소 화질에 대한 가이드 라인을 제시할 수 있을 것이다.

    재료 및 방법

    영상의 dpi에 따른 인지율을 조사하기 위해 경제적 중요성 을 고려하여 담배가루이(Bemisia tabaci)와 포인세티아총채벌레 (Echinothrips americanus), 복숭아혹진딧물(Myzus persicae), 목화검정진디벌(Ephedrus plagiator), 갈고리뱀잠자리붙이 (Micromus angulatus), 배추좀나방(Plutella xylostella), 담배거 세미나방(Spodoptera litura), 벼멸구(Nilaparvata lugens) 등 8 종을 선정하였다. 각 곤충 개체들은 끈끈이트랩 위에 자세 및 형태를 유지하여 고정하였다. 각 시험 곤충 영상 획득은 스캐 너(Epson Perfection V330 Photo)를 이용하여 300와 600, 900, 1,200, 2,400, 4,800 dpi로 스캔하였다. Fig. 1은 각 dpi 에 따른 포인세티아총채벌레의 영상이다. 설문지는 한 페이지 에 한 종의 곤충과 한 가지의 dpi 영상, 그리고 8개 선다형으 로 구성되었다(1. 진딧물, 2. 가루이, 3. 총채벌레, 4. 나방, 5. 기생봉, 6. 풀잠자리, 7. 멸구, 8. 알 수 없음). 설문에 참여한 인원은 곤충학 전공 대학원생 18명, 국가연구기관 연구원 32 명 등 총 50명으로 모두 곤충 및 해충의 분류, 방제, 생태를 연구하고 있다. 또한 참여원의 곤충 인식에 관한 신뢰를 확보 하기 위해, 설문 전에 참여한 이들에게 곤충 실물을 보고 동 정이 가능한지 물어보고 확인하였다.

    결과 및 고찰

    설문 참여원 50인의 8종 곤충 사진의 dpi별 인지율을 Table 1에 나타내었다. 포인세티아총채벌레(E. americanus)에 대한 동 정성공률은 모든 dpi에서 낮게 나타났다. 300 dpi에서 모든 응답자는 총채벌레를 동정하지 못했고, 최고 화질인 4,800 dpi 에서 조차 약 절반(48%)의 응답자만이 총채벌레를 판별해 내 었다. 반면에, 조사대상 곤충 중 가장 큰(약 16~17 mm) 담배 거세미나방(S. litura)의 경우 모든 응답자가 dpi에 상관없이 나방으로 선택하였다. 크기가 상대적으로 작은 배추좀나방(P. xylostella) 또한 다른 곤충들에 비해 비교적 높은 인지율을 보 였는데, 가장 낮은 300 dpi에서도 70% 이상의 응답자가 나방 을 선택하였다. 진딧물의 포식성 천적인 갈고리뱀잠자리붙이 (M. angulatus)는 비교적 큰 크기 때문에 600에서 4,800 dpi 사이에서는 모두 70% 이상의 인지율을 보였다. 목화검정진디 벌(E. plagiator)의 경우 작은 크기를 가졌음에도 불구하고, 600 dpi에서 90% 이상의 인지율을 보였다. 진딧물(M. persicae) 의 인지율은 1,200 dpi에서는 64%의 인지율을 보였고 2,400 dpi에서는 80%에 가까운 인지율을 보였다. 하지만 흰색이 특 징적인 담배가루이(B. tabaci)의 경우 모든 dpi에서 낮은 인지 율을 보였는데, 가장 높은 4,800 dpi에서도 52%의 인지율을 보였다. 벼멸구(N. lugens)의 경우 2,400 dpi에서 약 70%의 인지율을 보였고, 4,800 dpi에서는 80%의 인지율을 보였다. 이러한 서로 상반되는 결과는 응답자의 대상 곤충에 대한 최 근의 관찰 빈도나 경험에 따른 영향으로 추측된다. 보다 정확 한 판단을 위해서는 같은 dpi에서 반복적인 조사가 대안이 될 수 있을 것이다.

    각 조사 곤충의 실제 크기와 사진의 dpi에 따른 픽셀 수는 Table 2에 나타내었다. 가장 큰 종인 담배거세미니방(S. litura) 의 픽셀 수는 300 dpi에서 57,200개, 4,800 dpi에서 14,472,200개였다. 포인세티아총채벌레(E. americanus)와 담배 가루이(B. tabaci)의 픽셀 수는 300 dpi에서 100개 이하였고, 4,800 dpi에서는 각 23,040개, 15,360개로 조사되었다. 목화검 정진디벌(E. plagiator)과 복숭아혹진딧물(M. persicae)에 대해 70%이상의 인지율을 보인 화질은 각 600 dpi와 2,400 dpi였 고, 픽셀 수는 각 2,262개와 14,450개로 나타났다. 배추좀나방 (P. xylostella)과 갈고리뱀잠자리붙이(M. angulatus)는 각 300 과 600 dpi에서 70%에 가까운 인지율을 보였고 이 때의 픽 셀 수는 각 2,100개와 18,000개였다. 벼멸구(N. lugens)는 2,400 dpi에서 70%이상의 인지율을 보였고 이 때의 픽셀 수 는 70,400개였다.

    앞에서 말한 바와 같이, 공간해상도는 사진을 만들어내는 시 스템에 영향을 받는다. 사진의 dpi는 렌즈의 크기 같은 하드 웨어뿐 만 아니라 촬영 거리에도 영향을 받을 수 있다. 예를 들어, 100 mm 매크로렌즈를 장착한 DSLR 카메라(Canon EOS 5D)를 이용해 최소 초점거리(약 8 cm)에서 촬영하면 약 11,000 dpi의 사진을 얻을 수 있지만, 65 mm 매크로렌즈를 이용해 촬영하면 약 4,000 dpi정도의 사진 밖에 얻을 수 없다. 한편, 스마트폰의 카메라를 이용해 최소 초점거리에서 촬영했 을 경우에는 150 dpi의 사진을 얻을 수 있다. 따라서, 이번 조사 대상 곤충 중 나방류, 풀잠자리, 진딧물의 동정을 위해서 는 65 mm의 매크로렌즈가 필요하고, 그보다 더 작은 크기의 곤충 인지 및 판별을 위해서는 100 mm의 매크로렌즈가 필요 함을 알 수 있었다. 그러나, DSLR카메라와 매크로렌즈는 가 격이 비싸고 온실에서 사용하기에는 크기가 커서 불편하다. 그 러므로 최근 많이 사용하고 있는 hand-held 형태의 디지털 현 미경이 자동 곤충 인식 시스템을 개발하기 위해서는 더 적합 하다고 할 수 있다.

    번짐이나 노이즈가 있는 사진에 대한 심층신경망(Deep neural network)의 인식률은 사람보다 높지 않다(Dodge & Karam, 2017). 낮은 dpi 화질의 영상은 기본적으로 번짐이 있 는 영상과 동일하다고 할 수 있다. 또한 차후 영상 인지 기술 이 발전하더라도 개발된 시스템이 정확하게 인지를 하였는지 는 결국 사람이 판별해야 한다. 그러므로 미소 해충의 자동 인지 시스템을 개발하기 위해서는 최소한 관련 연구원이 구분 할 수 있는 화질을 사용해야 한다. 본 조사에서 담배가루이와 총채벌레의 인지율은 4,800 dpi에서 약 50%로 조사되었고 진 딧물의 경우 2,400 dpi에서 70% 이상의 인지율을 보였다. 한 편, 이번 조사에서는 곤충의 크기와 인지율에 대한 상관관계 가 명확히 밝혀지지 않았다. 그러므로, 작은 곤충의 자동인식 기술 개발을 위해서는 같은 화질에 대한 반복적인 조사와 같은 개선된 방법을 통해 화질에 따른 인간과 머신러닝의 인지율 상관관계에 대한 사전 조사가 좀 더 필요할 것이라 생각된다.

    적 요

    1. 미소 해충의 자동 영상 인지 시스템 개발에 필요한 기 초 자료를 확보하기 위해 화질에 따른 해충의 인지율을 조 사하였다.

    2. 곤충 영상은 스캐너를 이용하여 300, 600, 900, 1,200, 2,400, 4,800 dpi의 6단계 화질로 획득하였고 곤충 연구자에게 화질에 따른 인지율을 설문 조사하였다.

    3. 나방류인 담배거세미나방과 배추좀나방의 경우 모든 dpi 에서 높은 인지율을 보였다.

    4. 크기가 작은 포인세티아총채벌레와 담배가루이의 경우 모 든 dpi에서 50% 미만의 낮은 인지율을 보였다.

    5. 크기가 작은 총채벌레와 담배가루이 인지 시스템 개발에 는 100 mm 매크로렌즈를 사용하거나 hand-held 형태의 디지 털 현미경이 필요할 것으로 사료된다.

    ACKNOWLEDGMENTS

    본 논문은 농촌진흥청 연구사업(세부 과제번호: PJ01258301) 과 농림식품기술기획평가원 연구사업(세부 과제번호: 319007- 01)의 사업의 지원을 받아 연구되었음

    Figure

    KSIA-31-4-424_F1.gif

    The scanned image of Echinothrips americanus on yellow sticky trap on six different dpi.

    Table

    Successful identification rate of each test specimens according to different dpi. N = 50.

    Size (mm) and the pixel numbers of each test specimen according to different dpi.

    Reference

    1. Cho, J. , Choi, J. , Qiao, M. , Ji, C.W. , Kim, H.Y. , Uhm, K.B. , Chon, T.S. ,2007. Automatic identification of whiteflies, aphids and thrips in greenhouse based on image analysis. Inter. J. Mathe. And Compu. in Simul. 1, 46-53.
    2. Ding, W. , Taylor, G. ,2016. Automatic moth detection from trap images for pest management. Compu. Electron. Agricul., 123, 17-28.
    3. Dodge, S. , Karam, L. ,2017. A study and comparison of human and deep learning recognition performance under visual distortions. IEEE. 26th international conference on computer communication and networks (ICCCN).
    4. Kumar, R. , Martin, V. , Moisan, S. ,2010. Robust insect classification applied to real time greenhouse infestation monitoring. IEEE. ICPR Workshop on Visual Observation and Analysis of Animal and Insect Behavior, Istanbul, Turkey. 1-4
    5. Leow, L.K., Chew, L.-L.. Chong, V.C., Dhillon, S.K.,2015. Automated identification of copepods using digital image processing and artificial neural network, BMC Bioinforma. 16, S4.
    6. Martineaua, M. , Contea, D. , Raveauxa, R. , Arnaultb, I. , Munierb, D. , Venturinia, G. ,2017. A Survey on image-based insect classification. Pattern Recognition. 65, 273-284.
    7. Qiao, M. , Lim, J. , Ji, C.W. , Chung, B.K. , Kim, H.Y. , Uhm, K.B. , Myung, C.S. , Cho, J. , Chon, T.S. ,2008. Density estimation of Bemisia tabaci (Hemiptera: Aleyrodidae) in a greenhouse using sticky traps in conjunction with an image processing system. J. Asia-Pacific Entomol. 11, 25-29.
    8. Park, Y.S. , Han, M.W. , Kim, H.Y. , Uhm, K.B. , Park, C.G. , Lee, J. , Chon, T.S. 2003. Density estimation of rice planthoppers using digital image processing algorithm. Korean J. Applied Entomol. 42, 57-63.
    9. Parvati, K. , Prakasa Rao, B.S. , Mariya Das, M. ,2008. Image segmentation using gray-scale morphology and marker-controlled watershed transformation. Discrete Dynam. Nat. Soc. 1–8.
    10. Solis Sánchez, L. , García Escalante, J. , Castañeda Miranda, R. , Torres Pacheco, I. , Guevara González, R. ,2009. Machine vision algorithm for whiteflies (Bemisia tabaci Genn.) scouting under greenhouse environment. J. Appl. Entomol. 133, 546–552.
    11. Wen, C. , Guyer, D. ,2012. Image-based orchard insect automated identification and classification method, Comput. Electron. Agric. 89, 110–115.
    12. Xia, C. , Chon, T.-S. , Ren, Z. , Lee, J.M. 2015. Automatic identification and counting of small size pests in greenhouse conditions with low computational cost. Ecol. Infor. 29, 139-146.