개 요
20세기 이후 지구는 많은 기상이변으로 인해 자연재해의 위험성이 더욱 커지고 있다. 특히, 토목/건축 구조물들의 대형화는 이러한 구조물의 붕괴에 따른 재해 규모를 더욱 크게 하는 요인이 되고 있다. 댐의 경우 1963년 이탈리아의 Vajont댐 붕괴, 1976년 미국 아이다호주의 Teton댐 붕괴 등의 사례에서 알 수 있는 바와 같이, 붕괴시 그 피해규모가 상상을 초월하여 경제, 산업적 측면 뿐 아니라 인명상의 피해를 가늠하기 어려울 정도로 막대한 손실을 초래할 수 있고, 국내의 경우에도 1996년과 1999년 2회에 걸쳐 연천댐이 붕괴되어 파주군 전체가 침수되는 피해를 겪은 사례에서 알 수 있듯이 댐붕괴에서 완전히 자유롭지는 못한 실정이다.
댐의 유지관리를 위해 많은 계측시스템들이 설치되어, 댐의 시공초기부터 댐시공후 지속적인 유지관리가 이루어지고 있으나 많은 부분에서 망실되거나 사용이 불가능한 경우가 많다. 특히, 댐체의 변형에 대해서는 콘크리트댐의 경우 콘크리트 외벽의 균열이 발생하는 초기증상이 나타나게 되는데, 이러한 경우 계측관리를 위한 안전점검 담당자들의 직접적 현장 접근 및 관찰이 어려울 뿐 아니라, 균열의 진행정도를 파악하기도 어렵다. 또한 최근 들어 기상이변으로 인한 집중호우의 발생이 빈번해지고, 우리나라 연평균강우량(1200～1400mm)의 2/3이상이 하절기에 집중되는 강우 특성에 의해 저류구조물의 위험성은 더욱 커지고 있는 실정이다.
댐 계측의 경우, 댐의 변위를 기록하는 계측기는 대부분 자동계측을 요하지만 댐체의 변형이나 댐체 외벽의 변형 및 변위는 수동계측에 의존하는 것이 일반적이어서 상기와 같은 위험상황이 있는 경우에 댐체의 변형 진행과정이나 붕괴 발생 순간 및 과정의 파악에 따른 경계발령 및 사후조치의 조속한 시행이 사실상 불가능한 상태이다. 따라서 만에 하나 발생할 수 있는 댐의 붕괴에 따른 피해 예방 및 최소화를 위해 최소한의 인원과 장비를 이용하여 효율적으로 유지관리 할 수 있는 모니터링 시스템이 필요하다.
한편, 기존의 영상을 이용한 3차원거동 계측시스템은 그림 3.1과 같은 소프트사진영상을 이용한 3차원 영상 구축체계를 사용하고 있다. 이러한 기술체계는 정밀도면에서 우수하나, 위험요소에 대한 즉각적인 대응이 어려움으로 이에 대한 개선이 필요하다. 따라서 본 연구에서는 기존 영상 모니터링 시스템의 단점을 개선하여 보다 경제적이면서 현장상황에 즉각 대응하여 위험요소를 사전에 판별 및 판단할 수 있는 보다 합리적인 댐시설물 실시간 모니터링 및 유지관리시스템을 구축하고자 한다.
특히, 21세기에 들어 영상을 획득/분석하는 각종 첨단기기들이 속속 개발되고 있고 그 진화속도는 추종을 불허할 정도로 빠른 실정이다. 따라서 발전 가능성이 무궁무진한 첨단 디지털 기술을 이용하여 그림 3.2에서와 같이 수치영상을 획득/분석하고 이를 응용한 실시간 영상 모니터링 체계를 구축하면, 디지털기술의 도약적 발전과 더불어 개발 영상 모니터링기술을 빠른 속도로 발전시킬 수 있게 되어 댐과 같은 주요 국가 시설물의 안전관리 및 유지관리기술의 효율화에 크게 기여할 수 있다.
전술한 바와 같이 수치영상기법에 의한 영상획득 및 분석 기술은 획득된 2차원 영상사진을 컴퓨터와 수치해석 도화기를 통해 3차원화하기 위해 많은 절차가 필요하기 때문에, 현장에서 발생하는 구조물 변형에 즉각적으로 대응하지 못하게 된다. 따라서 영상처리과정의 간소화를 통해 영상획득에서 분석에 이르는 시간을 단축시킬 필요가 있다. 또한 수치영상기법을 이용한 모니터링 시스템에서는 변위 측정의 정밀도가 영상 획득용 카메라의 성능(특히, 화소수)에 크게 영향을 받기 때문에, 급속한 속도로 발전하고 있는 고성능 디지털 및 CCD 카메라를 활용함으로써 계측의 정밀도를 지속적으로 향상시킬 수 있다. 본 연구에서는 이와 같은 디지털 기술의 발전 속도를 반영하여 계측 정밀도의 지속적 향상을 도모할 수 있을 뿐 아니라 댐체의 변형과정을 실시간에 분석할 수 있는 비쥬얼 모니터링 시스템을 개발하고, 기존에 댐내부에 매설된 각종 자동계측시스템과의 연동을 통해 효율적으로 댐체에 대한 실시간 모니터링 및 유지관리 체계를 마련하고자 한다.
비쥬얼 모니터링 시스템
1. 사진측량기법을 활용한 비쥬얼 모니터링 체제의 발전과정
기존 사진측량은 감광유제를 이용한 필름을 사용하였기 때문에 원하는 결과를 도출하기까지 많은 처리과정이 요구되므로, 적용상의 어려움과 더불어 데이터의 왜곡과 보관 등의 문제가 발생하였다. 이후 보다 간편하고 경제적인 영상자료의 획득, 처리 및 저장이 가능한 매체로 CCD 카메라와 같은 수치영상획득매체의 사용이 거론되었다. 1960년대에 고가품이었던 수치영상획득매체는 전기․전자의 발달에 힘입어 자체 해상력과 해석영역을 확대시켰을 뿐만 아니라 카메라 렌즈의 기하학적 왜곡 보정과 영상처리 및 해석에 관한 알고리즘 구축을 통해 놀라울 만한 정확도 향상을 가져왔다. 1990년대 초, 필름을 스캔한 영상 분석기법의 효용 가능성이 인지되면서 다양한 분야에 비젼 측정기법의 활용방안을 제시하기 위한 많은 연구가 수행되었다. 그리고, 수치영상을 이용한 고정확도 측정기법으로의 활용연구와 더불어 시스템 오차를 줄이기 위한 많은 노력이 있었다. 1990년대 중반에 이르러서는 보다 정확도가 높은 영상분석기법 구축과 알고리즘의 개발, 그리고 실시간 분석을 위한 실용화에 대한 연구가 다수 수행되었다. Shrties와 Fraser는 산업현장에서의 활용을 위해 수치영상을 이용한 3차원 위치측정에 관한 연구를 수행하였으며, Mark R.Shortis와 Stuart Robson and Tim Short는 근접사진측량 분야와 MV분야에 폭넓은 활용을 위한 다중 초점 렌즈의 검정에 관한 연구를 수행하였다. R.A.H.Munjy는 초점거리의 변화에 따라 모델되어지는 왜곡을 보정하기 위해 자가검정의 FEM방법을 개발하였고, M.A. Chapman은 이를 이용하여 CCD카메라의 렌즈검정과 영상의 해석정확도 향상에 관한 연구를 수행하였다. Wong, El-Hakim 등은 컴퓨터 비젼에서 흔히 쓰이는 줌 렌즈의 기하학적 왜곡보정을 위해 초점별 수학적 모델을 도출하였으며 Gruen은 로봇 비젼에서의 영상분석과 대상물 공간에서의 위치결정을 위해 CCD카메라를 이용하였다.
최근에는 기존의 연구를 근간으로 한 독립적 수행의 프로그램을 시각적 분석 및 연계 분석이 가능한 환경으로 변환/구축하여 통합/관리하고자 하는 관심이 증대되고 있다. 특히, Marsha Jo Hannah는 수치영상 정합을 통한 3차원 데이터 획득의 자동화를 구현하여 동체 움직임, 산업에서의 자동화 측정 등의 활용방안을 연구한 바 있다. 또한 최근의 수치영상기술을 활용한 사용자와의 인터페이스 설계를 통해 고 정확도 측정기법으로의 비젼 시스템화를 완성해 가고 있다.
2. 비쥬얼 모니터링 시스템 개요
사진을 이용한 영상획득, 도화 및 해석방법으로는 측정용 카메라를 이용하여 필름의 획득하고 소프트카피에 의한 영상획득 및 분석방법의 과정을 거쳐 좌측 및 우측영상을 획득한다. 얻어진 영상을 좌변환에 의한 3차원 좌생성 흐름도와 같은 순서도에 의해 처리하면 결과가 얻어지게 되어 지반의 형상이 3차원적으로 구해진다.
Rollei 6006(80mm, 60x60mm film)
– 3800×3800화소, 300m 거리에서 촬영
– 사면크기 100x100m, 2도 수렴
– 측정간격 1m, 6000points(무타켓)
– 1m 등고선(정확도 10cm)
– Scan 량에 따라 영향(40Mb)
즉, 측정용 카메라를 이용하여 획득한 영상은 초기좌표생성프로그램, 성과변환과정을 거쳐 Virtuozo 및 MGE 프로그램을 이용하여 횡단에 대한 좌표변환을 수행함으로써, 3차원좌표를 추출하고 Tin망을 구성하게 된다. 이와 같이 기존의 시스템은 여러 단계의 과정을 거치게 되므로 전술한 바와 같이 현장에서 발생되는 각종 변형 및 변화에 대하여 즉각적인 대처가 어려워지고, 이로 인해 재해위험 발생시 시각적으로 그 위험을 견지하고 그에 대한 즉각적인 대처방안을 마련하는데 많은 시간이 소요되게 된다.
따라서 영상을 획득하여 좌표를 생성하고 해석도화를 통한 지형분석을 거쳐 3차원좌표를 생성한 후, 변화벡터를 추출하는 과정을 통합하여 구조물의 변화를 일시에 해석할 수 있는 방안이 필요하다. 본 연구과정을 통해 이러한 통합시스템을 개발하고자 하며, 개발시스템은 댐체 형상의 변화와 댐표면에서 발생할 수 있는 균열 등의 발생 및 진행과정을 원거리에서 관측하고 측정하는 수단으로 응용/활용 하고자 한다. 또한, 영상 해석을 위한 고정점 및 보조점의 위치선정은 GPS 또는 지상 측정 시스템을 활용 할 것이다.
본 연구에서는 비쥬얼 모니터링 시스템에 적용할 새로운 영상 처리/분석용 소프트웨어를 개발하였으며, 개발된 소프트웨어의 성능 평가 및 문제점 개선을 위한 시뮬레이션을 00대학 내에 위치한 실험용 교량에 적용하여 수행하였다
3. 비쥬얼 모니터링 시스템 이론적 배경
가. 이미지 프로세싱(Image Processing)
디지털 영상처리(Digital Image Processing)는 컴퓨터를 이용하여 영상을 처리하는 것이다. 1960년대부터 시작된 디지털 영상처리는 알고리즘이 막대한 용량을 필요로 하였기 때문에 극소수의 전문가만의 연구영역이었다. 그러나 최근 들어 컴퓨터의 발전과 더불어 많은 사람들이 영상을 처리하고 컴퓨터가 영상을 인식 할 수 있도록 하는 것에 관심을 가지게 되었으며 기술의 발전과 함께 영상처리분야의 성장가능성이 한층 더 기대되고 있다. 영상처리와 관련되는 첨단기술로는 병렬처리기술, CCD소자의 가격하락, 메모리칩의 대용량화, 저렴한 고해상도 컬러 디스플레이 등을 들 수 있다. 넓은 의미의 영상처리는 컴퓨터를 이용하여 영상을 생성하고 처리하고 영상을 해석, 인식하는 모든 분야를 의미한다. 영상처리의 주된 분야는 다음과 같다.
– 영상조작(Image Manipulation)
잡음이 많은 영상의 개선, 흐려진 영상의 복원, 기하학적인 교정, 영상콘트라스트의 향상, 예술적인 변형 등의 작업을 의미한다.
– 영상분석(Image Analysis)
인쇄되거나 필기된 글자를 식별하거나, 카메라를 통하여 부품의 치수를 측정하고 PCB기판의 정밀도 체크하거나, 의료 분야에서의 세포분석 등이 여기에 해당한다.
– 영상인식(Scene Analysis)
영상처리의 가장 흥미로운 분야 중 하나로 영상 내 존재하는 물체의 종류와 개수 등을 인식하는 것이다. 대표적인 예가 로봇의 시각 시스템과 무인 자동차의 전자눈이다. 그러나 영상인식은 본질적으로 구현하기 어려운 문제이며 유용한 시스템을 만들기 위해서는 아직도 많은 연구가 필요하다.
– 영상통신(Image Transmission)
영상을 케이블이나 위성 또는 다른 종류의 정보고속도로를 이용하여 전송하는 분야이다. 영상 통신의 중요한 목적중의 하나는 디지털영상의 막대한 용량을 압축시키는 영상압축알고리즘이다.
영상처리는 컴퓨터 그래픽(Computer Graphics)및 컴퓨터 비전(Computer Vision)과 밀접한 관계가 있다. 컴퓨터 그래픽은 컴퓨터를 이용하여 영상을 생성시키는 쪽에 주력하는 분야이고 컴퓨터 비전은 영상처리 중에서 특히 영상의 인식, 이해 등을 중심적으로 연구하는 분야이다. 반면에 영상처리는 보통 여러 장치를 통하여 재가공하거나 영상에서 정보를 추출하는 과정이라 할 수 있다.
나. Geometric Model Finder
인간이 영상처리를 연구하는 중요한 이유는 영상의 인식문제를 풀기 위해서이다. 영상처리의 한 분야로 생각 할 수 있는 영상 인식 문제는 지금까지도 매우 어려운 문제로 알려져 왔다. 따라서 인간의 영상인식 과정을 연구하여 이를 영상인식문제에 응용하고자 하는 것이다. 사람이 영상을 인식하는 과정을 살펴보면 먼저 빛이 사람 안구의 망막에 상이 맺히고 망막에 있는 다수의 신경세포가 입력된 패턴에 의하여 자극 받아 전기신호를 발생하고 이것이 신경에 의해 두뇌에 전달된다. 전달된 신호를 바탕으로 두뇌는 영상을 처리하여 인식한다.
패턴이란 사람이 인지할 수 있는 물리적으로 표현된 정보의 외형을 말하며, 인식이란 패턴을 구체적인 부류로 확정하는 일을 말한다. 물체를 보고 단지 대상물의 존재를 아는 과정은 인지라 한다. 그러므로 우리들이 패턴인식이라 부르는 경우 단순한 패턴의 성질이나 특징을 정량적으로 관측, 측정하는 것 뿐 아니라, 패턴과는 차원이 다른 의미나 정보의 내용을 한정하는 것을 말한다. 외형으로서의 패턴에 내용으로서의 개념을 대응시키는 작업이 패턴인식이다.
일반적인 패턴인식 시스템은 그림 3.21과 같이 구성된다. 먼저, 카메라, 마이크 등을 이용하여 관측된 자료는 다소의 불필요한 정보를 가지고 있으므로 컴퓨터에서 인식을 위해 필요한 자료만 얻어내는 전처리를 하게 된다. 다음은 입력패턴을 인식하기 용이한 작은 단위로 분할하는 과정을 거친다. 관측된 패턴은 여러 가지 다른 환경에서 관측되므로 같은 패턴이라도 스케일이 크게 다르게 되는데 인식을 위해서 크기, 길이 등의 정규화를 하게 된다. 특징추출 단계에서는 인식에 중요한 실마리가 되는 특징을 얻어내고 이 특징을 비교하여 패턴의 식별을 하게 된다.
다. Photogrammetry Analysis
4. 비쥬얼 모니터링 시스템 소프트웨어
DAM Visual Monitoring System은 수치영상기법을 활용한 댐시설물 실시간 모니터링 시스템으로 댐에 대한 정보의 획득과 이전에 획득된 정보와의 비교를 통해 댐의 안정여부를 즉각 판단함으로써, 댐의 효율적인 유지 관리에 기여할 수 있도록 본 연구에서 개발하고자 하는 실시간 감시 시스템이다. 본 절에서는, 비쥬얼 모니터링 시스템에 적용할 영상처리 및 분석 프로그램의 개요를 설명하고, 제2절 2에서 언급했던 바와 같이 본 프로그램의 성능평가를 위해 수행한 시뮬레이션 내용을 토대로 개발 프로그램의 내용 및 진행순서를 설명하고자 한다.
가. 프로그램의 개요
댐 모니터링 시스템의 흐름도는 아래의 그림과 같다. 먼저 디지털 카메라에서 생성된 영상데이터를 받아서 영상 처리작업을 먼저 한 후에 처리된 영상과 모델로 설정된 영상을 서로 비교하면서 영상에서 우리가 찾고자 하는 모델이 존재하는지를 탐색한다. 탐색에 의해서 얻어진 결과를 사진측량해석모듈을 이용하여 측량결과를 얻을 수 있다.
원영상은 디지털 카메라를 이용하여 얻는데 모델탐색을 용이하게 하기 위해서 컬러 영상을 그레이 영상으로 변화 시키거나 영상의 잡음을 제거하기 위해서 이미지 프로세싱 작업을 수행한다. 물론 모델에 대한 이미지 프로세싱 작업도 수행을 한다. 일반적으로 컬러의 영상을 가지고 해석하는 것보다 그레이 영상에 대한 해석이 컬러에 비해서 시간적으로 유리하다. 다음으로 이미지 프로세싱에 의해 생성된 수정영상과 찾고자 하는 모델에 대한 이미지를 가지고 Geometric Model Finder를 이용해서 영상에서 우리가 찾고자 하는 모델의 위치를 알아낸다. 이 과정은 뒷부분에서 다시 자세히 설명을 할 것이다. 모델 탐색과정을 통해서 얻어진 결과와 디지털카메라의 위치와 회전등에 대한 기본정보 그리고 렌즈에 대한 정보를 이용하여 사진측량해석모듈을 이용하여 앞서 찾아낸 모델의 공간상의 위치를 결정하게 된다.
나. 프로그램의 내용
(1) 개요
영상 감시/계측 시스템은 영상을 실시간을 감시하고 획득된 영상을 통하여 좌표를 획득하여 분석할 수 있는 시스템 및 설치된 CCD 카메라의 영상획득 장치 부분을 제어할 수 있는 기능을 가지고 있는 시스템을 의미하며 세부적인 구축상태는 다음과 같다.
(2) Data Transfer socket Module
CCD 카메라로 부터 획득된 영상을 분석 및 전송하는 소프트웨어를 의미하며 기본적으로 구축된 사양은 다음과 같다.
가. 용도 : 획득된 영상물을 분석하여 DAM 영상데이터 분석프로그램으로 전송
나. Imaging Processing 시스템을 장착
다. Geometric Model Finder 시스템을 장착
(3) Database Transfer Module
CCD 카메라로부터 획득된 영상물을 Image Processing를 통하여 수정된 영상을 Geometric Model Finder을 통하여 모델 탐색한 결과를 Photogrammetry Analysis을 통하여 분석된 데이터를 관리하고 데이터베이스 시스템에 전송하는 소프트웨어를 의미하며 기본적으로 구축된 사양은 다음과 같다.
가. 용도 : 획득 및 분석된 데이터를 데이터베이스에 전송하여 저장
나. Photogrammetry Analysis 시스템을 장착
다. 데이터베이스 시스템과 연결하여 예경보시스템 및 인터넷 서비스가 가능
라. DAM 영상데이터 분석프로그램 연동하여 구축
(4) 영상데이터 분석 소프트웨어
비쥬얼 모니터링 영상분석 및 처리를 수행하는 프로그램은 윈도우 기반으로 개발 소프트웨어는 델파이를 이용하여 개발되었으며 프로그램의 초기화면은 그림과 같다.
(5) 계측데이터 분석 소프트웨어
계측데이터 분석 소프트웨어는 기본적인 영상데이터를 분석한 결과는 아래의 그림과 같이 분석소프트웨어를 통하여 해석한 결과를 획인하고 이상여부를 체크할 수 있으며 자료 전송시스템을 통하여 데이터베이스로 전송하여 중앙관리시스템에서 기존 계측기 등과 다양한 분석을 수행할 수 있도록 설계하여 구축하였다.
[그림] 분석프로그램으로 계측데이터 획득 및 자료 전송
5. 비쥬얼 모니터링 영상분석 및 처리 절차
본 시스템에서 영상획득장치를 통하여 획득된 영상을 3D 수치영상기법을 통하여 영상을 분석하여 처리하는 비쥬얼 모니터링 영상분석 및 처리 절차는 아래와 같다.
가. 프로젝트 및 측점 설정
프로젝트 및 측점 설정 화면에서는 영상획득장비인 좌측과 우측카메라에 대한 설치정보와 프로젝트에 관한 정보, 측점에 대한 정보를 설정한다.
나. 전체목표물 설정
전체목료물 설정을 위해서는 본 영상분석소프트웨어에서는 원격지의 영상획득장치의 무선통신 데이터전송시스템을 이용하여 원격지의 영상획득장치를 제어할 수 있는 시스템으로 구축되어 있어 영상획득장치와의 통신을 통하여 카메라의 이미지를 획득하여 타켓 이미지를 설정, 타켓설정 등을 통하여 목표물을 설정한다.
다. LEFT와 RIGHT 측점설정
좌측과 우측영상에서 사용할 타겟정보와 영상에서 찾아야 하는 기준점과 미지점의 위치 정보 그리고 카메라 영상이미지를 볼 수 있다.
라. 실시간 영상감시
그림는 원격지의 영상분석프로그램에서 실시간으로 데이터전송시스템을 이용하여 영상획득장치의 CCD 카메라의 영상을 감시하는 화면이다.
영상획득장치의 CCD 카메라에서 획득한 영상을 서버로 전송하여 영상분석프로그램에서 원격지의 CCD 카메라에서 획득되는 영상을 영상획득장치에서 획득되는 영상과 동일한 해상도로 모니터링 대상의 구조물을 감시할 수 있다.
실시간 영상감시는 영상분석프로그램 뿐만 아니라 중앙관리시스템과 인터넷서비스 시스템에서도 영상데이터를 확인할 수 있다. 이 중앙관리시스템과 인터넷서비스 시스템에서는 영상분석프로그램에서 획득할 수 있는 CCD 카메라와 동일한 해상도로 영상획득이 가능하나 원활한 정보제공을 위하여 현재 국내 시스템에 적합한 해상도로 변환하여 제공한다.
또한 각 종 원격제어 시스템을 이용하여 실시간 영상모니터링되는 영상획득장치에 이상이 발생할 경우 직접 영상획득장치를 제어하여 정상적인 실시간 계측이 이루어질 수 있도록 설정할 수 있다.
참고자료
개발 관련 세부내용은 아래의 문서를 다운로드하여 참고하시기 바랍니다.
