데이터 전처리가 분석 결과 좌우한다

데이터 분석을 위해서는 그에 적합한 데이터가 필요하며, 이를 확보하기 위해서는 충분한 데이터 전처리(Data Preparation) 과정이 필수적이다. 그러나 국내에서는 데이터 전처리를 데이터 분석 과정의 일부로 여길 뿐, 별도의 기술과 솔루션이 필요하다는 점에 대해서는 인식이 부족한 실정이다.

쓰레기를 넣으면 쓰레기가 나온다(garbage in, garbage out)는 것은 데이터 분석의 기본 전제다.

국내에서 전문적으로 데이터 전처리 기술을 제공하는 기업과 BI솔루션을 제공하는 기업을 대상으로 데이터 전처리에 대해 알아봤다.

데이터분석 AI로 쉽고 빠르게 – 샹카 가나파시 팍사타(Paxata) 부사장

샹가 가나파시 팍스타 글로벌 부사장

DW가 있고 BI가 구축돼도 현업 직원이 손쉽게 데이터 분석을 하지 못하면 아무런 의미가 없습니다.

다양한 마케팅이 실시간으로 이뤄진다, 매번 IT부서에 요청해 고객 분석을 하기는 시간이 너무 부족하다. 즉각적 고객 맞춤형 마케팅을 위해 현업 사용자 스스로 고객 분석을 해야 한다하며 팍사타(Paxata)는 현업 사용자 누구나 손쉽게 이용해 즉각적 마케팅을 지원한다

수집된 외부 데이터는 AI를 활용해 정제한다, 잘못 표기된 것이나 유사한 표현에 대한 정리 작업이 가능하다. 머신러닝으로 데이터 보강과 병합이 가능하다. 이렇게 준비된 데이터는 다른 BigaData 솔루션과 BI 솔루션에서 분석용으로 쉽게 사용할 수 있는 데이터가 된다.