[Trend Article] AI 프로젝트 101 - 'AI 사다리' 란?

ㅍPhoto by Franki Chamaki on Unsplash

데이터 3법 통과, AI 사업의 신호탄?

지난 달, '데이터 3법(골자-익명정보 활용/데이터 결합 활용 등)'이 국회 통과되며, 많은 기업들이 본격적인 데이터 기반 사업에 박차를 가하고 있습니다. 특히 근 몇년 기업 전략의 주축이었던 '디지털 혁신(Digital Transformation)'과 인공지능(AI) 프로젝트도, 보다 자유로워진 데이터 활용 가능성을 바탕으로 더욱 확장될 것으로 보입니다.

데이터 3법 국회 본회의 통과…금융혁신 발판 마련 - 연합인포맥스

 

이렇듯 '데이터'는 기업 활동의 산출물이자 AI 도입을 위한 필수 준비물로 그 중요성이 점점 더 커지고 있습니다. 이렇게 기반 제도도 마련되었겠다, 기업들은 이제 다양한 신사업을 물밀 듯 쏟아내게 될까요? 사실 그렇지가 않습니다. 이번 발표로 오히려 많은 기업들은 새로운 고민에 직면했을 것입니다. 데이터가 있다고 해도, 이를 잘 활용할 수 있느냐는 전혀 다른 이야기이기 때문입니다. 70%의 데이터가 기업의 이윤 창출을 위해 제대로 활용되지 못하고 있다는 연구결과도 있는 만큼, '활용 가능성'과 '활용성'은 분리해서 봐야할 필요가 있습니다.

 

 

데이터, 있어도 제대로 쓰지 못하는 이유

Photo by NESA by Makers on Unsplash

기업들이 데이터를 제대로 활용하고 있지 못하는 이유는 다음 3가지로 압축됩니다.

문제 1. 데이터 준비 어려움

: 데이터 양과 다양성의 증가로, 데이터의 정제 및 준비에 지나치게 많은 시간이 소요됨

문제 2. 데이터에 대한 이해 부족

: 분석에 필요한 데이터가 무엇인 지 알기 어렵고, 데이터의 신뢰도와 접근의 어려움

문제 3. 데이터 통합의 어려움

: 데이터가 개별 부서에서 독자적으로 관리되고 있어, (= 데이터 사일로) 데이터의 통합이 복잡하고 어려움

 

 

AI Ladder - 데이터 전략의 5가지 고려사항

Photo by yang miao on Unsplash

이러한 문제점을 해결하기 위한 해법이 바로 AI 사다리(AI Ladder)입니다. AI 사다리란, IBM이 수많은 고객과의 데이터 프로젝트 경험을 바탕으로 AI로 가는 과정을 집약한, 체계적인 방법론입니다. 이는 조직에 흩뿌려져 있는 제 각각의 데이터에 검증된 방법론과 데이터 사이언스를 접목하여, 기업의 목적에 부합하는 성공적인 AI 프로젝트를 완수하는 것을 목표로 합니다.

 

그럼 이 사다리는 어떻게 구성되어 있는 지 알아볼까요?

출처: IBM

1. 단단한 기반: "클라우드 네이티브 아키텍쳐"

: 땅이 단단해야 사다리도 흔들림없이 서있을 수 있겠죠? 견고한 '땅'을 제공해 주는 AI 인프라를 0순위로 고려해야 합니다. 조직의 IT 인프라 요구사항을 미리 반영한 AI만이 급속도로 변하는 IT 환경에도 트러블없이 안정적으로 운영될 수 있기 때문이죠.

그렇다면 이렇게 견고한 땅을 만들 수 있는 방법은 무엇일까요? 바로 '클라우드 네이티브 아키텍쳐'입니다. 바야흐로 하이브리드 멀티 클라우드 시대가 도래했습니다. 조직은 효율성을 위해 여러 개의 퍼블릭 클라우드를 사용하고 있을 수도 있고, 보안을 위해 기존의 On-premise 환경을 유지하고 있을 수도, 혹은 둘 다 이용 중일 수도 있습니다. 어떠한 인프라를 사용 중이던간에 일부 영역에서는 클라우드 전환이 필연시되는 시대가 도래했고, 다가오는 변화를 대비하여 빠르게 프로비저닝 및 확장할 수 있는 컨테이너 기반의 오픈 아키텍쳐가 필요합니다.

-> 쿠버네티스(Kubernetes)를 활용하는 컨테이너(Container) 기반의 아키텍쳐를 선택하세요.

 

2. 첫번째 층: "데이터 수집(Collect)"

: 다양한 위치에서 어마어마한 양의 데이터가 쏟아져 나오고 있는 오늘 날, 클라우드 상의 데이터, 사내 DB, 외부 소셜 데이터 등 데이터의 위치, 그리고 정형, 비정형 등 데이터의 종류와 무관하게 데이터에 쉽게 접근할 수 있어야 합니다. 데이터 복제와 이동(ETL)에 많은 시간을 들이지 않고, 데이터를 신속하게 통합하여 실시간으로 확인할 수 있어야 합니다.

-> 데이터 가상화(Data Virtualization) 기술로 통합된 데이터 뷰를 활용하세요.

 

3. 두번째 층: "거버넌스, 품질(Organize)"

: 최근 'DataOps'가 큰 화두인 만큼, 많은 기업들이 간과하고 있었던 부분이 바로 '거버넌스' 영역입니다. 데이터 정제, 매칭, 메타 데이터 생성 등 반복적인 작업에 많은 시간을 들이고 있다면, 이제 제대로된 데이터 거버넌스를 세워야할 때입니다. 필요할 때 딱 '분석'만 할 수 있도록, 데이터 준비, 컴플라이언스, 탐색 등 반복되는 작업을 자동화하여 효율적으로 분석 기반을 다져놓아야 합니다.

-> 데이터 품질/메타 정보/리니지/카탈로그 등 데이터 거버넌스 체계를 정립하세요.

 

4. 세번째 층: "머신러닝 분석(Analyze)"

: 최근에는 머신러닝, 딥러닝 관련 다양한 오픈소스가 발달되어 있어, 분석 기술 자체는 그렇게 큰 고민 거리가 아닙니다. 사실 대규모 분석 프로젝트의 경우, 무엇보다도 '협업'이 큰 관건인데요. 각각의 데이터 사이언티스트 팀원들이 서로 다른 분석 환경과 기법으로 따로 따로 작업하고 있더라도, 무슨 데이터를 누가 어떠한 방법으로 분석하였는 지 투명하게 확인할 수 있어야 합니다.

이렇게 다양한 분석 기술을 지원하는 '협업 환경'이 마련되어야만, 고액 연봉을 받는 데이터 사이언티스트 팀들이 '분석'에만 집중할 수 있게 되어 업무 효율성이 높아지고, 일부 조직원이 일을 그만두더라도 그동안 구축해놓은 모델 등 기업의 소중한 자산이 유실되지 않고 지속적으로 관리될 수 있습니다.

→ 다양한 ML/DL 오픈소스 지원, 데이터 사이언티스트 간의 공동 협업 환경을 마련하세요.

 

5. 꼭대기 층: "AI 확산 (Infuse)"

: '데이터 거버넌스/Data Ops' 다음은 'AI 거버넌스/AI Ops'입니다. AI가 블랙박스라는 것도 이제 옛말이 된 오늘 날, '믿을 만 한' AI만이 실제 비즈니스에도 활용될 수 있습니다. 우리 데이터 사이언티스트들이 공들여 만든 AI 모델이, 잘 굴러가며 회사 이윤 창출에도 기여하고 있을까요? AI도 관리 감독이 필요합니다. AI가 도출한 결과와 이의 근거를 투명하게 확인하고, 모델의 성능을 지속적인 모니터링하며 개선해나가는 것이 성공적인 AI 구축의 마지막 해법입니다.

-> 설명가능한 AI를(Explanable AI) 구축하세요.

 

 

이렇게 AI 사다리를 고려하면, 우리 기업의 AI 프로젝트가 막히는 이유가 무엇이고, 프로젝트의 성공을 위해 어떠한 문제를 최우선으로 타파 해야하는 지 파악할 수 있을 것입니다. 즉,  AI 프로젝트를 보다 자신감 있게 추진하는 데 발판이 될 수 있습니다.

참고로, 이 사다리는 단순한 방법론을 넘어서 각각의 과제를 쉽고 빠르게 실현할 수 있는 주요한 기술과 Tool을 포함하고 있습니다. (자세히 알아보려면 링크를 참고하세요.)

---

다음에는 이러한 AI Ladder를 바탕으로, 데이터 프로젝트를 추진했던 기업의 실제 사례를 소개해보도록 하겠습니다. 미국 유명 통신사인 Sprint가 소개될 예정이니 이어서 읽어주시면 감사하겠습니다!

 

[Trend Article] AI 프로젝트 성공방법 2- 미국 통신사 Sprint 사례

---

 

[무료 AI 자가진단 테스트] 우리 회사의 AI 도입단계를 진단해보세요!

[자가진단] 우리 회사는 AI 도입 준비가 얼마나 되었을까?