데이터와 AI는 디지털 시대의 두 면이다. 그러나 종종 간과되는 것은 AI의 잠재력을 가능하게 하는 데이터의 역할이다.
인도의 최대 AI 컨퍼런스인 Cypher 2024에서 타이거 애널리틱스의 공동 창립자이자 CEO인 프라딥 굴리팔리는 "AI는 본질적으로 데이터에 의존한다"고 말했다.
하지만 데이터는 그냥 우리에게 떨어지지 않는다. 분석할 준비가 된 원시적이고 종종 비구조적인 자원이다. 가치 있게 되기 위해서는 여러 과정을 거쳐야 한다.
"이런 감정은 데이터 과학자들이 머신러닝 모델을 적용하기 전에 데이터가 사용 가능하도록 보장하는 중요한 준비 단계가 필요하다는 것을 이해하는 업계의 많은 사람들과 공감된다. 이러한 기초가 없으면 가장 진보된 AI 시스템조차도 의미 있는 결과를 제공하기 어려울 것이다"라고 굴리팔리는 말했다.
그의 데이터 처리 초기 단계에 대한 견해는 간단하다. "우리는 AI 모델이 얼마나 중요한지 잘 알고 있지만, 그 이전에 무슨 일이 일어나는지 아는 사람은 매우 적다. 데이터 수집, 정리 및 조화는 모델링 단계만큼이나 많은 주의를 필요로 한다."
현대 비즈니스 환경의 복잡성은 조직의 여정의 모든 단계에서 데이터가 생성된다는 것을 의미한다. 그는 자동차를 제조하거나 금융 서비스를 제공하는 모든 회사가 운영의 각 단계에서 방대한 양의 데이터를 생성한다고 언급했다. 원자재를 조달하든 금융 거래를 수집하든, 데이터는 여러 출처와 다양한 형식에서 온다.
이것은 공급망 관리, 마케팅, 고객 서비스 및 연구 개발과 같은 다양한 기능을 가진 대규모 조직을 고려할 때 더욱 분명해진다. 이 모든 기능은 고유한 데이터 세트를 생성한다.
"현실은 우리가 데이터가 부족하지 않다는 것이다. 우리는 그것을 이해할 수 있는 통합 시스템이 부족하다"고 그는 말했다.
데이터의 잠재력을 여는 방법은 무엇인가?
굴리팔리에 따르면 "데이터 제품"이 데이터의 전체 잠재력을 여는 열쇠이다. 그는 "기업이 수백 개의 데이터 출처를 가지고 있는 세상에서 각 데이터 세트를 개별적으로 다루는 것이 더 이상 아니다. 대신, 우리는 특정 비즈니스 기능을 제공하는 통합되고 정리된 도메인 데이터 제품을 고려해야 한다"고 설명했다.
이 사고의 전환은 조직이 데이터를 관리하는 방식을 변화시키고 있다. 굴리팔리는 "AI는 분석과 전체 데이터 생애 주기에서 중요한 역할을 한다. 데이터 수집을 돕고, 정리 프로세스를 자동화하며, 출처 간의 조화를 수행하고, 심지어 도메인별 모델을 생성한다"고 말했다.
예를 들어, AI가 비구조적 데이터를 구조적 형식으로 변환하는 역할은 전통적으로 데이터를 준비하는 데 필요한 시간과 노력을 크게 줄였다. 굴리팔리는 "우리는 AI가 수동으로 수행되던 많은 힘든 작업을 처리할 수 있는 시점에 있다. AI는 데이터 품질을 살펴보고, 이상을 감지하고, 수정 사항을 제안하며, 최적의 변환을 제안할 수 있다. 모든 것이 실시간으로 이루어진다"고 강조했다.
이 자동화는 기업이 통찰력을 더 빠르게 행동으로 옮길 수 있게 하여 더 나은 의사 결정을 이끌어낸다. 데이터 과학자는 고객 세분화에 집중할 수 있지만, AI 덕분에 조직 내 예상치 못한 영역에서 새로운 패턴이나 통찰력이 드러날 수 있다. "AI는 데이터의 품질과 유용성을 지속적으로 개선하는 추가적인 지능의 층을 제공하는 것과 같다"고 굴리팔리는 강조했다.
반면, 조직이 다양한 출처에서 데이터를 요구할 경우, 이를 접근 가능하게 만드는 것이 필요하다.
와드와니 AI의 CEO인 셰카르 시바수브라마니안은 "AI 혁신을 위해 필요한 X선 및 MRI와 같은 데이터를 수집하는 것은 비용이 많이 든다. X선 복사본은 100루피지만, X선 사진을 찍는 것은 무료다"라고 언급했다.
X선을 사진으로 해석하는 것은 비정상적으로 보일 수 있지만, 비용을 줄이는 합법적이고 실용적인 접근법이다. 따라서 AI 혁신을 위한 데이터 수집을 저렴한 자원으로 만드는 것이 중요하다.
AI의 데이터 운영에 대한 영향력
"역사적으로 데이터는 정적 자원으로 취급되어 왔다. 여러 단계를 거치는 과정이 종종 별도로 실행된다. 그러나 AI와 함께 우리는 데이터 파이프라인의 시작부터 데이터와 AI가 함께 작동하는 통합된 관점으로 이동하고 있다." 이 통합된 접근법은 효율성을 개선할 뿐만 아니라 데이터 기반 의사 결정의 정확성을 향상시킨다.
AI 우선 접근법을 채택하는 이점이 점점 더 분명해지고 있다. 그는 기업들이 이제 AI가 단순한 분석 도구가 아니라는 것을 깨닫고 있다고 지적했다. AI는 데이터 처리의 모든 단계를 자동화하고 최적화하는 것이다. 데이터 수집에서 정리, 모델 구축까지 모든 과정을 간소화하고 데이터의 실제 가치를 여는 데 도움을 준다.
전반적으로 이는 AI가 더 이상 고급 분석을 위한 도구가 아니라 현대 데이터 관리의 기초가 되고 있다는 더 넓은 산업 트렌드를 강조한다.
미래는 AI와 데이터를 상호 연결된 시스템으로 취급하는 데 있다. 조직이 이 AI 우선 사고방식을 수용할 때, 그들은 이전에는 상상할 수 없었던 수준의 효율성과 통찰력을 열 수 있을 것이다.
