AI 인프라의 미래 모듈화: 동종 최고의 MLOps 솔루션이 인기를 끌고 있는 이유

사람들이 AI와 머신러닝을 떠올릴 때 자주 떠오르는 것은 자율주행차, 로봇, 슈퍼컴퓨터다. 그러나 실제로, 비즈니스 결과를 이끌어내는 AI 활용 사례는 그다지 매력적이지 않습니다. 적어도 일반적인 의미에서는 그렇지 않습니다.

그동안 사파이어의 알리 고드시 데이터브릭스 CEO는 AI를 사용하여 비용 절감, 매출 증대, 인적 생산성 향상 등을 통해 가시적인 비즈니스 가치를 창출하는 “지루한 AI”라고 칭한 것에 대해 매우 흥분해 왔습니다.

NAT 포트폴리오 내에서 AI가 여러 엔터프라이즈 사용 사례에서 어떻게 채택되고 있는지 직접 확인할 수 있습니다. 몇 가지 응용 예는 다음과 같습니다.

세일즈: 고객이 컨텐츠와 상호작용하는 방식을 분석하여 세일즈 팀이 기술을 조정하고 보다 효율적인 고객 획득을 추진할 수 있도록 합니다.

보안: 기계 학습을 활용하여 고객의 부정 및 비정상적인 재무 행동을 탐지합니다.

제품: AI 기반 기술을 사용하여 실시간 및 녹화된 비디오와 오디오를 모두 매우 정확한 캡션과 스크립트로 변환합니다.

우리는 최근 몇 년 동안 AI 채택의 빠른 증가는 AI를 운영하는 데 도움이 되는 새로운 소프트웨어 플랫폼뿐만 아니라 엄청난 양의 데이터에서 정보 처리를 가능하게 하는 핵심 컴퓨터 하드웨어의 발전(그리고 어쩌면 더 직접적으로)에 기인할 수 있다고 믿는다. GPU 컴퓨팅(범용 병렬 처리)은 물론 TPU(텐서 처리 장치)와 같은 AI 중심 ASIC(애플리케이션별 처리)가 증가함에 따라 오늘날의 실무자들은 비용 효율적이고 확장 가능한 방식으로 대량의 데이터를 분석하여 AI 워크로드를 비즈니스 전반에 걸쳐 광범위하게 실행하고 높은 i에 응답할 수 있게 되었습니다.운영상의 문제를 제기하다

인공지능과 머신러닝이 계속해서 더 많은 관심을 끌고 새롭고 흥미로운 가능성을 창조함에 따라, 기업들은 구축하기를 기대한다.

그러나 먼저, AI 시장이 모듈화 추세인 이유를 이해하는 것이 중요합니다. 이를 위해 우리는 이러한 변화를 추진하는 방법을 모색해야 합니다. 현재 시장이 AI 사용자를 어떻게 구분하고 있는지 살펴보자.

3가지 핵심 AI 사용자 유형: “선판업체”, “선판업체”, “로켓 과학자”

1. 기성품: 이러한 AI 사용자는 IT와 비즈니스 결과 간의 격차를 해소하여 데이터 중심 통찰력과 권장 사항을 제공하는 일상적인 비즈니스 분석가입니다. 이미 Excel(그리고 많은 경우 VBA 및 SQL과 같은 구조화된 데이터베이스 언어)에 능통한 이들은 접근 가능한 AI 도구를 제공하면 최소한의 업그레이드 기술로 빠르게 AI 전문가가 될 수 있다.

이러한 고객은 당면한 비즈니스 문제를 해결할 수 있는 “ 기성품” 제품을 원합니다. 그들은 알고리즘이 어떻게 작동하는지 알고자 하는 것이 아니라 알고리즘이 어떻게 작동하는지 알고자 하는 것입니다. AI 모델 구축 및 배포 워크플로우의 다양한 구성 요소를 추상화하는 것은 이 사용자 그룹에 가시적인 가치를 입증하는 데 매우 중요하다. 올인원 AI 툴로 ‘기존형’은 클릭 몇 번만으로 기본 업무에 AI와 머신러닝을 적용해 거의 즉각적인 결과를 볼 수 있다. 기성 도구는 예측, 시계열 분석 및 변수 간의 인과적 영향 의존성 발견이 더 큰 의사 결정 능력을 제공하는 마케팅, 금융 및 의료와 같은 분야에 특히 매력적입니다.

1. Bet-the-farmer: Bet-the-farmer는 수백만 달러를 지출하고 데이터 과학자 팀을 고용하여 빅 데이터에서 주요 통찰력을 끌어내는 맞춤형 머신러닝 운영을 구축하고자 하는 대기업의 일부입니다.

농부들에게 있어, 그들은 기계 학습 능력을 구축하는 것은 그들이 만드는 것만큼 중요합니다. 이러한 조직 내에는 스킬 세트의 다양성, 효율적인 인재 온보딩(ML 전문가가 전문 지식을 쉽게 활용할 수 있도록 지원하고 새로운 인재를 대상으로 스킬 업을 촉진한다는 측면에서 모두), 독점적인 사내 데이터 센터, 동시 클라우드 이니셔티브 등 매우 복잡하기 때문에 이러한 조직은 종종맞춤형 기계 학습 솔루션이 필요하지 않습니다.

오늘날 우리가 볼 때, 베팅 농가는 AI 이니셔티브에 투자할 수 있는 가장 큰 기회를 가지고 있다. 부문 내 기계 학습 채택은 예산에 비해 여전히 낮지만, 이렇게 엄청난 잠재력으로 인해 농부들이 기계 학습을 대거 채택하는 것은 시간 문제일 뿐이다.

1. 로켓 과학자: 이 사용자들은 인공지능의 궁극적인 두뇌광이다: 하이퍼스케일 기술 회사들, 문자 그대로 로켓 과학자, 제약 및 생명공학 분석가들, 그들은 그들 자신의 AI 솔루션을 만들기에 충분히 고도로 전문적이고 기술적이다. 이러한 기업에는 초특정 AI 워크로드를 위해 사내에서 완벽한 엔드 투 엔드 툴 스택을 구축하는 데 필요한 노하우가 있는 고도로 숙련된 AI 실무자가 배치되어 있습니다. 고용주들, 특히 FAANGs의 고용주들은 일반적으로 그들의 기술에 대한 높은 수요를 고려할 때, 이 개인들에게 최고 금액을 지불한다.

로켓 과학자들은 상업적인 플랫폼이 꼭 필요한 것은 아니다. 대신 필요한 도구와 문제 해결 방법을 정확히 알고 있기 때문에 솔루션을 맞춤 제작하거나 오픈 소스 코드를 사용합니다.

비록 이 시장이 AI 기술 채택의 관점에서 더 성숙하지만, “우리가 그들의 세계에서 무엇을 가져와서 베팅하는 농부들에게 적용할 수 있을까?”라고 물어볼 가치가 있다.

세 가지 고객 범주 모두 기계 학습 요구와 기대가 다릅니다. 그러나 점점 더 많은 대기업들이 AI 이니셔티브에 큰 돈을 투자함에 따라, 우리는 앞으로 AI 지원 기술 채택의 대부분을 주도할 시장을 정의하는 고객 부문으로 Bet-the-farmer를 보고 있습니다.

통합 솔루션이 오늘날 성공하는 이유

자동 머신 러닝(AutoML) 솔루션은 데이터 준비, 모델 선택, 교육 및 배포를 포함한 핵심 워크플로우 구성요소를 모두 단일 통합 플랫폼을 통해 처리하여 엔드 투 엔드 AI 라이프사이클을 단순화합니다. 드래그 앤 드롭 기능과 이해하기 쉬운 시각화를 통해, 이러한 플랫폼은 시민 데이터 과학자(즉, 데이터 및 비즈니스 분석가)를 무장시킨다. 이들은 불과 몇 년 전에 강력한 AI 플랫폼을 통해 기술 데이터 과학자 수를 100배 이상 앞섰다.

AutoML 공급업체 덕분에 숙련된 데이터 과학자가 부족한 기업은 프로덕션 등급의 머신 러닝 워크로드를 구현할 수 있습니다. AutoML 플랫폼은 업종에 관계없이 비즈니스에 미치는 영향이 큰 질문에 답변하는 데 도움이 되었습니다. 예를 들어, Data Robot은 필라델피아 세븐티식서스의 티켓 판매 팀과 협력하여 가장 혼란의 위험이 높은 팬을 식별하고 고객 참여 이니셔티브에 우선순위를 부여하여 보유를 추진했습니다.

이러한 일체형 통합 솔루션은 조직이 AI/ML이 약속하는 고급 분석 기능을 활용할 수 있는 실질적인 방법을 제공합니다. 그리고 그들은 오늘날 지속적인 인기를 얻고 있습니다. 한 가지 주된 이유는 다음과 같습니다. 시장 초기에서의 성공은 대체로 제품 성능과 기능에 의해 결정됩니다.

상호의존형 플랫폼에서 모듈형 아키텍처로 전환

AI 활용 사례가 정교해지고 고급 데이터 과학 교육을 받는 사람이 늘어나면서 기업은 더 이상 통합형 블랙박스 시스템만 원하지 않을 것이다. 고객은 모델 및 모델 구축 워크플로우의 마지막 구성 요소를 모두 조정하여 특정 요구사항에 가장 적합한 분석 및 시스템을 생성할 수 있는 유연성을 원합니다.

오늘날, ML 라이프사이클의 다양한 구성 요소를 사용자 지정하는 것은 매우 수동적이며, 실무자들은 대부분 DIY 방식을 채택하고 있습니다. 이는 “로켓 과학자”에게 적합할 수 있지만, 대부분의 기업은 데이터 레이블링, 실험 추적, 모델 모니터링 등과 같은 사용자 지정 핵심 기능을 갖추지 못했기 때문에 모델링 프로세스의 각 단계에서 기본 기능 및 하드웨어에서 어느 정도 추상화를 선호합니다.c. 대신, 대부분의 조직에서는 “밑바닥”의 상황에 너무 신경 쓸 필요 없이 모델링 워크플로우를 추가로 제어하기 위해 주력 공급업체의 동종 최고의 솔루션을 선택하고 있습니다.

곧, 대형 데이터 팀은 AI 라이프사이클의 다양한 단계를 관리하는 수십 개의 솔루션을 갖춘 모듈형 툴킷으로 전환될 것입니다. 이는 특히 “베스트 더 파머”에게 해당되며, 이들은 정확한 도전에 대응할 수 있는 유연성을 제공하는 맞춤형 동급 최고의 도구를 필요로 할 것이다.

이 시점에서 성능은 더 이상 시장의 유일한 요구 사항이 아닙니다. 대신 공급업체는 관련성을 유지하기 위해 사용자 지정을 통한 차별화를 선호할 것입니다. 이는 전체 AI 스택의 모듈화로 이어지며, 사용자가 내부적으로 AI 모델링 기능을 설정하여 특정 조직의 제약과 목표에 맞출 수 있다.

그러나 모듈형 솔루션이 미래이거나 상호의존적 아키텍처라고 좁게 말하면 시장이 성숙하는 것도 거짓일 때 망한다. 실제로 ‘기존형’과 ‘베팅더팜’의 경우 두 가지 유형의 AI 플랫폼 사용이 증가하고 있다. 어느 한 접근법에 의한 완전한 인수 대신, 시장은 모듈형 구조와 상호의존형 구조 사이의 “중간에서의 만남”으로 향하고 있다.

예를 들어, 플랫폼 플레이어는 데이터 과학자가 자신의 사용자 지정 코드를 가져올 수 있는 고급 개발 환경을 더 많은 기술 사용자에게 제공하고자 DataRobot의 최근 Zepl(협업) 및 Algorithia(배치) 인수와 같은 모듈형 움직임으로 진화하는 것을 목격하고 있습니다.

동시에, 많은 모듈형 플레이어들은 툴체인의 작은 부분을 제공하는 것만으로는 충분하지 않다는 것을 깨닫고 있습니다. 또한 비즈니스 가치를 창출해야 하기 때문에 여러 공급업체도 보다 광범위한 기능을 제공하는 방향으로 나아가고 있습니다.

마지막으로 모듈화는 값비싼 설계 선택입니다. 진정한 모듈형 기술 스택은 구성되는 개별 플랫폼 간의 강력한 커뮤니케이션을 필요로 하는 상당한 투자입니다. 오늘날 ML 팀은 사용자 지정 스크립트를 사용하여 서로 다른 툴 간의 연결을 구축하는 데 리소스를 사용하고 있으며, 일부 경우에는 이러한 팀이 포기하고 대신 사용자 지정 솔루션을 구축합니다. 따라서 더 많은 모듈화가 의미 있는 방식으로 이루어지는 것을 볼 수 있지만, 우리는 장기적으로 단편화의 정도가 합리적인 수준에 머물 것이고 플랫폼이 계속해서 번창할 수 있습니다.