AI 스타트업 어노테이션에이아이가 전하는
HP 데스크톱 워크스테이션 실전 활용법

 
 
 

HP Z4 G4

 

어노테이션에이아이 박진우 팀장

 
 
 

요약

 

현황

해결

각 로봇에 추론 모델을 실행할 PC의 지연 문제 해결을 위한 관리 단계에서 엔드포인트에 맞게 일일이 최적화하며 한정된 인력과 리소스로 수많은 엔드포인트를 유지보수하는 복잡함

• 중앙 엣지 노드인 HP Z4 워크스테이션 한 대로 수많은 엔드포인트를 연결하여 효율적으로 관리, 리소스와 복잡성을 줄임

여러 경량화 기법으로 모델 크기를 줄이는 후처리 작업에서 추론 성능이 떨어지지 않기 위해, 모델 업로드 과정에서 생기는 변수를 해결하기 위한 추가적인 시간 필요

• 엔비디아 RTX A4000 GPU(24GB)가 탑재된 HP Z4 워크스테이션으로 여러 모델들을 업로드하며 최대로 부하를 줬을 때도 원활한 작업이 가능, 여러 변수를 제거하고 작업 시간을 효율적으로 운용

개인정보보호 문제로 외부 반출이 어려워 물리적인 제약을 받는 프라이버시 데이터를 처리하는 과정에서 외부 돌발 변수가 생길 때 중단되는 업무

• 외부 현장에서 사용이 가능한 HP 워크스테이션으로 언제 어디서든 추론 작업을 할 수 있어, 돌발 변수가 발생한 상황에서도 업무가 중단되지 않음

 

AI 프로젝트에는 좋은 데이터가 필요합니다. 다시 말해, 관련성 높고, 적절하게 라벨링돼 있으며, 결과를 왜곡할 편향성이 없는 데이터가 필요하다. AI 모델 성능이 아무리 뛰어나도 저품질의 학습 데이터를 입력하면 무용지물이기 때문입니다.

 

그래서 AI 프로젝트의 성공은 양질의 학습용 데이터세트를 확보하는 데 달려 있습니다. 하지만 이런 데이터를 수집하려면 상당한 시간과 비용이 드는데요. 실제로 많은 기업이 AI 모델을 학습시킬 때 활용할, 적절하게 분류된 데이터를 확보하는 데 어려움을 겪고 있습니다.

 

어노테이션에이아이는 이러한 고충을 해결하기 위해 나선 AI 기술 스타트업입니다. 어노테이션에이아이에서 제공하는 AI 학습용 데이터 플랫폼 ‘어노위즈’는 딥러닝 기술을 사용한 AI 이미지 학습 데이터 도구입니다. 반복적이고 노동집약적인 이미지 데이터 처리 작업에서 어노위즈의 반자동 이미지 라벨링 기능을 쓰면 작업 투입 인력과 기간을 단축할 수 있는 것이죠.

 
 

어노테이션에이아이는 이러한 고충을 해결하기 위해 나선 AI 기술 스타트업입니다. 어노테이션에이아이에서 제공하는 AI 학습용 데이터 플랫폼 ‘어노위즈’는 딥러닝 기술을 사용한 AI 이미지 학습 데이터 도구입니다. 반복적이고 노동집약적인 이미지 데이터 처리 작업에서 어노위즈의 반자동 이미지 라벨링 기능을 쓰면 작업 투입 인력과 기간을 단축할 수 있는 것이죠.

 

이렇게 딥러닝 모델이 할 수 있는 일은 무궁무진하다고 생각했던 어노테이션에이아이는 전산업에서 제품 및 솔루션을 활용할 수 있는 다양한 가능성을 모색하고 있습니다. 현재는 비전 데이터를 중심으로 프로젝트를 진행하고 있습니다. 특히 어떤 객체가 있는지 파악하는 오브젝트 디텍션 모델, 픽셀 레벨로 객체를 구분하는 세그멘테이션 모델을 활용해 ‘AI를 적용한 바리스타 로봇’을 구축 중입니다.

 

로컬 AI 서비스 환경 구축의 필요성

 
 

바이리는 티로보틱스(T-Robotics), 위즈진(Wizgene), 어노테이션에이아이(AnnotationAI) 3사의 합작으로 개발되었습니다. 여기서 데이터세트 생성, 모델 학습, 모델 배포를 자동화하는 워크플로우 기능과 배포한 모델을 API 서비스로 제공하는 추론 기능을 포함한 어노테이션에이아이의 ML위즈가 사용되며, 바이리 시스템에서 ML위즈는 원두의 모양 및 상태를 ‘파악’하여 해당 데이터를 제어 로직으로 전송하고, 아울러 이 모든 데이터를 학습해 모델을 업그레이드합니다.

 

바이리에 한정해 추론 파트의 핵심 요소 중 하나는 ‘실시간성’ 입니다. 추론하고 의사결정하기까지의 과정이 50밀리초 내에 끝나야 하는데, 이는 로봇과 물리적으로 가까운 곳에 추론 서버가 위치해야 할 필요가 있다는 것입니다. 이에 로컬에 '엣지 서버'를 구축해야 할 필요성은 지난 4월 참여했던 한 행사부터 대두됐습니다. 현재 AI 모델 서빙은 자체 IDC와 연결된 SaaS 방식으로 이뤄지고 있는데, 행사장의 와이파이가 느린 탓에 지연 시간이 생겨 ‘왜 이렇게 느리냐’는 사용자 피드백을 받았습니다. 제품에 대한 부정적인 인식을 줄 수 있었던 순간이었죠.

 
 

사실 바이리는 아직 프로토 타입이고 시스템 구성 방식 및 비즈니스 모델조차 구체화되지 않은 상태입니다. 그러나 추론 과정에서의 지연 시간은 실제 비즈니스 상황에서도 충분히 발생 가능한 장애물입니다. SaaS 사용 시, AI 바리스타 로봇이 50밀리초에 한 번씩 의사결정을 하는 과정에서 네트워크 환경에 따라 지연 시간이 생길 수 있기 때문입니다.

 

각 로봇에 추론 모델을 실행할 PC를 탑재하는 방식은 지연 문제는 해결할 수 있습니다. 하지만 이 역시 관리 문제가 생깁니다. 가령 바이리 100대가 있다고 하면 100개의 엔드포인트에 맞게 일일이 최적화를 해줘야 하고, 엔드포인트가 많다 보니 업데이트된 새 AI 모델을 배포하는 일도 복잡해집니다. 한정된 인력과 리소스로 수많은 엔드포인트를 유지보수하는 것도 만만치 않은 일이라, 구축 이후의 관리 복잡성이 큰 과제인 것입니다.

 

SaaS 방식

 

• 네트워크 환경에 따른 지연 시간 문제

 

엣지 노드 방식

 

• 물리적으로 가까이 위치해 지연 문제 해결

• HP Z4 워크스테이션을 쓰면 1대로 200~300대의 로봇 관리

• 글로벌 및 24/7 지원을 통한 안정성

 

각 로봇에 PC를 탑재하는 방식

 

• 구축 이후 수많은 엔드포인트를 일일이 관리해야 하는 복잡성

 

AI 모델의 전초기지, ‘엣지 노드’를 위한 HP Z4 워크스테이션

 

이러한 맥락에서 HP Z4 데스크톱 워크스테이션은 앞서 언급된 과제들을 해결하는 한 가지 명쾌한 해답을 제시해줬습니다. 수십, 수백 대의 바리스타 로봇과 물리적으로 가까운 곳에 ‘중앙 엣지 노드’, 즉 한 대의 HP Z4 데스크톱 워크스테이션을 두고 통신하는 방식입니다.

 

무엇보다 HP Z4 데스크톱 워크스테이션을 엣지 노드로 사용하면 한 노드에 많은 로봇을 연결해 효율적으로 관리할 수 있는데요. 인텔® 제온® 프로세서와 엔비디아 RTX A4000 GPU가 탑재된 HP Z4 데스크톱 워크스테이션 스펙 기준으로 320x230x3 크기의 이미지가 1~3초 사이 랜덤하게 들어온다는 시나리오 하에 부하 테스트를 실시해보았습니다.

 
 

그 결과, HP Z4 데스크톱 워크스테이션 한 대에 200~300대의 바이리를 연결할 수 있는 것으로 확인되었습니다. 각 로봇에 PC를 탑재한다고 하면 200~300대를 모두 관리해야 하는데 HP Z4 데스크톱 워크스테이션을 쓰면 딱 1대로도 관리할 수 있다는 의미입니다. 아울러 엣지 노드는 로봇과 물리적으로 가까이 위치하기 때문에 추론하는 데 지연 문제도 없습니다.

 
 

“관리해야 할 장비가 적어진다는 건 곧 리소스와
복잡성이 줄어든다는 뜻입니다.
HP Z4 데스크탑워크스테이션 덕분에
어노테이션에이아이에서는 이제 각 엔드포인트마다
일일이 최적화할 필요가 없습니다.
업데이트된 새 모델을 배포할 때도 200~300대와
연결된 하나의 엣지 노드에만 배포하면
끝나기 때문입니다.”

 
 

운영 측면에서 보면, HP Z4 데스크탑 워크스테이션의 성능과 24/7 지원도 주목할 만한 이점입니다. 머신러닝 모델은 쿠버네티스가 인프라 표준으로 자리 잡고 있는데, 쿠버네티스와 엔비디아 GPU 제품군 간의 상성이 좋습니다. HP Z4 데스크톱 워크스테이션은 엔비디아 RTX A4000 GPU를 탑재하고 있다 보니 인프라 또는 서비스 수준에서의 클러스터링과 스케일 인/아웃이 편리해졌습니다.

 
 

“또한 HP의 24/7 및 장기간 지원 서비스는 급작스러운 비즈니스 운영 중단을 방지할 뿐만 아니라 충분한 회복
탄력성을 제공할 수 있습니다. 해외로 비즈니스를 확장하는 경우까지 고려한다면 글로벌 서비스 지원이
가능하다는 것도 큰 장점이죠.”

 
 

실제로 어노테이션에이아이가 지난 11월 참여한 푸드테크 행사는 이 엣지 노드 방식을 테스트해볼 수 있는 기회였습니다. 스위칭 허브를 사용해 로봇팔, 주문 키오스크, 데스크톱 워크스테이션을 연결하는 내부적인 네트워크를 구축했고, 여기서 HP Z4 데스크톱 워크스테이션을 추론에 특화된 엣지 노드 형태로 활용했습니다.

 
 

그런데 공간상 문제로 모니터 사이에 놓인 책상의 좁고 밀폐된 내부에 둬야 했습니다. HP Z4 데스크톱 워크스테이션으로 어노위즈의 AI 기반 자동 어노테이션 기능을 행사 내내 시연할 계획이었기 때문에 발열 문제가 있을까 우려했죠. 노트북을 사용할 때 발열 문제로 성능이 느려지거나, 심하면 먹통이 되는 경우가 종종 있고, 이는 제품에 부정적인 인상을 남길 수 있기 때문입니다.

 
 

“그러나 괜한 걱정이었습니다. 성능과 신뢰성,
열 성능 간 균형을 보장하는 HP Z4 데스크톱
워크스테이션 덕분에 발열 문제 없이 기능 시연을
매끄럽게 마칠 수 있었습니다. 이 밖에도, 서버가
있다고 하면 공조실이 필요할 것이고, 관리 및 공간
비용도 상당하리라 예상됩니다. 하지만 HP Z4
데스크톱 워크스테이션을 활용한 덕분에 로봇과의
연결, 모델 업로드 및 테스트, 관리까지
모두 용이했습니다.”

 
 

업무 변수를 줄여 생산성을 높이다

 

어노테이션에이아이는 HP Z4 데스크톱 워크스테이션을 엣지 노드로 활용하고자 설정하는 과정에서 생산성 이점도 포착했습니다. SaaS 방식이 아닌 엣지 노드 방식을 고려하면서 처음에는 GPU를 탑재한 랩톱을 대여할 계획이었습니다. 이번 푸드테크에서는 바이리 시연용 모델, 어노위즈의 자동 어노테이션 기능에 사용하는 모델 등을 포함해 총 5~6개의 모델을 넣어야 했고, 따라서 여러 경량화 기법으로 모델 크기를 줄이는 후처리 작업이 필요했는데요.

 

이는 소위 말해 ‘개발자의 시간을 갈아 넣어야 하는’ 작업과도 같습니다. 모델 크기를 줄이기 위해 경량화를 하다 보면 추론 성능이 떨어질 수도 있기에 성능이 떨어지지 않는 적합한 지점을 찾아 경량화를 해야 합니다. 개발자 측면에서 보면 하드웨어로 인해 모델 업로드 과정에서 생긴 변수를 해결하느라 추가적인 시간을 할애해야 하는 셈이죠. 즉, 일을 더 많이 해야 한다는 의미입니다.

 
 
 

“그런데 HP Z4 데스크탑 워크스테이션에서는 별도의 경량화 작업을
하지 않아도 됩니다. 어노테이션에이아이의 AI 모델 5~6개를 올리는 데
전혀 문제가 없었습니다. 아울러 모델들을 업로드하고 부하를 최대로
줬을 때도 원활했습니다. 여러 업무를 동시에 처리하느라 바쁜 데, HP
Z4 데스크톱 워크스테이션을 통해 변수를 제거하여 작업 시간을
효율적으로 쓸 수 있었죠.”

 
 
 

이 밖에 어노테이션 작업과 관련해서도 HP 데스크톱 워크스테이션은 변수를 줄여줄 수 있겠다는 생각이 듭니다. 회사에 소속된 어노테이터가 물리적 제약을 받는, 프라이버시 데이터를 처리해야 할 때가 있습니다. 이렇게 외부 반출이 어려운 데이터를 작업해야 할 때 HP Z4 데스크톱 워크스테이션을 현장에 가지고 가서 추론 서버로 활용한다면 언제 어디서든 추론 작업을 할 수 있어 돌발 변수가 발생한 상황에서도 업무가 중단되지 않을 수 있죠.

 

AI 스타트업 어노테이션에이아이가 전하는 HP 데스크톱 워크스테이션 실전 활용법

 

HP Z4 G4

 
 

최대 18코어 인텔® 코어™ X 시리즈 또는 제온® W

 

최대 NVIDIA RTX™ A6000 2개

 

최대 512GB16 DDR4-2933 ECC SDRAM

 

Adobe, Autodesk 등의 ISV 인증

 

MIL-STD 810H 테스트를 통과한 뛰어난 내구성

 
 
 

* Ultrabook, 울트라북, Celeron, 셀러론, Celeron Inside, Core Inside, Intel, 인텔, Intel 로고, 인텔 로고, Intel Arc graphics, 인텔 Arc 그래픽, Intel Atom, 인텔 아톰, Intel Atom Inside, Intel Core, 인텔 코어, Intel Inside, Intel Inside 로고, Intel vPro, 인텔 v프로, Intel Evo, 인텔 Evo, Pentium, 펜티엄, Pentium Inside, vPro Inside, Xeon, 제온, Xeon Inside, Intel Agilex, 인텔 Agilex, Arria, Cyclone, Movidius, eASIC, Iris, Killer, MAX, Select Solutions, 셀렉트 솔루션, Stratix, Tofino, Intel Optane 및 인텔 Optane은 인텔사 또는 그 자회사의 상표입니다.