AI 스타트업 어노테이션에이아이가 전하는
HP 데스크톱 워크스테이션 실전 활용법

요약

AI 프로젝트에는 좋은 데이터가 필요합니다. 다시 말해, 관련성 높고, 적절하게 라벨링돼 있으며, 결과를 왜곡할 편향성이 없는 데이터가 필요하다. AI 모델 성능이 아무리 뛰어나도 저품질의 학습 데이터를 입력하면 무용지물이기 때문입니다.

그래서 AI 프로젝트의 성공은 양질의 학습용 데이터세트를 확보하는 데 달려 있습니다. 하지만 이런 데이터를 수집하려면 상당한 시간과 비용이 드는데요. 실제로 많은 기업이 AI 모델을 학습시킬 때 활용할, 적절하게 분류된 데이터를 확보하는 데 어려움을 겪고 있습니다.

이렇게 딥러닝 모델이 할 수 있는 일은 무궁무진하다고 생각했던 어노테이션에이아이는 전산업에서 제품 및 솔루션을 활용할 수 있는 다양한 가능성을 모색하고 있습니다. 현재는 비전 데이터를 중심으로 프로젝트를 진행하고 있습니다. 특히 어떤 객체가 있는지 파악하는 오브젝트 디텍션 모델, 픽셀 레벨로 객체를 구분하는 세그멘테이션 모델을 활용해 ‘AI를 적용한 바리스타 로봇’을 구축 중입니다.

로컬 AI 서비스 환경 구축의 필요성

바이리는 티로보틱스(T-Robotics), 위즈진(Wizgene), 어노테이션에이아이(AnnotationAI) 3사의 합작으로 개발되었습니다. 여기서 데이터세트 생성, 모델 학습, 모델 배포를 자동화하는 워크플로우 기능과 배포한 모델을 API 서비스로 제공하는 추론 기능을 포함한 어노테이션에이아이의 ML위즈가 사용되며, 바이리 시스템에서 ML위즈는 원두의 모양 및 상태를 ‘파악’하여 해당 데이터를 제어 로직으로 전송하고, 아울러 이 모든 데이터를 학습해 모델을 업그레이드합니다.

바이리에 한정해 추론 파트의 핵심 요소 중 하나는 ‘실시간성’ 입니다. 추론하고 의사결정하기까지의 과정이 50밀리초 내에 끝나야 하는데, 이는 로봇과 물리적으로 가까운 곳에 추론 서버가 위치해야 할 필요가 있다는 것입니다. 이에 로컬에 '엣지 서버'를 구축해야 할 필요성은 지난 4월 참여했던 한 행사부터 대두됐습니다. 현재 AI 모델 서빙은 자체 IDC와 연결된 SaaS 방식으로 이뤄지고 있는데, 행사장의 와이파이가 느린 탓에 지연 시간이 생겨 ‘왜 이렇게 느리냐’는 사용자 피드백을 받았습니다. 제품에 대한 부정적인 인식을 줄 수 있었던 순간이었죠.

사실 바이리는 아직 프로토 타입이고 시스템 구성 방식 및 비즈니스 모델조차 구체화되지 않은 상태입니다. 그러나 추론 과정에서의 지연 시간은 실제 비즈니스 상황에서도 충분히 발생 가능한 장애물입니다. SaaS 사용 시, AI 바리스타 로봇이 50밀리초에 한 번씩 의사결정을 하는 과정에서 네트워크 환경에 따라 지연 시간이 생길 수 있기 때문입니다.

각 로봇에 추론 모델을 실행할 PC를 탑재하는 방식은 지연 문제는 해결할 수 있습니다. 하지만 이 역시 관리 문제가 생깁니다. 가령 바이리 100대가 있다고 하면 100개의 엔드포인트에 맞게 일일이 최적화를 해줘야 하고, 엔드포인트가 많다 보니 업데이트된 새 AI 모델을 배포하는 일도 복잡해집니다. 한정된 인력과 리소스로 수많은 엔드포인트를 유지보수하는 것도 만만치 않은 일이라, 구축 이후의 관리 복잡성이 큰 과제인 것입니다.

AI 모델의 전초기지, ‘엣지 노드’를 위한 HP Z4 워크스테이션

이러한 맥락에서 HP Z4 데스크톱 워크스테이션은 앞서 언급된 과제들을 해결하는 한 가지 명쾌한 해답을 제시해줬습니다. 수십, 수백 대의 바리스타 로봇과 물리적으로 가까운 곳에 ‘중앙 엣지 노드’, 즉 한 대의 HP Z4 데스크톱 워크스테이션을 두고 통신하는 방식입니다.

무엇보다 HP Z4 데스크톱 워크스테이션을 엣지 노드로 사용하면 한 노드에 많은 로봇을 연결해 효율적으로 관리할 수 있는데요. 인텔® 제온® 프로세서와 엔비디아 RTX A4000 GPU가 탑재된 HP Z4 데스크톱 워크스테이션 스펙 기준으로 320x230x3 크기의 이미지가 1~3초 사이 랜덤하게 들어온다는 시나리오 하에 부하 테스트를 실시해보았습니다.

그 결과, HP Z4 데스크톱 워크스테이션 한 대에 200~300대의 바이리를 연결할 수 있는 것으로 확인되었습니다. 각 로봇에 PC를 탑재한다고 하면 200~300대를 모두 관리해야 하는데 HP Z4 데스크톱 워크스테이션을 쓰면 딱 1대로도 관리할 수 있다는 의미입니다. 아울러 엣지 노드는 로봇과 물리적으로 가까이 위치하기 때문에 추론하는 데 지연 문제도 없습니다.

운영 측면에서 보면, HP Z4 데스크탑 워크스테이션의 성능과 24/7 지원도 주목할 만한 이점입니다. 머신러닝 모델은 쿠버네티스가 인프라 표준으로 자리 잡고 있는데, 쿠버네티스와 엔비디아 GPU 제품군 간의 상성이 좋습니다. HP Z4 데스크톱 워크스테이션은 엔비디아 RTX A4000 GPU를 탑재하고 있다 보니 인프라 또는 서비스 수준에서의 클러스터링과 스케일 인/아웃이 편리해졌습니다.

“또한 HP의 24/7 및 장기간 지원 서비스는 급작스러운 비즈니스 운영 중단을 방지할 뿐만 아니라 충분한 회복
탄력성을 제공할 수 있습니다. 해외로 비즈니스를 확장하는 경우까지 고려한다면 글로벌 서비스 지원이
가능하다는 것도 큰 장점이죠.”

실제로 어노테이션에이아이가 지난 11월 참여한 푸드테크 행사는 이 엣지 노드 방식을 테스트해볼 수 있는 기회였습니다. 스위칭 허브를 사용해 로봇팔, 주문 키오스크, 데스크톱 워크스테이션을 연결하는 내부적인 네트워크를 구축했고, 여기서 HP Z4 데스크톱 워크스테이션을 추론에 특화된 엣지 노드 형태로 활용했습니다.

그런데 공간상 문제로 모니터 사이에 놓인 책상의 좁고 밀폐된 내부에 둬야 했습니다. HP Z4 데스크톱 워크스테이션으로 어노위즈의 AI 기반 자동 어노테이션 기능을 행사 내내 시연할 계획이었기 때문에 발열 문제가 있을까 우려했죠. 노트북을 사용할 때 발열 문제로 성능이 느려지거나, 심하면 먹통이 되는 경우가 종종 있고, 이는 제품에 부정적인 인상을 남길 수 있기 때문입니다.

업무 변수를 줄여 생산성을 높이다

어노테이션에이아이는 HP Z4 데스크톱 워크스테이션을 엣지 노드로 활용하고자 설정하는 과정에서 생산성 이점도 포착했습니다. SaaS 방식이 아닌 엣지 노드 방식을 고려하면서 처음에는 GPU를 탑재한 랩톱을 대여할 계획이었습니다. 이번 푸드테크에서는 바이리 시연용 모델, 어노위즈의 자동 어노테이션 기능에 사용하는 모델 등을 포함해 총 5~6개의 모델을 넣어야 했고, 따라서 여러 경량화 기법으로 모델 크기를 줄이는 후처리 작업이 필요했는데요.

이는 소위 말해 ‘개발자의 시간을 갈아 넣어야 하는’ 작업과도 같습니다. 모델 크기를 줄이기 위해 경량화를 하다 보면 추론 성능이 떨어질 수도 있기에 성능이 떨어지지 않는 적합한 지점을 찾아 경량화를 해야 합니다. 개발자 측면에서 보면 하드웨어로 인해 모델 업로드 과정에서 생긴 변수를 해결하느라 추가적인 시간을 할애해야 하는 셈이죠. 즉, 일을 더 많이 해야 한다는 의미입니다.