10배 빠른 DSP의 인프라 이점

클라우드 네이티브가 기본인 업계에서 Aarki는 의도적인 예외를 추구합니다. 당사의 4개 데이터 센터는 전 세계에 걸쳐 있으며 Google AdX, Unity, Fyber와 같은 주요 광고 거래소와 물리적으로 인접해 있습니다. 이 데이터 센터들은 초당 500만 건 이상의 입찰 요청을 처리하고 20ms 이내의 빠른 응답 시간을 제공하도록 설계되었습니다. 이러한 처리량은 단순한 기술적 강점이 아니라, 당사의 DSP가 어떤 상황에서도 빠르고 정확하며 반응성이 뛰어난 성능을 유지할 수 있도록 하는 핵심 요소입니다. 

지난 2년 동안 우리는 이를 전략적 경쟁 우위로 전환했습니다. 모델 학습, 추론, 광고 전달까지 모든 과정이 한 곳에서 이루어집니다. 이러한 인프라 덕분에 DSP의 입찰 시간은 클라우드 기반 DSP보다 4배에서 10배 더 빨라집니다.

실험 비용 제거

인프라를 소유함으로써 얻을 수 있는 즉각적인 이점 중 하나는 실험에 드는 추가 비용이 0이라는 점입니다.

쿼리당 가격 및 송출 수수료에 제약을 받는 클라우드 기반 머신러닝 및 분석 팀과 달리, 저희 팀은 비용으로 인한 마찰 없이 운영됩니다.

• 입찰자 작업 부하: 높은 QPS에 대한 불이익은 없습니다. 당사의 인프라는 최대 처리량을 지원하도록 설계되었습니다.
• 모델 학습/추론: 학습 및 실시간 추론을 위해 전용 GPU를 활용합니다.
• 데이터 웨어하우스 쿼리: 분석가와 머신러닝 엔지니어는 테라바이트 스캔당 비용에 대한 걱정 없이 자유롭게 쿼리할 수 있습니다.

그 결과 실험 과정이 가속화되어 더 많은 반복, 더 깊은 통찰력, 더 빠른 학습이 가능해집니다.

입찰 응답 시간은 수익 증대의 핵심 요소입니다.

프로그래매틱 입찰은 근본적으로 경쟁이며, 반응 속도가 승패를 좌우합니다. 입찰 요청에 더 빨리 응답할수록 더 많은 노출을 확보할 수 있습니다. 저희는 이러한 목표를 위해 특별히 인프라 스택을 설계했습니다.

• 하드웨어 수준에서 최적화된 저지연 백본을 통해 4개의 데이터 센터를 연결합니다.
• 핵심 시스템(예: Aerospike, Kafka 및 입찰 서비스)의 위치 인식 라우팅.
• 인터럽트 오버헤드 및 네트워크 지터를 줄이기 위해 목적에 맞게 조정된 NIC 설정.
  

당사의 평균 입찰 응답 시간은 클라우드 기반 DSP보다 4배에서 10배 빠릅니다. 빠른 응답은 고객에게 더 높은 수주율과 더 나은 투자 수익률(ROI)을 제공합니다.

복잡성을 헤쳐나가며 인프라 분야에서 숙련도를 쌓다

스택을 소유한다는 것은 우리 엔지니어들이 복잡성을 추상화하는 것이 아니라, 직접 참여한다는 것을 의미합니다.

새로운 서비스를 구축하는 것은 단순히 "클릭하고 바로 실행"하는 것이 아닙니다. 용량 계획, 배치 결정, 튜닝, 그리고 실제 IOPS(초당 패킷 처리량) 한계에 대한 이해가 필요합니다. 이러한 과정을 통해 성능, 비용 균형, 그리고 시스템 장애 발생 원인을 깊이 이해하는 더욱 유능한 엔지니어를 양성할 수 있다고 믿습니다.

어려움이 따르지만, 우리는 그것을 받아들입니다.

단점도 있습니다:

• 메모리, 디스크 또는 컴퓨팅 용량 확보에 더 오랜 시간이 소요될 수 있으며, "확장" 버튼이 없습니다.
• 숙련된 인프라 및 네트워크 엔지니어를 채용하는 것이 쉽지 않기 때문에 인재 확보에 어려움이 있습니다. 특히, 하드웨어 수준에서 작업할 수 있는 엔지니어를 찾는 것이 쉽지 않습니다.

하지만 이것들은 우리가 설계 과정에서 고려해야 할 알려진 제약 조건이지, 설계를 방해하는 요소는 아닙니다.

클라우드 vs. 코로케이션: 교리가 아니라, 데이터의 문제입니다.

저희는 이 전략을 매년 재평가합니다. 클라우드 기술은 계속 발전하고 있으며, 저희의 차세대 데이터 센터는 가상화될 가능성이 높습니다. 그렇게 되면 두 환경을 나란히 운영하며 비교해 볼 것입니다.

• 입찰 지연 시간: 시스템이 광고 거래소의 입찰 요청에 응답하는 속도. 지연 시간이 짧을수록 더 많은 경매에 참여하여 낙찰률을 높일 수 있습니다.
• 머신러닝 처리량: 시스템 속도를 저하시키지 않고 동시에 얼마나 많은 모델 학습 및 추론 작업을 처리할 수 있을까요?.
• 쿼리 성능: 분석가와 머신러닝 엔지니어가 비용이나 속도 병목 현상 없이 데이터 쿼리를 얼마나 빠르고 자유롭게 실행하여 인사이트를 추출할 수 있는지.
• $ 매출당 비용: 1달러의 매출을 창출하는 데 필요한 총 인프라 비용. 1달러당 비용이 낮을수록 마진이 높아집니다.

그때까지는 현재의 인프라가 계속해서 우수한 성능을 보여줄 것입니다.

메탈 음악으로 이득을 보는 건 마케터들이다.

인프라를 직접 소유하는 것은 화려한 일이 아닙니다. 확장이 어렵고, 인력 채용도 까다롭습니다. 하지만 성과 마케팅의 승패가 밀리초 단위의 시간과 수익에 달려 있는 만큼, 우리는 차이를 만들어내는 변수들을 직접 관리하는 것이 중요하다고 믿습니다.

저희 인프라는 속도, 제어, 그리고 자유라는 세 가지 핵심 이점을 제공합니다. 이를 통해 다른 회사의 클라우드 용량을 기다릴 필요 없이 신속하게 움직이고, 빠르게 교육하고, 빠르게 대응할 수 있습니다. 결과적으로 캠페인 성공률 향상, 비용 대비 효과 감소, 그리고 더욱 효율적인 최적화가 가능합니다.

초당 더 많은 입찰을 성사시키는 데 사용되는 동일한 인프라를 통해 모델을 매일 재학습시킬 수 있으므로 모델은 지속적으로 학습하고 적응하며 이전 버전보다 뛰어난 성능을 발휘합니다. 이 인프라는 GPU로 학습된 모델이 매일 업데이트되어 스택 내에서 직접 실행되는 딥러닝 파이프라인을 지원합니다.

엔진룸 안의 핵심 부품들이 완전히 새롭게 재조립되었습니다. 훈련부터 입찰까지 모든 것을 구동하는 더 빠르고 스마트한 엔진.

저희는 클라우드 자체를 반대하는 게 아닙니다. 중요한 건 업무에 가장 적합한 방식을 사용하는 것입니다. 현재로서는 베어메탈 서버가 여전히 저희에게 유리한 위치를 제공하고 있으며, 데이터가 다른 결과를 보여줄 때까지 계속 사용할 것입니다.

이 블로그에 대한 의견이 있으신가요? 좋은 아이디어가 있다면 주저하지 말고 투샤르에게 이메일을 보내주세요. tusharpatel@aarki.com.