ARGOS SCORE

by Young Kim

 

일반적으로 ARGOS와 같은 성능관리(APM, application performance management) 솔루션들은 웹, 모바일앱 서비스의 성능관리를 위해 서비스 가용도(availability), 응답시간(response time), CPU 사용률(CPU usage) 등의 다양한 측정지표(measurement metrics)들을 제공한다. 그러나 이러한 다수의 측정지표 값들 속에서 온라인 서비스의 성능품질(performance quality)을 한 눈에 파악하기 어려운 문제점이 있다.

ARGOS에서는 다양한 측정지표 중에서 성능에 직접적으로 영향을 미치는 핵심지표(key metrics) 들을 이용하여 성능을 한눈에 파악할 수 있도록 “ARGOS SCORE”를 제공한다. ARGOS SCORE를 통해 온라인 서비스의 성능품질(performance quality)을 하나의 값으로 정량화(quantification)하여 관리할 수 있다. 오늘날, 온라인서비스에 있어서 성능이 가장 중요한 비즈니스 경쟁력의 하나로 인식되고 있으며, ARGOS SCORE를 통해 경쟁 또는 유사 온라인 서비스와의 객관적이고 손쉬운 성능 비교 및 관리가 가능하고 이를 통해 치열한 경쟁환경에서 우위를 점할 수 있다.

 

 

ARGOS SCORE에 사용되는 핵심 지표(key metrics)

 

ARGOS SCORE는 아래 핵심지표 값들을 이용하여 계산된다. 각 핵심지표가 성능품질에 미치는 영향도의 정도가 다르기 때문에 핵심지표의 가중평균(weighted average)값으로 계산된다.

 
  • 가용도(Availability) : 가용도는 사용자가 웹 또는 모바일 앱 서비스를 접속했을 때 실제 접속 가능한 정도를 나타내는 측정지표(measurement metrics)이다. 최고 수준의 온라인 서비스를 위해서는 통상 triple 9(99.9%) 이상의 가용도가 요구되며, 99.9%의 가용도는 1년간의 총 서비스 장애 시간이 8.76 시간 이하임을 나타낸다.

 

 

응답시간(Response Time) : 응답시간은 실제 단말(real device)의 화면상에서 웹 또는 모바일앱 페이지가 사용자가 로딩(loading)이 완료되었다고 인식하기까지의 시간으로, 실제 사용자가 체감하는 웹, 모바일앱 서비스의 속도(speed)이다. 일반적으로 온라인서비스의 사용자 최대 인내한계 시간은 3초이며, 3초를 넘으면 사용자는 다른 경쟁서비스로 이탈하게 되므로 3초 이하로 응답시간을 관리해야 한다.

 

 

 

  • 응답시간 변화율(Variation Rate) : 응답시간은 일정 기간 동안 측정한 응답시간들의 평균값으로 계산되는데, 측정값(measurements)들의 편차(variation)가 큰 경우에는 실제 응답시간을 반영하지 못하는 문제가 있다. 예를 들어, 아래 그림에서 보듯이 하루 24시간 동안 서비스 A, B의 평균 응답시간은 2초로 동일하지만, 서비스 B의 경우 실제 사용자들이 많이 이용하는 10시~18시에는 응답시간이 약 3초이므로 실질적으로 사용자가 느끼는 응답시간은 3초로 봐야 한다. 빠른 사용자 체감 속도를 위해서는 평균 응답시간이 낮은 것이 중요하지만, 이에 못지 않게 응답시간들이 큰 편차 없이 일정하게 유지되는 것도 중요하다.

             ARGOS는 측정한 응답시간의 표준편차(standard deviation)를 이용하여 응답시간 변화율을 계산하여 제공하고 있고, 이를 이용하면 편차가 크게 있는 서비스 발견과 품질 개선에 활용할 수 있다.

 

  • 페이지 크기(Page Size) : 페이지 사이즈는 특정 웹 또는 모바일앱 페이지가 로딩되는 동안 실제 단말에서 다운로드 되는 바이트 카운트(Byte Count)이다. 페이지 사이즈가 큰 경우에는 다운로드 시간이 길어지므로 사용자 응답시간에 직접적인 영향을 미친다. 뿐만 아니라 페이지 크기가 비효율적으로 큰 서비스는 서비스 제공자 뿐만 아니라 서비스를 이용하는 사용자에게도 불필요한 비용을 유발한다. 특히 모바일 환경에서 페이지 크기가 큰 성분(Component)의 다운로드는 사용자에게 응답시간 지연 뿐 아니라 추가적인 통신비 부담을 유발한다. 대부분의 온라인서비스는 CDN(Contents Delivery Network) 서비스를 이용하므로 페이지 크기가 큰 서비스는 서비스 제공자에게도 추가적인 CDN 비용이 발생한다. 페이지 크기는 PC 환경에서는 1MB 이내, 모바일 환경에서는 500KB 이내로 관리하는 것이 바람직하다.
  • 요청 수(Number of Requests) : 요청 수는 웹 또는 모바일앱 페이지가 로딩되는 동안 단말(PC or Phone)에서 서버로 요청되는 HTTP Request의 수로서, 실제 페이지를 구성하는 이미지, HTML, CSS, Javascript 등의 컴포넌트 수이다. 서버로의 과도한 요청은 응답시간 지연을 초래하므로 CSS Sprites 등을 이용하여 요청 수를 최소화해야 한다. 요청 수는 PC 환경에서는 100개 이내, 모바일 환경에서는 50개 이내가 적당하다.

ARGOS SCORE의 이용

다음 그림은 온라인쇼핑 분야에서 Amazon, Ebay 웹사이트의 ARGOS SCORE의 실제 계산 예이다. Amazon이 86.17, Ebay가 93.17로 Ebay의 성능품질이 더 우수함을 알 수 있다. ARGOS SCORE와 함께 제공되는 radar chart를 통해 경쟁서비스 대비 약점(weak point)을 한눈에 파악할 수 있는데, Amazon의 경우  Size와 Requests 지표가 Ebay 에 비해 현저히 떨어짐을 알 수 있다. 실제 Amazon의 Size는 5.94MB, Requests는 238로 Ebay에 비해 2배 이상이나 되므로 Amazon 서비스의 성능 개선을 위해서는 Size와 Requests를 최적화할 필요가 있다.

요약 (Summary)

  • 성능에 직접적인 영향을 미치는 핵심지표들을 이용하여 ARGOS SCORE를 제공
  • ARGOS SCORE를 통해 온라인서비스의 성능품질 척도를 한눈에 파악 가능
  • ARGOS SCORE를 통해 경쟁서비스와의 객관적이고 정량화된 비교 가능