[CEO칼럼] "하드웨어 벤치마크의 허실"

고객 입장에서 자사의 업무에 가장 적절한 시스템을 선정하는 작업은 가장 중요한 일의 하나임에 틀림없다. 특히 개인 용도가 아닌 부서 혹은 전사적 공통업무를 지원하는 고가의 상용서버를 도입하는 경우 여러 시스템의 대안으로 단기적으로나 장기적으로 비용 대비 효율적인 시스템을 선정한다는 것은 중요한 과제중의 하나이다.

이러한 시스템 선정기준의 척도로 벤치마크가 중요한 요건으로 검토되고 있는 것도 주지의 사실이다. 가장 이상적인 방법은 자사의 실제 업무를 시스템에 설치해 운영 환경에서 테스트를 하는 방법이겠지만 테스트 업무의 여러가지 부담 문제로 TPC와 같은 공신력있는 벤치마크 인증기관의 수치를 주로 참고하는 것이 현실이다. 그러나 현실적으로 각 하드웨어 업체들이 고도의 마케팅 전략에 따라 척도(metrics)를 왜곡할 소지가 많으므로 고객의 입장에서는 현혹되거나 잘못된 판단을 내리기 쉽다는 것이 작금의 현실이다.

벤치마케팅은 IT업계에서 두가지의 개념으로 통용되고 있는데 첫번째는 경영적 관점에서 비교대상 기업과의 마케팅 수익효과를 벤치마크 하는 것이며 두번째는 하드웨어의 벤치마크 수치를 마케팅과 영업에 적당히 활용하는 개념이다. 고객은 자사의 시스템 도입을 고려할 때 대부분 공인받은 TPC(Transaction Processing Council)의 숫자를 벤더에게 요청한다. 그러나 고객은 단지 수치 자체만을 비교 대상으로 고려하고 만다. 그러한 수치가 산출되는 과정에 대해서는 제대로 이해하지 않거나 알려고 하지 않는다. 즉 TPC 수치의 산출 방법과 시스템 도입 및 구축과정을 거치는 동안의 참고사항 역시 합리적인 인식기준에 의해 진행되는 곳은 드물다는 것이다.

TPC-C 벤치마크는 제조업체의 발주·지급·출하·주문조회·재고조회 등 5가지 업무에 대한 측정기준을 갖고 있다. 그러나 TPC-C 벤치마크의 문제는 이기종간 벤치마크 시스템 구성요소에 대한 비교가 사실상 불가능하다는 점이 문제이다. 동일한 벤치마크 세트에 대해서 DB 선택에 의해서도 수십 % ,수백 % 내지 그 이상의 성능 차이가 발생할 수 있다. 즉 HW와 SW의 구성을 하드웨어 업체의 의지에 따라 자유로운 조합이 가능하다는 것이다. 또 TPC 측정은 신뢰성을 측정하는 것이 아니므로 출시되지 않은 베타버전의 제품에 대한 수치를 공포할 수도 있다.

이런 상황에서 일부 업체는 TPC-C 벤치마크를 마케팅 및 영업에 적극 활용하고 있다. 그러나 TPC-C 자체는 아주 단순한 환경에서 온라인거래처리(OLTP) 성능을 측정하기 때문에 복잡하고 정교한 오늘날의 현업 애플리케이션 구동 환경에서는 비현실적이다. 즉, TPC-C 기록 수치만을 믿고 상당한 비용을 들여 시스템을 구입했을 경우 자사가 실질적으로 운용하고자 하는 애플리케이션에서는 낭패를 보게 되는 큰 위험이 따르는 것이다.

오늘날 인터넷 구조에서 OLTP 환경을 효과적으로 측정하기 위해서는 감춰진 수많은 기본 설정값에 대한 중립성을 유지해야 한다. 즉, 이러한 설정값들은 실사용자 환경과 관련된 사항을 시험하는 트랜잭션 유형을 포함해야 하며 단일 시스템 서버보다 클러스터 플랫폼위에서 운용중인 DB에 초점을 맞춰야 한다.

따라서 상용 벤치마크에 의해서 산정된 수치가 적용하고자 하는 시스템에 적합한지는 실제 업무와의 특성을 밀도있게 고려해야 한다. 기업들도 자사가 사용할 애플리케이션이 무엇인지를 정확히 알고 벤치마크를 따져야 시스템 도입에 실패가 없을 것이다. 또 논리적으로 성능 개선이 이뤄진 벤치마크는 보다 강력한 스토리지 관리 실험, 폭넓은 트래잭션 처리 방법, 서버의 정상 가격과 할인되지 않는 가격 등이 중요 고려 변수라는 사실을 알아야 한다.