[Medium] 지연 시간(Latency)와 처리량(Throughput)

 

지연 시간 (Latency)

---

지연 시간은 클라이언트에서 서버로 요청이 전달되고 다시 돌아오기까지(혹은 하나의 작업 단위가 완료되기까지) 걸리는 시간을 말합니다. 보통 밀리초(ms) 단위로 측정됩니다.

• 웹페이지 로드: 만약 서버가 브라우저로 페이지 데이터를 보내는 데 200ms가 걸린다면, 지연 시간은 200ms입니다.
• 간단히 말해, 웹사이트가 빠르게 로드되면 낮은 지연 시간(low latency)을 가진 것이고, 느리게 로드되면 높은 지연 시간(high latency)을 가진 겁니다.
• 왕복 시간(Round Trip Time, RTT): 요청이 서버로 가고 응답이 다시 돌아오는 데 걸리는 전체 시간을 말합니다. 때로는 RTT가 지연 시간의 대체 용어로 사용되기도 합니다.

 

처리량 (Throughput)

---

처리량은 시스템이 초당 처리할 수 있는 요청 또는 작업 단위의 수를 의미합니다. 보통 초당 요청 수(RPS, Requests Per Second) 또는 초당 트랜잭션 수(TPS, Transactions Per Second)로 측정됩니다.

• 모든 서버에는 한계가 있어 초당 X개의 요청만 처리할 수 있습니다. 과도한 부하를 가하면 서버가 과부하 상태에 빠지거나 다운될 수 있습니다.
• 높은 처리량: 시스템이 많은 요청을 동시에 처리할 수 있는 경우
• 낮은 처리량: 시스템이 많은 요청을 동시에 처리하는 데 어려움을 겪는 경우
• 이상적으로는 지연 시간은 낮고 처리량은 높은 시스템을 만드는 것이 목표입니다.

 

예시

---

• 지연 시간: 자동차가 한 지점에서 다른 지점까지 이동하는 데 걸리는 시간(ex 10분)
• 처리량: 고속도로에서 1시간동안 이동할 수 있는 자동차의 수(ex 1,000대)

 

요약

---

• 지연 시간(Latency): 단일 요청을 처리하는 데 걸리는 시간
• 처리량(Throughput): 동시에 처리할 수 있는 요청의 수

 

원문

• https://medium.com/@shivambhadani_/system-design-for-beginners-everything-you-need-in-one-article-c74eb702540b#1881