[개발 실무] 기술 면접 필수 - 동시성(Concurrency)과 병렬성(Parallelism) 완벽 정리 및 실무 최적화 가이드

개발자 기술 면접에서 단골로 등장하는 질문 중 하나는 바로 "동시성과 병렬성의 차이를 설명해 보세요"입니다. 많은 분들이 두 개념을 단순히 '동시에 무언가를 처리하는 것'으로 뭉뚱그려 생각하지만, 컴퓨터 과학 및 소프트웨어 아키텍처 관점에서 이 둘은 명확히 다른 개념이자 각기 다른 문제 해결을 위해 사용됩니다. 오늘은 두 개념의 정확한 차이점부터 암달의 법칙(Amdahl's Law), 그리고 실무에서의 최적화 사례까지 완벽하게 정리해 보겠습니다.

 

--------------------------------------------------------------------------------

1. 동시성 (Concurrency)이란?

동시성(Concurrency)은 여러 작업이 교대로 수행되어 "동시에 진행되는 것처럼 보이게 만드는" 논리적인 프로그래밍 개념입니다.

• 동작 원리 : 주로 하나의 CPU 코어에서 여러 프로세스나 스레드가 매우 빠른 속도로 전환(Context Switching)되며 실행됩니다. 사람의 눈에는 동시에 여러 프로그램이 실행되는 것처럼 보이지만, 특정 시점에는 단 하나의 작업만 처리되고 있습니다.
• 주요 목적 및 비유 : 동시성의 주된 목적은 자원의 유휴 시간을 줄이고 시스템의 응답 시간(Response Time)을 최소화하는 것입니다. 요리사 한 명이 찌개를 끓이면서, 물이 끓기를 기다리는 틈을 타 야채를 써는 상황을 생각하면 이해하기 쉽습니다.
• 적합한 작업 (I/O-bound) : 외부 API 서버와의 통신, 데이터베이스 조회, 파일 시스템 읽기/쓰기 등 외부 장치의 응답을 기다려야 하는 I/O 바운드(I/O-bound) 작업에 매우 적합합니다. CPU가 기다리는 시간(I/O Wait) 동안 다른 스레드의 작업을 처리하도록 스위칭하여 전체 시스템의 효율을 높입니다.
• 주의할 점 : 너무 많은 스레드를 무분별하게 생성하면 CPU가 작업을 전환할 때 발생하는 컨텍스트 스위칭(Context Switching) 비용이 기하급수적으로 커집니다. 문맥 교환 시에는 레지스터 상태 저장 및 메모리 캐시 플러싱 등의 오버헤드가 발생하여 오히려 전체 시스템 성능이 저하될 수 있습니다.

 

--------------------------------------------------------------------------------

2. 병렬성 (Parallelism)이란?

병렬성(Parallelism)은 여러 작업이 물리적으로 "실제로 동시에 실행되는 것"을 의미합니다.

• 동작 원리 : 싱글 코어에서는 불가능한 개념이며, 멀티 코어 CPU나 여러 대의 서버(분산 시스템)를 통해 각 코어가 서로 다른 작업을 실제로 동시에 맡아 연산하는 하드웨어 기반의 물리적 개념입니다.
• 주요 목적 및 비유 : 시스템의 전체 데이터 처리량(Throughput)을 향상시키는 것이 주된 목적입니다. 여러 명의 요리사가 각자의 화구에서 동시에 각기 다른 요리를 만들어내는 것과 같습니다.
• 적합한 작업 (CPU-bound) : 영상 인코딩, 이미지 처리, 암호화, 또는 머신러닝의 대규모 행렬 연산 등 CPU 자원을 100% 가까이 쉼 없이 사용하는 계산 집약적인 작업(CPU-bound)에 강력한 성능 향상을 가져옵니다.
• 한계 (암달의 법칙) : 하지만 프로세서 코어 수를 무한정 늘린다고 전체 프로그램 속도가 계속 비례해서 빨라지는 것은 아닙니다. 암달의 법칙(Amdahl's Law)에 따르면, 프로그램 내에 순차적으로 실행되어야만 하는 코드의 비율 때문에 여러 프로세서를 사용하더라도 얻을 수 있는 속도 향상(Speedup)의 이론적 최대치에는 명확한 한계가 존재합니다.

 

--------------------------------------------------------------------------------

3. 동시성과 병렬성의 공존 및 실무 최적화 전략

현대의 대규모 트래픽을 처리하는 시스템에서는 이 두 가지 개념이 배타적으로 쓰이기보다는 함께 공존하며 시너지를 냅니다. 예를 들어 멀티코어 환경에서는 여러 코어가 작업을 병렬적으로 처리함과 동시에, 각 코어 내부에서는 스레드들이 빠르게 전환되며 동시성으로 수백 개의 작업을 소화합니다.

 

이러한 지식을 바탕으로 실무에서는 다음과 같은 최적화 전략을 세울 수 있습니다.

• 성능 병목(Bottleneck)에 따른 올바른 처방 적용 : 애플리케이션 성능 개선의 첫걸음은 내 코드의 병목이 CPU인지 I/O인지 진단하는 것입니다. 작업 내내 CPU 사용량이 100%에 육박한다면 ParallelStream이나 알고리즘 개선, 다중 코어 스케일업과 같은 병렬성 기법을 적용해야 합니다. 반대로, CPU 사용량은 10~20%로 낮은데 작업이 오래 걸린다면 외부 응답을 대기하는 것이므로 비동기 처리나 Bulk I/O 등 동시성 기법을 적용해야 극적인 성능 개선을 이룰 수 있습니다.
• Java 21의 가상 스레드(Virtual Thread) 도입 : 기존의 멀티 스레드 프로그래밍은 운영체제의 플랫폼 스레드를 직접 사용하여 컨텍스트 스위칭과 메모리 공간 할당 비용이 컸습니다. 그러나 Java 21부터 정식 도입된 '가상 스레드'는 JVM이 직접 관리하는 사용자 모드의 경량 스레드로, 최소한의 오버헤드로 백만 개 이상의 스레드를 효율적으로 실행할 수 있게 해줍니다. 이는 I/O 바운드 작업에서 동시성 처리 능력을 극대화한 현대적 아키텍처의 대표적 사례입니다.

 

--------------------------------------------------------------------------------

마치며

요약하자면, 동시성(Concurrency)은 I/O 대기 시간을 효율적으로 활용하여 응답 시간을 줄이기 위한 '작업 관리 및 스케줄링'의 관점이고, 병렬성(Parallelism)은 물리적 하드웨어 자원을 다수 동원하여 실제 연산 처리량을 늘리는 '동시 실행'의 관점입니다. 자신의 프로젝트 특성과 병목 지점을 정확히 파악하고 두 개념을 적절히 결합한다면, 대규모 트래픽 앞에서도 흔들리지 않는 최적의 고성능 아키텍처를 구현할 수 있을 것입니다.