[Review] 입문자를 위한 병렬 프로그래밍

입문자를 위한 병렬 프로그래밍

저자 : 피터 파체코 지음

역자 : 김성민

출판사 : 비제이퍼블릭 | 2015.02.26

입문자를 위한 병렬 프로그래밍.. 이 책은 출판 즉시 구매해서 보았던 책입니다.

병렬처리에 대한 관심을 가질 때 쯤 제 요구와 딱 맞는 시기에 출간되어 아무 생각도 않고 구매했는데요, 지금은 이 책이 제이펍에서 출간된 책 들 중 가장 추천하고 싶은 책입니다.

병렬처리는 이제 선택이 아닌 필수가 되어가고 있습니다. 싱글 코어의 시대는 지난지 오래되었고, 멀티코어의 중요성과 더불어 프로그램의 성능을 최고로 끌어올리기 위한 노력 중인 시대입니다.

코어의 Clock을 증가시켜 성능을 개선하던 시대는 이제 한계에 부딪혀 CPU를 여러개 함께 연산에 사용하는 멀티코어 시스템을 사용하는 지금, 병렬처리의 학습은 필수이죠.

'에이, 아직 컴퓨터 병렬처리 생각안하고 개발해도 문제없어요. 컴퓨터 성능이 얼마나 좋은데요?'

위 와 같이 말하는 개발자들을 가끔 볼 수 있는데요, 잘못된 생각이라고 분명 말씀드리고 싶습니다.

이 책을 읽으시면 더욱 그 이유를 아실 수 있을 것 같습니다.

처음 이 책은 병렬처리가 무엇인가? 라는 것 보다 왜 우리가 병렬처리를 해야하는가? 라는 질문부터 저희에게 던집니다. 솔직히 입문자용으로 석,박사들을 위한 깊숙한 지식을 서술해 놓진 않았지만,

책의 제목과 같이 입문자들에겐 더할 나위 없이 좋은 글들로 책은 시작합니다.

그럼 책의 목차를 확인해 보시죠.

차례

CHAPTER 1 왜 병렬 컴퓨팅인가?

1.1 성능 증가의 필요성 2

1.2 병렬 시스템을 구축해야 하는 이유 3

1.3 병렬화 프로그래밍이 필요한 이유 4

1.4 병렬화 프로그램을 작성하는 방법 8

1.5 배울 내용 11

1.6 병행, 병렬, 분산 13

1.7 책의 구성 14

1.8 당부의 말 14

1.9 이 책의 표기 방법 15

1.10 요약 16

1.11 연습문제 17

CHAPTER 2 병렬 하드웨어와 병렬 소프트웨어

2.1 약간의 배경 지식 22

    2.1.1 폰 노이만 아키텍처 22

    2.1.2 프로세스, 멀티태스킹, 그리고 스레드 24

2.2 폰 노이만 모델의 수정 26

    2.2.1 캐시의 기본 개념 26

    2.2.2 캐시 매핑 29

    2.2.3 캐시와 프로그램: 예제 30

    2.2.4 가상 메모리 32

    2.2.5 명령어 레벨 병렬화 35

    2.2.6 하드웨어 멀티스레딩 39

2.3 병렬 하드웨어 40

    2.3.1 SIMD 시스템 40

    2.3.2 MIMD 시스템 44

    2.3.3 인터커넥션 네트워크 48

    2.3.4 캐시 일관성 57

    2.3.5 공유 메모리와 분산 메모리 61

2.4 병렬 소프트웨어 62

    2.4.1 경고 63

    2.4.2 프로세스/스레드의 조정 63

    2.4.3 공유 메모리 65

    2.4.4 분산 메모리 71

    2.4.5 하이브리드 시스템 프로그래밍 75

2.5 입력과 출력 76

2.6 성능 78

    2.6.1 스피드업과 효율성 78

    2.6.2 암달의 법칙 81

    2.6.3 확장성 83

    2.6.4 타이밍 84

2.7 병렬 프로그램 디자인 88

    2.7.1 예제 89

2.8 병렬 프로그램의 작성과 실행 94

2.9 가정 94

2.10 요약 96

    2.10.1 시리얼 시스템 96

    2.10.2 병렬 하드웨어 98

    2.10.3 병렬 소프트웨어 100

    2.10.4 입력과 출력 102

    2.10.5 성능 102

    2.10.6 병렬 프로그램 설계 103

    2.10.7 가정 104

2.11 연습문제 104

CHAPTER 3 MPI를 이용한 분산 메모리 프로그래밍

3.1 시작하기 112

    3.1.1 컴파일과 실행 113

    3.1.2 MPI 프로그램 115

    3.1.3 MPI_Init과 MPI_Finalize 116

    3.1.4 커뮤니케이터, MPI_Comm_size와 MPI_Comm_rank 117

    3.1.5 SPMD 프로그램 117

    3.1.6 통신 118

    3.1.7 MPI_Send 118

    3.1.8 MPI_Recv 121

    3.1.9 메시지 매칭 121

    3.1.10 status_p 인수 123

    3.1.11 MPI_Send와 MPI_Recv의 동작 의미 124

    3.1.12 약간의 심각한 문제 126

3.2 MPI를 사용한 사다리꼴 규칙 126

    3.2.1 사다리꼴 규칙 126

    3.2.2 사다리꼴 규칙의 병렬화 128

3.3 I/O의 처리 131

    3.3.1 출력 132

    3.3.2 입력 133

3.4 컬렉티브 통신 135

    3.4.1 트리 구조 통신 135

    3.4.2 MPI_Reduce 137

    3.4.3 컬렉티브 통신 대 일대일 통신 139

    3.4.4 MPI_Allreduce 141

    3.4.5 브로드캐스트 141

    3.4.6 데이터 분산 144

    3.4.7 스캐터 146

    3.4.8 게더 148

    3.4.9 Allgather 150

3.5 MPI 파생 데이터 타입 153

3.6 프로그램의 성능 평가 157

    3.6.1 수행 시간 159

    3.6.2 결과 162

    3.6.3 속도 향상과 효율성 165

    3.6.4 확장성 166

3.7 병렬 정렬 알고리즘 167

    3.7.1 간단한 시리얼 정렬 알고리즘 168

    3.7.2 병렬 홀수-짝수 변환 정렬 170

    3.7.3 MPI 프로그램에서 세이프티 173

    3.7.4 병렬 홀수-짝수 정렬의 마지막 설명 177

3.8 요약 179

3.9 연습문제 185

3.10 프로그래밍 문제 194

CHAPTER 4 Pthreads를 이용한 공유 메모리 프로그래밍

4.1 프로세스, 스레드, 그리고 pthreads 200

4.2 HELLO, WORLD 202

    4.2.1 실행 202

    4.2.2 준비 204

    4.2.3 스레드의 시작 206

    4.2.4 스레드의 실행 208

    4.2.5 스레드의 중지 209

    4.2.6 에러 체킹 210

    4.2.7 스레드의 시작에 대한 다른 접근 210

4.3 매트릭스-벡터 곱셈 211

4.4 크리티컬 섹션 214

4.5 비지-웨이팅 218

4.6 뮤텍스 222

4.7 프로듀서-컨슈머 동기화와 세마포어 227

4.8 배리어와 조건 변수 232

    4.8.1 비지-웨이팅과 뮤텍스 233

    4.8.2 세마포어 234

    4.8.3 조건 변수 236

    4.8.4 Pthreads 배리어 239

4.9 읽기-쓰기 잠금 239

    4.9.1 링크드 리스트 함수 239

    4.9.2 멀티스레드 링크드 리스트 242

    4.9.3 Pthreads 읽기-쓰기 잠금 246

    4.9.4 여러 가지 구현에 대한 성능 247

    4.9.5 읽기-쓰기 잠금의 구현 249

4.10 캐시, 캐시 일관성, 그리고 거짓 공유 250

4.11 스레드 세이프티 257

    4.11.1 올바르지 않은 프로그램이 올바른 출력을 낼 수 있다 260

4.12 요약 261

4.13 연습문제 264

4.14 프로그램 문제 272

CHAPTER 5 OpenMP를 사용한 공유 메모리 프로그래밍

5.1 시작 277

    5.1.1 OpenMP 프로그램의 컴파일과 실행 방법 278

    5.1.2 프로그램 279

    5.1.3 오류 체크 283

5.2 사다리꼴 규칙 284

    5.2.1 첫 번째 openMP 버전 285

5.3 변수의 범위 290

5.4 감소 클라우즈 291

5.5 parallel for 디렉티브 295

    5.5.1 주의 사항 297

    5.5.2 데이터 의존성 298

    5.5.3 루프에 의한 의존성 찾기 300

    5.5.4 의 계산 301

    5.5.5 변수 범위 304

5.6 OpenMP에서 루프의 다른 예제: 정렬 305

    5.6.1 버블 정렬 305

    5.6.2 홀수-짝수 변환 정렬 307

5.7 루프 스케줄 310

    5.7.1 schedule 클라우즈 312

    5.7.2 static 스케줄 타입 313

    5.7.3 dynamic과 guided 스케줄 타입 314

    5.7.4 runtime 스케줄 타입 315

    5.7.5 어떤 스케줄을 사용해야 할까? 316

5.8 프로듀서와 컨슈머 317

    5.8.1 큐 317

    5.8.2 메시지 패싱 318

    5.8.3 메시지 전송 319

    5.8.4 메시지 수신 319

    5.8.5 종료 검출 320

    5.8.6 시작 321

    5.8.7 atomic 디렉티브 322

    5.8.8 크리티컬 섹션과 잠금 323

    5.8.9 메시지 패싱 프로그램에서 잠금의 사용 326

    5.8.10 critical 디렉티브, atomic 디렉티브, 혹은 잠금? 327

    5.8.11 몇 가지의 문제점 328

5.9 캐시, 캐시 일관성, 거짓 공유 330

5.10 스레드 세이프티 337

    5.10.1 올바르지 않은 프로그램이 정상적인 결과를 만들어 낼 수도 있다 340

5.11 정리 341

5.12 연습문제 346

5.13 프로그래밍 문제 352

CHAPTER 6 병렬 프로그램 개발

6.1 두 개의 n-body 솔루션 357

    6.1.1 문제 358

    6.1.2 두 개의 시리얼 프로그램 359

    6.1.3 솔루션의 병렬화 365

    6.1.4 I/O 369

    6.1.5 OpenMP를 사용한 기본 솔루션의 병렬화 370

    6.1.6 OpenMP를 사용한 리듀스 솔루션의 병렬화 373

    6.1.7 OpenMP 코드의 평가 378

    6.1.8 Pthreads를 사용한 솔루션의 병렬화 380

    6.1.9 MPI를 사용한 기본 솔루션의 병렬화 381

    6.1.10 MPI를 사용한 리듀스 솔루션의 병렬화 384

    6.1.11 MPI 솔루션의 성능 391

6.2 트리 검색 393

    6.2.1 재귀적 깊이-우선 검색 396

    6.2.2 비재귀적 깊이-우선 검색 397

    6.2.3 시리얼 구현을 위한 자료 구조 400

    6.2.4 시리얼 구현의 성능 402

    6.2.5 트리 검색의 병렬화 402

    6.2.6 pthreads를 사용한 트리 검색의 정적 병렬화 405

    6.2.7 pthreads를 사용한 트리 검색의 동적 병렬화 408

    6.2.8 Pthreads 트리-검색 프로그램의 평가 413

    6.2.9 OpenMP를 사용한 트리-검색 프로그램의 병렬화 414

    6.2.10 OpenMP 구현의 성능 418

    6.2.11 MPI와 정적 파티셔닝을 사용한 트리 검색의 구현 419

    6.2.12 MPI와 동적 파티셔닝을 사용한 트리 검색의 구현 429

6.3 조언 440

6.4 어떤 API가 최선인가? 440

6.5 요약 441

    6.5.1 Pthreads와 OpenMP 443

    6.5.2 MPI 444

6.6 연습문제 448

6.7 프로그래밍 연습 461

CHAPTER 7 그 다음에 해야 할 일

참고문헌 469

찾아보기 473

목차를 보시면, 다른 책들과 목차는 별 다를게 없어보입니다. 당연해 보이는 도입부와 기술의 설명 그리고 마지막 결론까지..

하지만 책은 구성도 중요하지만 분명 내용도 중요해야 합니다. 

이 책은 크게 MPI, Pthread, OpenMP를 이용한 병렬처리 기법들을 설명합니다. 코드가 완벽하게 작성되어 있진 않지만, 수도코드와 이해하기 쉽게 설명된 내용으로 인해 접근하기 어렵지 않습니다.

이해하기 힘든 내용은 표로 정리해 놓거나 수도코드로 잘 표현되어 있어 이해하기 어렵진 않습니다.

그리고 정확히 필요한 내용과 그에 맞는 표를 제공하기에 더 편하게 읽을 수 있습니다.

코드 또한 아래와 같이 주어집니다. 아래는 pthread 챕터에서 첫번째 예제로 제공되어지는 코드입니다.

필요한 부분에 주석이 있으며 코드 또한 간결하여 보기 편하실 겁니다. 모든 소스코드가 아래와 같이 주어지진 않지만, 수도코드가 잘 되어 있어 혼자서 실습해 보기에도 좋습니다.

소스 다운로드를 원하신다면 제이펍 홈페이지 ( http://www.jpub.kr/ ) 에 들어시면 쉽게 다운받을 수 있습니다.

제가 이 책에서 가장 좋았던 부분이 바로 이 연습문제(?) 같은 각 장의 문제들입니다.

아쉬운 점은 연습문제 해답을 알 수 없어 자신이 제대로 문제를 해결하였는지 알 지 못한다는 점인데요,

이게 정말 아쉬운 것 같습니다. 

OpenMP, Pthread 등 병렬처리 하나의 라이브러리나 기술들을 다루는 책은 많습니다.

자바, C++, C 등 다양한 언어로 제공되어 있지만, 라이브러리 등의 사용법은 굉장히 깊이 다루고 있으나, 이 책처럼 처음부터 끝까지 여러분이 왜 병렬처리를 해야하는지는 잘 알려주지 않습니다.

도입부에서만 간단하게 설명할 뿐이죠.. 그렇기에 내가 왜 이 학문을 공부하고 있지? 이 책을 보고 있지? 라는 분들에겐 마지막까지 그 갈증을 해소시켜 줄 수 있을 것 같습니다.

해답 제공의 아쉬움 빼고는 전 이 책을 읽는 내내 너무 즐거웠습니다. 제이펍 담당자 분이 만약 읽으신다면, 해답도 제공해 주셨으면 좋겠네요 ^^;;; 

전공 지식 서적을 읽으면서 즐거웠던 적도 오랜만인 것 같네요. 너무 즐겁게 봤고 병렬처리에 대한 이해도가 더욱 깊어진 것 같습니다.

병렬처리 강의를 준비 중이신 분들은 이 책 한번 사용해 보시길 추천드립니다.

저도 이 책을 기반으로 강의를 준비 중인데요 ^^ 한번 학생들에게 교육 후 반응 및 후기 올리겠습니다.

그럼 즐거운 하루 되세요 !