책소개
유연하고 확장 가능하며 신뢰할 수 있는 실시간 데이터 파이프라인 구축, 현대적인 데이터 인프라를 위한 필수요소, 카프카 커넥트(Kafka Connect)!아파치 카프카 스트리밍 플랫폼의 핵심 도구, 카프카 커넥트를 활용해 강력한 데이터 파이프라인을 구축한다! 데이터 엔지니어, 개발자, SRE를 위한 실용적인 가이드로, 다양한 데이터 소스와 싱크 연결, 기존 데이터의 손쉬운 활용, 클러스터 간 데이터 미러링 구현, 이벤트 스트리밍 최적화 등을 통해 카프카의 강력한 기능을 빠르게 도입해보자!
저자소개
아파치 카프카 프로젝트 관리 위원회(PMC)의 커미터이자 의장이다. 2015년부터 아파치 카프카와 카프카의 생태계 전반에 기여해 왔다. 현재는 레드햇의 카프카 팀에서 수석 소프트웨어 엔지니어로 근무하며, 10년 이상의 소프트웨어 개발 경력을 보유하고 있다. 이전에는 고객을 위해 수백 개의 카프카 클러스터를 운영하는 IBM의 이벤트 스트림즈 팀에서 근무했다.
목차
1부 l 카프카 커넥트란1장 카프카 커넥트 입문 카프카 커넥트 기능__플러그형 아키텍처__확장성과 신뢰성__선언적 파이프라인 정의__카프카 커넥트도 아파치 카프카의 일부사용 사례__데이터베이스 변경사항 캡처__카프카 클러스터 미러링__데이터 레이크 구축__로그 집계__레거시 시스템 현대화카프카 커넥트의 대안정리2장 아파치 카프카란분산 이벤트 스트리밍 플랫폼__오픈소스__분산 시스템__이벤트 스트리밍__플랫폼카프카 주요 개념__발행-구독__브로커와 레코드__토픽과 파티션__리플리케이션__보관 주기와 컴팩션__크래프트와 주키퍼카프카와 상호작용하기__프로듀서__컨슈머__카프카 스트림즈카프카 시작하기__카프카 실행__레코드 주고받기__카프카 스트림즈 애플리케이션 실행정리2부 l 카프카 커넥트로 데이터 파이프라인 구축하기3장 카프카 커넥트 데이터 파이프라인의 구성요소카프카 커넥트 런타임__카프카 커넥트 실행하기__카프카 커넥트 REST API__플러그인 설치하기__배포 모드소스 커넥터와 싱크 커넥터__커넥터와 태스크__커넥터 구성하기__커넥터 실행하기컨버터__데이터 형식과 스키마__컨버터 구성하기__컨버터 사용하기트랜스포메이션과 프레디케이트__트랜스포메이션 사용 사례__프레디케이트__트랜스포메이션과 프레디케이트 구성하기__트랜스포메이션과 프레디케이트 사용하기정리4장 효과적인 데이터 파이프라인 설계하기 커넥터 선택하기__파이프라인 방향__라이선싱과 지원__커넥터의 기능데이터 모델 정의하기__데이터 변환__시스템 간 데이터 매핑하기데이터 포매팅__데이터 포맷__스키마카프카 커넥트 내부 살펴보기__내부 토픽__그룹 멤버십__리밸런스 프로토콜카프카 커넥트에서 장애 상황 다루기__워커 장애__커넥터/태스크 장애__카프카/외부 시스템 장애__데드 레터 큐처리 시맨틱 이해하기__싱크 커넥터__소스 커넥터정리5장 커넥터 인 액션컨플루언트 S3 싱크 커넥터__커넥터 구성하기__정확히 한 번 시맨틱__커넥터 실행하기컨플루언트 JDBC 소스 커넥터__커넥터 구성하기__커넥터 실행하기데비지움 MySQL 소스 커넥터__커넥터 구성하기__이벤트 형식__커넥터 실행하기정리6장 미러메이커로 클러스터 미러링하기미러링이란__미러링 사용 사례 살펴보기__미러링 실전 활용미러메이커 소개__공통 개념__배포 모드미러메이커 커넥터__MirrorSourceConnector__MirrorCheckpointConnector__MirrorHeartbeatConnector미러메이커 실행하기__재해 복구 예제__지역 간 복제 예제정리3부 l 상용 환경에서 카프카 커넥트 실행하기7장 카프카 커넥트 클러스터 배포 및 운영 카프카 커넥트 환경 준비__카프카 커넥트 환경 구축__플러그인 설치__네트워킹 및 권한워커 플러그인__구성 공급자__REST 확장 기능__커넥터 클라이언트 구성 오버라이드 정책규모 산정 및 처리 능력 계획하기__카프카 커넥트 리소스 활용 이해하기__적절한 워커와 태스크 수 선정하기카프카 커넥트 클러스터 운영하기__워커 추가하기__워커 제거하기__워커 업그레이드 및 유지보수하기__장애 상태인 태스크와 커넥터 재시작하기__커넥터 오프셋 재설정하기REST API를 사용해 카프카 커넥트 관리하기__커넥터 생성 및 삭제하기__커넥터와 태스크 구성__커넥터 수명주기 제어하기__커넥터 오프셋 나열하기__이슈 디버깅정리8장 카프카 커넥트 구성하기 런타임 구성하기__상용 환경을 위한 구성__파인 튜닝 구성커넥터 구성하기__토픽 구성__클라이언트 오버라이드__정확히 한 번을 위한 구성__오류 처리를 위한 구성보안을 위한 카프카 커넥트 클러스터 구성하기__카프카에 대한 연결에 보안 설정하기__권한 구성하기__REST API 보안 구성하기정리9장 카프카 커넥트 모니터링하기 로그 모니터링__로깅 구성__시작 로그 이해하기__로그 분석하기지표 모니터링하기__지표 리포터__지표 분석하기__지표 탐색주요 지표__카프카 커넥트 런타임 지표들__그 밖의 시스템 지표정리10장 쿠버네티스에서 카프카 커넥트 관리하기 쿠버네티스 소개__가상화 기술__쿠버네티스 기본쿠버네티스에서 카프카 커넥트 실행하기__컨테이너 이미지__워커 배포__네트워킹과 모니터링__구성쿠버네티스 오퍼레이터를 사용해 카프카 커넥트 배포하기__쿠버네티스 오퍼레이터 소개__카프카 커넥트용 쿠버네티스 오퍼레이터스트림지__쿠버네티스 환경 구성하기__오퍼레이터 시작하기__카프카 커넥트 CRD 알아보기__카프카 커넥트 클러스터와 커넥터 배포하기__미러메이커 CRD정리4부 l 커스텀 커넥터와 플러그인 구축하기11장 소스 커넥터와 싱크 커넥터 구축하기공통 개념과 API__커스텀 커넥터 구축하기__Connector API__구성__Task API__카프카 커넥트 레코드__ConnectorContext API소스 커넥터 구현하기__SourceTask API__소스 레코드__SourceConnectorContext와 SourceTaskContext API__정확히 한 번 시맨틱 지원싱크 커넥터 구현하기__SinkTask API__싱크 레코드__SinkConnectorContext와 SinkTaskContext API정리12장 커넥터와 워커 플러그인으로 카프카 커넥트 확장하기 커넥터 플러그인 구현하기__Transformation API__Predicate API__Converter API와 HeaderConverter API워커 플러그인 구현하기__ConfigProvider API__ConnectorClientConfigOverridePolicy API__ConnectRestExtension API정리
