김치

마라탕🔥

불닭

라면

떡볶이

김

오뚜기

선크림☀️

컵누들

감자칩

로그인/회원가입

한국어

English 简体中文繁體中文 한국어 日本語

{{sellerTotalView > 1 ? __("sellers", {number: sellerTotalView}) : __("seller", {number: sellerTotalView}) }}, {{numTotalView > 1 ? __("items", {number: numTotalView}) : __("item", {number: numTotalView}) }}

장바구니로 이동하여 결제하기

Nickname

당신의 이름을 알려주세요

이름 업데이트

xxxxxxx@yamibuy.com

계정 주문 찜하기

포인트 0

쿠폰 0

기프트 카드 잔액 $0.00

로그아웃

배송 지역 전환

지역에 따라 재고 및 배송 속도가 다를 수 있습니다.

위치 기록

상품입고 후 바로 알려드리겠습니다.

상품입고 후 알림 발송 주소: {{remindEmail}}

취소

Jingdong book

Spark：原理、机制及应用

장바구니로 이동하여 결제하기

{{buttonTypePin == 3 ? __("Scan to view more PinGo") : __("Scan to start")}}

서적 컴퓨터 및 인터넷 프로그래밍 언어와 프로그래밍

Jingdong book

Spark：原理、机制及应用

Name: Spark：原理、机制及应用
Brand: Jingdong book
SKU: 3118001591
Price: 44.21 USD
Availability: OutOfStock

{{__(":people-members", {'people': item.limit_people_count})}} {{ itemCurrency }}{{ item.valid_price }} {{ itemCurrency }}{{ item.invalid_price }} {{ itemDiscount }}

후 종료

{{ itemCurrency }}{{ priceFormat(item.valid_price / item.bundle_specification) }}/{{ item.unit }}

{{ itemCurrency }}{{ item.valid_price }} {{ itemCurrency }}{{ priceFormat(item.valid_price / item.bundle_specification) }}/{{ item.unit }} {{ itemCurrency }}{{ item.invalid_price }} {{itemDiscount}}

후에 세일 종료

후 초특가세일 시작 후 초특가세일 종료

{{ __( "Pay with Gift Card to get sale price: :itemCurrency:price", { 'itemCurrency' : itemCurrency, 'price' : (item.giftcard_price ? priceFormat(item.giftcard_price) : '0.00') } ) }} ({{ itemCurrency }}{{ priceFormat(item.giftcard_price / item.bundle_specification) }}/{{ item.unit }}) 상세정보

상품 유효 기간

판매 중단

이 상품이 언제 재입고될지는 알 수 없습니다.

현재 주소로 배송 불가

품절

제품 설명

제품 세부 정보 전체보기

Editer Recommend

Spark是一个高效的分布式计算系统，相比Hadoop，它在性能上比Hadoop要高100倍。Spark提供比Hadoop更上层的API，同样的算法在Spark中实现往往只有Hadoop的1/10或者1/100的长度。
Spark较大的集群来自腾讯——8000个节点，而单个较大的Job分别是阿里巴巴和Databricks——1PB，震撼人心！同时，截止2015年6月，Spark的Contributor比2014年涨了3倍，达到730人；总代码行数也比2014年涨了2倍多，达到40万行。
本书是国内（包括Github社区）较新的基于Spark1.4版本的技术书籍，涵盖Spark技术的环境搭建、RDD实操应用、内部机制、调优和企业应用等内容，具体如下。
1）基于IntelliJIDEA的运行、开发和编译环境的详细搭建过程。
2）详细介绍Spark技术基础概念和应用实践。
3）基于Spark1.4官方文档对Spark四大应用框架进行解读。
4）基于源码深入剖析Spark的资源调度、任务调度和shuffle过程。
5）深入解读近两年Spark峰会和国内企业分享的典型应用案例。
本书的编写系统完整，力争以通俗易懂的语言全方位精细解读Spark技术，本书主要针对大数据技术初学者，包括但不限于大学生、研究生和工程师。此外，Spark应用开发人员、运维工程师和开源软件爱好者也可以将本书作为参考用书。
本书共分为概念、开发、机制和应用四篇，概念篇介绍Spark的背景概念和环境配置方法，开发篇介绍了Spark核心开发、四大应用框架和调优策略，机制篇则对Spark的RDD、调度和shuffle等机制进行解读，应用篇针对Spark在业界的典型应用进行阐述。

Content Description

本书是一本以Spark1.4为基础，详细介绍了Spark技术的概况、内部机制和企业界的应用情况。作者结合国内外众多资料和项目经验，力求深入浅出地讲解Spark技术的生态应用和发展状况，此外还选取了SparkSummit中的典型案例进行解析，为读者全面展现Spark技术在企业界的应用情况。本书适合Spark技术初学者、Spark技术爱好者、Spark运维工程师和开源软件爱好者，也可以作为相关培训学校和大专院校相关专业的教学用书。

Author Description

刘驰，博士，现任北京理工大学软件学院教授，软件服务工程系系主任。入选“北京理工大学杰出中青年支持与发展计划”。主持了国家自然科学基金、工信部电子商务集成试点工程等多项国家省部级重点项目。分别于清华大学和英国帝国理工学院获得学士和博士学位，后历任德国电信研究院（柏林）博士后研究员、美国IBMTJWatson研究中心研究员和IBM中国研究院研究主管。研究方向为：物联网、云计算和大数据技术。

Catalogue

前言
第一篇概念篇
第1章 Spark概述2
1.1 Spark初见2
1.1.1 Spark的发展史及近况2
1.1.2 Spark的特点5
1.1.3 Spark的作用6
1.1.4 Spark的体系结构6
1.1.5 Spark的发展趋势6
1.2 Spark框架7
1.2.1 批处理框架7
1.2.2 流处理框架8
1.3 Spark的生态系统8
1.4 Spark的数据存储11
1.5 本章小结11
第2章 Spark环境配置12
2.1 Spark运行环境配置12
2.1.1 先决条件12
2.1.2 下载与运行 Spark13
2.1.3 使用交互式 Shell14
2.1.4 搭建Spark Standalone集群16
2.2 Spark开发环境配置18
2.2.1 Spark独立应用程序18
2.2.2 构建IDE开发环境24
2.3 Spark编译环境配置29
2.3.1 使用Maven编译项目源码30
2.3.2 使用IDEA搭建源码编译与
阅读环境31
2.4 本章小结35
第二篇开发篇
第3章 Spark核心开发37
3.1 Spark编程模型概述37
3.2 SparkContext38
3.2.1 SparkContext的作用38
3.2.2 SparkContext的创建38
3.2.3 使用Shell41
3.2.4 应用实践41
3.3 RDD简介42
3.3.1 RDD创建42
3.3.2 RDD转换操作43
3.3.3 RDD动作操作44
3.3.4 RDD惰性计算44
3.3.5 RDD持久化44
3.3.6 RDD检查点45
3.4 共享变量45
3.4.1 广播变量45
3.4.2 累加器46
3.5 Spark核心开发实践46
3.5.1 单值型Trasnformation算子46
3.5.2 键值对型Transformation算子58
3.5.3 Action算子64
3.6 本章小结72
第4章 Spark四大应用技术框架73
4.1 Spark SQL73
4.1.1 Spark SQL入门73
4.1.2 数据源75
4.1.3 性能调优81
4.1.4 分布式SQL引擎82
4.1.5 Shark迁移至Spark SQL指南82
4.1.6 Hive的兼容性83
4.1.7 Spark SQL数据类型85
4.2 Spark Streaming86
4.2.1 Spark Streaming简介87
4.2.2 入门实例87
4.2.3 基本概念89
4.3 Spark GraphX97
4.3.1 Spark GraphX简介97
4.3.2 属性图98
4.3.3 图操作100
4.3.4 Pregel API108
4.3.5 图构造器110
4.3.6 顶点与边相关RDD111
4.3.7 最优化表示113
4.3.8 图算法114
4.3.9 Example116
4.4 Spark MLlib116
4.4.1 Spark MLlib简介116
4.4.2 数据类型117
4.4.3 基本统计分析121
4.4.4 分类与回归123
4.4.5 协同过滤136
4.4.6 聚类138
4.4.7 降维139
4.4.8 特征提取与转换141
4.4.9 频繁模式挖掘146
4.4.10 最优化算法147
4.4.11 导出PMML模式149
4.5 SparkR150
4.5.1 SparkR DataFrame150
4.5.2 DataFrame的相关操作152
4.5.3 从SparkR运行SQL查询153
第5章 Spark系统配置与调优154
5.1 Spark运行监控154
5.2 Spark配置参数158
5.2.1 应用属性159
5.2.2 运行环境属性159
5.2.3 Shuffle操作

Introduction

前言
随着互联网与移动终端行业的迅猛发展，企业和个体对数据相关服务需求不断提升，以ApacheHadoop为代表的分布式并行计算技术进一步发展，数据由量变而引发的质变正在全球范围内掀起深刻的技术与商业变革。在产业界，以数据驱动的发展策略也已逐渐被提升到前所未有的高度。在金融、电信、房地产和众多传统领域，沉积的数据价值开始被重视，这些公司逐渐在大数据领域加强资金和研发投入。在学术界，国内外越来越多的高校和研究机构在云计算和大数据领域投入大量的人力研究大数据及其相关技术。不仅如此，我国政府提出的“中国制造2025”战略规划和“互联网+”的概念也与大数据技术有着密不可分的联系，这更预示了大数据技术未来广阔的发展前景。
大数据的处理主要依靠分布式并行处理技术。本书主要介绍大数据分析平台的后起之秀ApacheSpark。相对于人们近年来熟知的ApacheHadoop，ApacheSpark具有基于内存计算、适合迭代计算并兼容多应用场景的特点，同时它还能兼容Hadoop生态系统中的组件，能吸收Hadoop的优点。经过短短6年的飞跃式发展，Spark已经成为业内颇具发展潜力的大数据分析平台之一。近两年召开的SparkSummit峰会，年均参会人数近2000人，业内对Spark的研究热情进一步提升，Spark的应用领域也在不断扩展，包括医疗、金融、O2O电商、政府、教育、电信、智慧城市和安全等，且在诸多领域都已经有Spark的成功应用案例。
编者基于国内外的研究和企业项目实践的经验，基于截稿时最新的Spark1.4版来介绍Spark技术的应用实践和最新动向，让读者更容易地迈上Spark学习之路。
本书是国内（包括Github社区）较新的基于Spark1.4版本的技术书籍，涵盖Spark技术的环境搭建、RDD实操应用、内部机制、调优和企业应用等内容，具体如下。
1）基于IntelliJIDEA的运行、开发和编译环境的详细搭建过程。
2）详细介绍Spark技术基础概念和应用实践。
3）基于Spark1.4官方文档对Spark四大应用框架进行解读。
4）基于最新源码深入剖析Spark的资源调度、任务调度和shuffle过程。
5）深入解读近两年Spark峰会和国内企业分享的典型应用案例。
本书的编写系统完整，力争以通俗易懂的语言全方位精细解读Spark技术，本书主要针对大数据技术初学者，包括但不限于大学生、研究生和工程师。此外，Spark应用开发人员、运维工程师和开源软件爱好者也可以将本书作为参考用书。
本书共分为概念、开发、机制和应用四篇，概念篇介绍Spark的背景概念和环境配置方法，开发篇介绍了Spark核心开发、四大应用框架和调优策略，机制篇则对Spark的RDD、调度和shuffle等机制进行解读，应用篇针对Spark在业界的典型应用进行阐述。
对于初学者，建议先学习Scala语言的基本语法，并从第1章起顺序阅读，搭建好开发环境，边学边进行代码实践。
对于已经有一定基础的读者可以跳过概念篇直接从第3章开始阅读，学习完第二篇开发篇，即Spark的应用操作后可以通过接着学习第三篇机制篇来加深理解。第四篇比较独立，在学习完概念篇之后就可以进行学习。
本书由刘驰主编，参与编写人员有符积高、徐闻春。在本书的编写过程中，始终本着科学、严谨的态度，力求精益求精，但错误、疏漏之处在所难免，敬请广大读者批评指正。

명세서

상표

Jingdong book

브랜드 영역

China

면책성명

제품 가격, 포장, 사양 등의 정보는 예고 없이 변경될 수 있습니다. 적시에 제품 정보를 업데이트 할 수 있도록 최선을 다하지만, 받은 실제 제품을 참고하시기 바랍니다. 제품을 사용하기 전에 반드시 제품에 동봉된 라벨, 경고 및 설명을 읽어 주십시오.

상세정보 보기

찜한 목록에 추가

{{ $isZh ? coupon.coupon_name_sub : coupon.coupon_ename_sub | formatCurrency }}

상세정보

수량

{{buttonTypePin == 3 ? __("Scan to view more PinGo") : __("Scan to start")}}

JD@CHINA 판매

배송지

69이상 주문 시 무료 배송

정품 보증

상세정보 보기

지역

장바구니에 추가됨

쇼핑 계속하기

당신을 위한 추천

쿠폰

받기 받았음 마감

곧 만료됩니다: {{ formatTime(coupon.use_end_time) }}

친구들과 공유하세요

취소

Yami 기프트카드 전용특가

기프트카드로 결제하면 전용특가를 받을 수 있습니다

규칙 설명

기프트카드 전용특가는 일부 상품에 대한 특혜가격입니다.

기프트카드 전용특가 상품 구매 시 E-기프트 카드 잔액으로 결제하고 기프트카드 잔액이 주문 내 상품의 총액을 지불하기에 충분하하 기프트카드 전용특가가 자동으로 활성화됩니다.

기프트 카드 잔액으로 결제하지 않거나 기프트카드 잔액이 전항의 요건을 충족하지 못할 경우 기프트카드 전용특가를 활성화할 수 없으며 상품은 정상 가격으로 구매할 수 있습니다.

기프트카드 전용특가 상품 구매 시 잔액이 부족할 경우 장바구니 또는 결제 페이지에서 "충전" 버튼을 클릭하여 기프트카드를 구매 및 충전할 수 있습니다.

기프트카드 전용특가가 있는 상품은 "전용특가"라는 특별한 가격표시가 표시됩니다.

질문이 있으시면 언제든지 고객 서비스에 문의하십시오.

Yami는 기프트카드 전용특가 관련 최종 해석권을 보유합니다.

Yami 판매

서비스 보장

$49 이상 무료 배송

걱정 없는 반품/교환

미국에서 발송

배송 정보

미국

표준 배송 $5.99(알래스카, 하와이 제외), 최종 가격 $49 이상 시 무료 배송

지역 배송 $5.99(캘리포니아, 뉴욕, 뉴저지, 매사추세츠, 펜실베이니아, 위 주의 일부 지역), 최종 가격 $49 이상 시 무료 배송

2일 이내 배송(알래스카 및 하와이 포함) $19.99부터 시작

반품 및 교환 정책

Yami는 고객님께 최상의 A/S를 제공하고, 모든 분들이 Yami에서 안심하고 쇼핑할 수 있도록 노력하고 있습니다. Yami의 자영 상품은 반품 및 교환 조건을 충족하는 경우, 상품 수령 후 30일 이내에 반품 및 교환할 수 있습니다(식품은 품질 문제로 인해 7일 이내에 반품 및 교환이 가능합니다. 모든 고객이 안전하고 고품질의 제품을 받을 수 있도록 뷰티 제품은 개봉 또는 사용 후에는 품질 문제를 제외하고 환불 또는 반품을 제공하지 않습니다. 기타 특별 카테고리의 제품은 고객 서비스에 문의하시기 바랍니다).
이해와 지원에 감사드립니다.

상세정보 보기

Yami 판매

Yami E-기프트카드 사용 약관

구매 시 자동 충전을 선택한 경우, 주문 완료 후 기프트카드가 자동으로 계정에 충전됩니다.

구매 시 이메일 발송을 선택한 경우, 주문 완료 후 시스템이 자동으로 카드 번호와 비밀번호를 입력한 이메일로 발송합니다.

이메일을 보낼 때, 모든 사용자는 이메일에 있는 카드 번호와 비밀번호를 사용하여 기프트카드를 충전할 수 있으니, 이메일 정보를 잘 보관하세요.

이메일을 받는 데 문제가 있으면, 고객 서비스에 연락하여 처리해 주세요.

이메일을 보낼 때, 기프트카드가 교환되지 않았다면 이메일을 재발송할 수 있습니다. 이미 다른 사용자에 의해 교환된 경우에는 보상할 수 없습니다.

Yamibuy의 E-기프트카드는 자영 또는 제3자 상품 구매에 사용할 수 있습니다.

Yamibuy의 E-기프트카드는 유효 기간 제한이 없으며, 장기간 유효합니다.

Yami 전자 상품권의 금액은 여러 번에 나눠서 사용할 수 있습니다；

Yami 전자 상품권 업무 규칙의 최종 해석 권한은 Yami 웹사이트에 있습니다.

반품 및 교환 정책

이미 사용된 E-기프트카드는 환불이 불가능합니다.

판매자: JD@CHINA

Yami 배송

서비스 보장

$49 이상 무료 배송

최고의 A/S

미국 본토에서 발송

배송 정보

미국

표준 배송 $5.99(알래스카, 하와이 제외), 최종 가격 $49 이상 시 무료 배송

지역 배송 $5.99(캘리포니아, 뉴욕, 뉴저지, 매사추세츠, 펜실베이니아, 위 주의 일부 지역), 최종 가격 $49 이상 시 무료 배송

2일 이내 배송(알래스카 및 하와이 포함) $19.99부터 시작

반품 및 교환 정책

제품을 받으신 후 30일 이내에 제품을 반품하실 수 있습니다. 반품된 품목은 구매에 대한 원본 송장을 포함하여 원래 포장된 새 품목이어야 합니다. 고객이 자신의 비용으로 제품을 반품합니다.

JD@CHINA 판매

Yami-China FC

서비스 보장

점포간 $:amount 이상 구매 시 무료 배송

30일 반품/교환 보장

Yami-중국 집하창고

Yami는 중국 내 주요 우수매장에서 제품을 선별하여 모아 Yami 중국통합센터로 배송하며 택배를 합친 후 전국 각지의 주소로 배송해 드립니다. 점포간 무료 배송 조건은 최저 $69입니다. 여러 판매자가 제공하는 다양한 상품 중에서 원하는 상품을 선택하고 점포간 무료배송으로 저렴한 배송비를 쉽게 누릴 수 있습니다.

반품 정책

30일 이내 반품 및 교환 보증을 제공합니다. 제품은 새로 사용하지 않은 원래 포장에 구매 증명서가 첨부되어 있어야 합니다. 상품 품질 문제, 잘못된 배송, 배송 누락 등 판매자의 실수로 인한 경우 환불 처리됩니다. 기타 사유로 인한 반품 및 교환은 배송비는 고객이 자체로 부담하셔야 합니다. 모든 제품은 장거리 배송을 하기 때문에 간혹 간단한 외부 포장이 눌려 마모되는 등이 있지만 내부 품질 문제가 없는 경우 반품 및 교환할 수 없습니다.

배송 정보

Yami 중국집하배송 Consolidated Shipping 배송비 $9.99 ($69 이상 주문시 무료배송)

중국 판매자는 주문 후 영업일 기준 2일 후에 상품을 발송합니다. 모든 택배는 Yami 중국통합센터(특별한 상황 및 중국 내 개별 법정 공휴일 제외)에 도착하여 택배를 합친 후 UPS를 통해 미국으로 배송됩니다. UPS는 중국에서 발송 후 미국까지 평균 10영업일 정도 소요되며 직배송 주문 번호에 따라 수시로 추적 및 조회할 수 있습니다 전염병의 영향으로 현재 물류가 5일 정도 지연될 수 있습니다. 택배는 고객 서명이 필요합니다. 서명하지 않은 경우 고객은 택배가 분실될 위험을 부담하게 됩니다.

JD@CHINA 판매

서비스 보장

69이상 주문 시 무료 배송

정품 보증

배송 정보

Yami Consolidated Shipping배송비$9.99($69 이상 주문 시 무료 배송)

Seller will ship the orders within 1-2 business days. The logistics time limit is expected to be 7-15 working days. In case of customs clearance, the delivery time will be extended by 3-7 days. The final receipt date is subject to the information of the postal company.

포인트 규칙

모든 품목은 Yamibuy 의 프로모션이나 포인트 이벤트에서 제외됩니다.

반품 및 교환 정책

Yami 앱 다운로드

의견 피드백

맨 위로 돌아가기

리뷰{{'('+ commentList.posts_count + ')'}}

당신의 체험을 공유하고 더 많은 사용자가 선택할 수 있도록 도와줍니다.

리뷰 작성

{{i}}별

{{i}} 별

{{ parseInt(commentRatingList[i]) }}%

{{ showTranslate(comment) }}접기

{{ strLimit(comment,800) }}전체 보기

Show Original

모두 보기

{{ formatTime(comment.in_dtm) }} 구매 완료 {{groupData}}

{{ comment.likes_count }} {{ comment.likes_count }} {{ comment.reply_count }} {{comment.in_user==uid ? __('Delete') : __('Report')}}

{{ showTranslate(comment) }}접기

{{ strLimit(comment,800) }}전체 보기

Show Original

모두 보기

{{ formatTime(comment.in_dtm) }} 구매 완료 {{groupData}}

{{ comment.likes_count }} {{ comment.likes_count }} {{ comment.reply_count }} {{comment.in_user==uid ? __('Delete') : __('Report')}}

조건에 맞는 리뷰가 없습니다

더 많은 리뷰 보기

리뷰 상세

{{ showTranslate(commentDetails) }}접기

{{ strLimit(commentDetails,800) }}전체 보기

Show Original

모두 보기

{{ formatTime(commentDetails.in_dtm) }} 구매 완료 {{groupData}}

내용을 입력하세요

답변{{'(' + replyList.length + ')'}}

{{ reply.reply_user_name }}답변{{ reply.parent_user_name }}

{{ showTranslate(reply) }}접기

{{ strLimit(reply,800) }}전체 보기

Show Original

내용을 입력하세요

취소

지금까지의 모든 리뷰입니다!

리뷰 작성하기

상품 평점

댓글을 입력하세요.

좋은 닉네임이 당신의 리뷰를 더 인기 있게 만들 것입니다!
여기에서 닉네임을 변경하면 개인정보의 닉네임도 같이 변경됩니다.

리뷰를 남겨주셔서 감사합니다

당신의 좋은 리뷰는 우리 커뮤니티가 아시아 최고의 상품을 찾는 데 도움이 됩니다.