1.
import org.apache.spark.SparkContext._
表示引用SparkContext类里面的所有成员
import org.apache.spark._
表示应用org.apache.spark包下的所有类
import org.apache.spark.{SparkConf, SparkContext}
表示同一个包下的多个类,可以写到一起
import org.apache.spark.{SparkContext=>SC}
表示在使用SparkContext的地方,可以使用它的别名SC,比如SparkContext sc可以写成SC sc
2.private作用域
private[this] :只有同一个对象中可见,这就是Java的private的含义吧?
private[spark] class Hello表示什么含义
表示这个类只能在包名中含有spark的类中访问
如下所示的代码,private[spark],看上去像是指定private的作用域?
package org.apache.spark.rdd import scala.reflect.ClassTag import org.apache.spark.{Partition, TaskContext} private[spark] class MappedRDD[U: ClassTag, T: ClassTag](prev: RDD[T], f: T => U) extends RDD[U](prev) { override def getPartitions: Array[Partition] = firstParent[T].partitions override def compute(split: Partition, context: TaskContext) = firstParent[T].iterator(split, context).map(f) }
3. 在ExternalAppendOnlyMap中有如下代码,Iterator((key,value))的含义是把(key,value)这个元素构造成集合,然后返回对应的Iterator?
Iterator这个类,是一个类别名,在package.scala中有如下的定义,
val Iterator = scala.collection.Iterator
/** * Insert the given key and value into the map. */ def insert(key: K, value: V): Unit = { insertAll(Iterator((key, value))) }
相关推荐
Scala和Spark大数据分析函数式编程、数据流和机器学习
此代码包含spark-core代码,spark-sql代码以及spark-streaming代码
Scala and Spark for Big Data Analytics by Md. Rezaul Karim English | 25 July 2017 | ISBN: 1785280848 | ASIN: B072J4L8FQ | 898 Pages | AZW3 | 20.56 MB Harness the power of Scala to program Spark and ...
原始用的jetty做的http接口,最近有时间,研究了下spring boot + scala + spark做大数据计算
这个文件是用来在Idea中用于整合Scala实现Spark代码编写的pom配置文件. 内置 JDK规定, Spark-core, SparkSQL, mysql依赖的jar包,SparkStreaming, SparkStreaming + Kafka, 向kafka 生产数据需要包, 连接 Redis 需要...
本资源收集了scala与大数据spark的基础的学习笔记,有兴趣的同学可以下载学习
scala与spark文档合集,有好多本,包括快学Scala,scala与spark文档合集
scala的小例子一个简单的例子有一点小帮助
scala是一种基于JVM的面向对象的函数编程,scala编程相对于java而言代码整洁、开发效率更高。 其中scala优点主要有: 1:面向对象,可以定义class,通过new调用实例对象使用。 2:兼容java,在scala中可以直接调用...
Scala程序设计 例子 源代码 Scala程序设计 例子 源代码 Scala程序设计 例子 源代码
Spark itself is written with Scala and naturally, as a starting point, we will discuss a brief introduction to Scala, such as the basic aspects of its history, purposes, and how to install Scala on ...
scala和spark的安装和配置,以及启动spark,分发节点。
Scala and Spark for Big Data Analytics 英文epub 本资源转载自网络,如有侵权,请联系上传者或csdn删除 本资源转载自网络,如有侵权,请联系上传者或csdn删除
学习Spark技术相关文档,包括Scala由浅入深,及Spark详细介绍实践等文档,主要都是文字版,对大数据感兴趣的应该不会失望,包含Scala in Action; Learning Spark; Scala in Depth;Scala for the Impatient;Spark快速...
Scala and Spark for Big Data Analytics_Code 源码 本资源转载自网络,如有侵权,请联系上传者或csdn删除 本资源转载自网络,如有侵权,请联系上传者或csdn删除
scala&spark;-v6.0.docx中详细讲解了scala、spark的使用情况,以及例子
hadoop scala spark 例子项目,运行了单机wordcount
Scala编程实战+Python+Spark 2.0+Hadoop机器学习与大数据实战+Spark快速大数据分析
- 不懂运行,下载完可以私聊问...3、如果基础还行,也可在此代码基础上进行修改,以实现其他功能,也可用于毕设、课设、作业等。 下载后请首先打开README.md文件(如有),仅供学习参考, 切勿用于商业用途。 --------