`
bit1129
  • 浏览: 1048996 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

【Scala】分析Spark源代码总结的Scala语法三

 
阅读更多

1.

import org.apache.spark.SparkContext._

表示引用SparkContext类里面的所有成员

import org.apache.spark._

表示应用org.apache.spark包下的所有类

import org.apache.spark.{SparkConf, SparkContext}

表示同一个包下的多个类,可以写到一起

import org.apache.spark.{SparkContext=>SC}

表示在使用SparkContext的地方,可以使用它的别名SC,比如SparkContext sc可以写成SC sc

 

 

 

2.private作用域

private[this] :只有同一个对象中可见,这就是Java的private的含义吧?

 

 

private[spark] class Hello表示什么含义

表示这个类只能在包名中含有spark的类中访问

 

 

如下所示的代码,private[spark],看上去像是指定private的作用域?

 

package org.apache.spark.rdd

import scala.reflect.ClassTag

import org.apache.spark.{Partition, TaskContext}

private[spark]
class MappedRDD[U: ClassTag, T: ClassTag](prev: RDD[T], f: T => U)
  extends RDD[U](prev) {

  override def getPartitions: Array[Partition] = firstParent[T].partitions

  override def compute(split: Partition, context: TaskContext) =
    firstParent[T].iterator(split, context).map(f)
}

 

3. 在ExternalAppendOnlyMap中有如下代码,Iterator((key,value))的含义是把(key,value)这个元素构造成集合,然后返回对应的Iterator?

Iterator这个类,是一个类别名,在package.scala中有如下的定义,

  val Iterator = scala.collection.Iterator

 

 

  /**
   * Insert the given key and value into the map.
   */
  def insert(key: K, value: V): Unit = {
    insertAll(Iterator((key, value)))
  }

 

分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics