RDD的transformations和actions
两个RDD：一个RDD包含 {1, 2, 3} , 另一个RDD包含{3, 4, 5}
| 函数名 | 功能 | 例子 | 结果 |
|---|---|---|---|
| map() | 对每个元素应用函数 | rdd.map(x=>x+1) | {2，3，4，4} |
| intersection() | 交集 rdd.intersection(other) | {3} | |
| subtract() | 取存在第一个RDD，而不存在第二个RDD的元素(使用场景，机器学习中，移除训练集) | rdd.subtract(other) | {1,2} |
| cartesian() | 笛卡儿积 | rdd.cartesian(other) | { (1,3), (1,4), ..... (3,5) } |
| colletc() | 返回RDD的所有元素 | rdd.collect() | {1,2,3,3} |
| count() | 计数 | rdd.count() | 4 |
| countByValue() | 返回一个map，表示唯一元素出现的个数 | rdd.countByValue() | { (1,1) ,(2,1), (3,2) } |
| take(num) | 返回num个元素 | rdd.take(2) | {1,2} |
| top(num) | 返回前num个元素 | rdd.top(2) | {3 , 3} |
| takeOrdered(num)(ordering) | 返回基于的排序算法的前几个元素 | rdd.takeOrdered(2)(MyOrdering) | {3, 3} |
| takeSample(withReplacement,num,[seed]) | 取样例 | rdd.takeSample(false, 1) | 不确定 |
| reduce(func) | 合并RDD中的元素 | rdd.reduce((x, y ) => x+y ) | 9 |
| fold(zero)(func) | 与reduce()相似提供zero value | rdd.flod(0)((x, y ) => x+y ) | 9 |
| aggregate(zeroValue)(seqOp,combOp) | 与fold()相似，返回不同类型 | rdd.aggregate((0, 0) (x, y)) => (x._1 +y , x._2 + 1), (x, y)=>(x._1 +y ._1, x._2 + y._2), | (9 , 4) |
| foreach(func) | 对RDD的每个元素作用函数，上面也不返回 | rdd.foreach(func) | 什么也没有 |
近期评论