在线咨询

QQ咨询

微信咨询

匿名咨询

电话咨询

一键分享

返回顶部

010-84675811

报名咨询

0元入学

权威课程

名师亲授

就业保障

资料下载

使用mr,spark ,spark sql编写word count程序


1.使用mr,spark ,spark sql编写word count程序

【Spark 版本】
val conf=new SparkConf().setAppName("wd").setMaster("local[1]")
val sc=new SparkContext(conf,2)

//加载

val lines=sc.textFile("tructField("name",DataTypes.StringType,true)")
val paris=lines.flatMap(line=>line.split("^A"))
val words=paris.map((_,1))
val result=words.reduceByKey(_+_).sortBy(x=>x._1,false)

//打印

result.foreach(
wds=>{
println("单词:"+wds._1+" 个数:"+wds._2)
} )
sc.stop()
【spark sql版本】
val conf=new SparkConf().setAppName("sqlWd").setMaster("local[1]")
val sc=new SparkContext(conf)
val sqlContext=new SQLContext(sc)

//加载

val lines=sqlContext.textFile("E:\idea15\createRecommeder\data\words.txt")
val words=lines.flatMap(x=>x.split(" ")).map(y=>Row(y))
val structType=StructType(Array(StructField("name",DataTypes.StringType,true)))
val df=sqlContext.createDataFrame(rows,structType)
df.registerTempTable("t_word_count")
sqlContext.udf.register("num_word",(name:String)=>1)
sqlContext.sql("select name,num_word(name) from t_word_count").groupBy(df.col("name")).count().show()
sc.stop()

上一篇:GET和POST的区别,何时使用POST?

下一篇:写一个获取非行间样式的函数

相关阅读

link 和@import 的区别......

浏览器的内核分别是什么......

你怎么来实现页面设计图......

28年前,我出生在北京……

JavaScript的数据对象有......

列出display的值,说明......

为什么要初始化CSS样式......

ajax 是什么?ajax 的交互......

什么是闭包(closure)......