欢迎光临
我们一直在努力

spark如何实现parquetfile的写操作

小编给大家分享一下spark如何实现parquetfile的写操作,希望大家阅读完这篇文章之后都有所收获,下面让我们一起去探讨吧!

parquetfile的写

case class ParquetFormat(usr_id:BigInt , install_ids:String )
val appRdd=sc.textFile("hdfs://").map(_.split("\t")).map(r=>ParquetFormat(r(0).toLong,r(1)))
sqlContext.createDataFrame(appRdd).repartition(1).write.parquet("hdfs://")

看完了这篇文章,相信你对“spark如何实现parquetfile的写操作”有了一定的了解,如果想了解更多相关知识,欢迎关注云搜网行业资讯频道,感谢各位的阅读!

赞(0)
【声明】:本博客不参与任何交易,也非中介,仅记录个人感兴趣的主机测评结果和优惠活动,内容均不作直接、间接、法定、约定的保证。访问本博客请务必遵守有关互联网的相关法律、规定与规则。一旦您访问本博客,即表示您已经知晓并接受了此声明通告。