小编给大家分享一下spark如何实现parquetfile的写操作,希望大家阅读完这篇文章之后都有所收获,下面让我们一起去探讨吧!
parquetfile的写
case class ParquetFormat(usr_id:BigInt , install_ids:String ) val appRdd=sc.textFile("hdfs://").map(_.split("\t")).map(r=>ParquetFormat(r(0).toLong,r(1))) sqlContext.createDataFrame(appRdd).repartition(1).write.parquet("hdfs://")
看完了这篇文章,相信你对“spark如何实现parquetfile的写操作”有了一定的了解,如果想了解更多相关知识,欢迎关注云搜网行业资讯频道,感谢各位的阅读!