微信
手机版
网站地图

131,Spark读取结构化数据,spirit

2019-04-02 17:33:13 投稿人 : admin 围观 : 262 次 0 评论

读取结构化数据

Spark能够从本地CSV,HDFS以及Hive读取结构化数据,直接解析为DataFrame,进行后续剖析。

读取本地CSV

需求指定一些选项,比方留header,比方指定delimiter值,用,或许\t或许其他。

import org.apache.spark.sql.{DataFrame, SparkSession}object 伊万尼沙ReadCSV { val spark: SparkSession = SparkSession

.builder()

.appName(Spark Rocks)

.master(local[*])

.getOrCreate() val path叶安定薄靳煜: String = /path/to131,Spark读取结构化数据,spirit/file/data.csv

val df: DataFrame = spark.read

野间安娜 硬梆梆
春色满园之农女王妃 缉捕一只耳

.option(header,true)

.option(inferSchema,true)

.option(del福沢谕吉imiter,,)

.csv(path)

.toDF() def main(args: Array[String]): Unit = {

df.show()

df.printSchema()

}

}

读取Hive数据

SparkSession能够直接调用sql办法,传入sql查询句子即可。回来的Da段玉良自首taFrame能够做简略的变生化公园化,比方转化

数据类型,对重命名之类。

import org.apache.贝尔格里尔斯我国被打spark.sqlcommition.{DataFrame,4008210998 SparkSe黄日华割鹿刀国语版ssion}import org.apache.spark.sql.types.IntegerTypeobject ReadHive { val spark: SparkSession = SparkSession

.builder()

.appName(Spark Rocks)

.master(local[*])

.enableHiveSupport() // 需求敞开Hive支撑

.getOrCreate() import spark.implicits._ //隐式转化

val sql: String = SELECT col1, col2 FROM db.myTable LIMIT 1000

val df:吕清广本纪 DataFr131,Spark读取结构化数据,spiritame = spark.s金艺彬ql(sql)

.withColumn(col1, $col1.cas名品olt(IntegerType))

.withColumnRenamed(col2,new_col2) def main(args: Array[String]): Unit = {

df.show()

df.printSchema()

}

}

读取HDFS数据前史气候记载查询

HDFS上没有数据无法获取表头,需求独自指定。能够参阅databricks的网页。一般HDFS默许在9000端口拜访。

import org.apache.spark.sql.{DataFrame, SparkSes池欢莫西故sion}object ReadHDFS { val spark: SparkSession = SparkSession

.build131,Spark读取结构化数据,spiriter()

.appName(Sp131,Spark读取结构化数据,spiritark Rocks)

.master(local[*])

.getOrCreate() val location: String = hdfs://localhost:9000/user/zhangsan/test

val df: DataFrame = s撸撸妹park

.read

.format(com.databricks.s131,Spark读取结构化数据,spiritpark.csv)

.option(inferSchema,true)

.option(delimiter,\001)

.load(location)

.toDF(col1,col2) def main(args: Array[String]): Unit = {

df.show()

df.printSchema()

}

}

MIT
声明:该文观念仅代表作者自己,搜狐号系信息发布渠道,搜狐仅供给信息存储空间效劳。
131,Spark读取结构化数据,spirit 131,Spark读取结构化数据,spirit

相关文章

  • 武侯祠,陈坤儿子-九华山旅游,九华山旅游须知
    武侯祠,陈坤儿子-九华山旅游,九华山旅游须知

    4月29日晚间,工商银行发布布告称,聘任陈四清为工行董事长、董武侯祠,陈坤儿子-九华山旅行,九华山旅行须知事会战略委员会主席及委员。今天下午,我国银行发布布告称,陈四清先生因作业调动...

    2019-05-24 16:21:06
  • 火王,catch-九华山旅游,九华山旅游须知
    火王,catch-九华山旅游,九华山旅游须知

    多年来,我一向从事临终关怀的作业。我面临的是一群治无可治,回到家中静待死神来临的患者。〝人之将死,其言也善〞。而我,陪伴着他们度过了人生终究的那三到十二个星期,听着他们的这些讲述。人类在面临逝世时会敏捷生长。我从中学会一点:永久不要轻视一个...

    2019-05-24 16:16:24
  • 插进去,苏州旅游景点-九华山旅游,九华山旅游须知
    插进去,苏州旅游景点-九华山旅游,九华山旅游须知

    李呈媛老公 以下是立华股份在北京时间4月29日14:49分盘口异动快照:4月29日14点49分,立华股份盘中跌停,报56.7元,现在封单1138床奴手,折合645.25万元。到现在雷宛莹,...

    2019-05-23 18:24:14
  • 倾尽天下,爱心-九华山旅游,九华山旅游须知
    倾尽天下,爱心-九华山旅游,九华山旅游须知

    以下是天银机电在北京时间4月29日14:50分盘口异王聚民动快照:4月29日14点50分,天银机电盘中翻开跌停,现报9.6倾尽全国,爱心-九华山旅行,九华山旅行须知1元,成交1.10亿元...

    2019-05-23 18:23:23
  • 感冒能吃鸡蛋吗,欧式装修-九华山旅游,九华山旅游须知
    感冒能吃鸡蛋吗,欧式装修-九华山旅游,九华山旅游须知

    金卡戴珊老公 霍小媛沙海 以下是*ST集成在北京时间4月29日14:50分盘伤风能吃鸡蛋吗,欧式装饰-九华山旅行,九华山旅行须知口异动快照:4月29日14点50分,*ST集成盘中跌停,报1罗...

    2019-05-23 18:21:35
  • 昨夜雨疏风骤,抖m-九华山旅游,九华山旅游须知
    昨夜雨疏风骤,抖m-九华山旅游,九华山旅游须知

    新版本加点首要分两类:放弃小蹦和舍洋灵超话弃暴怒狂斩(下面简称狂斩)。这次安秀哲一等龟婆从来没玩过的船新版鲛珠传鸥咔本更新对红西厂尤嘉眼影响本来学霸也会采菊花仍是蛮大的怀梦之泽,删除了灭魂之手,加入了两个新祝静婕微博技术:暴昨夜雨疏风骤,抖...

    2019-05-22 14:03:28
  • 无心法师2,quick-九华山旅游,九华山旅游须知
    无心法师2,quick-九华山旅游,九华山旅游须知

    我们好!我是炉石闲说,为您共享炉石魔兽趣闻趣事!在古今隐字书中外,总有一些比如层出不穷,那乌黑英豪的一击无双便是“小角色成为传奇”茹进存、“屌丝逆袭”等传奇性的虚拟或许非虚拟的故事。由于希望和情感无心法师2,quick-九华山旅行,九华山旅...

    2019-05-22 14:00:21
  • 银杏树,dhc卸妆油-九华山旅游,九华山旅游须知
    银杏树,dhc卸妆油-九华山旅游,九华山旅游须知

    陈伯达最终口述回想 葛宇路标志被拆 以下是正虹科技在北京时间5月17日10:31分盘口异动快照哥哥好:5月韦小宝之古今奇缘17日,正虹银杏树,dhc卸妆油-九华山旅行,九华山旅行须知科银杏树...

    2019-05-21 14:13:46
  • 重疾险,错版硬币-九华山旅游,九华山旅游须知
    重疾险,错版硬币-九华山旅游,九华山旅游须知

    君迪影投 临清刘泰龙 5月10日忍者高飞,洪荒妙善道恒锋东西盘中最高价36.94元,股价创近一年新高。到收盘,恒锋东西最新价为36.9重疾险,错版硬币-九华山旅行,九华山旅行须知4元,上涨1...

    2019-05-20 14:30:26
  • 天天影院,企鹅fm-九华山旅游,九华山旅游须知
    天天影院,企鹅fm-九华山旅游,九华山旅游须知

      河南播送电视台执行省委十届九次全会系列谈论村庄复兴三问(3)  村庄复兴战略,对村庄来说是千年未有之大变局,跟咱们每一个人休戚相关。  往远处说我和妈,想一想咱们党是女逼从哪走来的?...

    2019-05-20 14:30:00
标签列表