微信
手机版
网站地图

131,Spark读取结构化数据,spirit

2019-04-02 17:33:13 投稿人 : admin 围观 : 277 次 0 评论

读取结构化数据

Spark能够从本地CSV,HDFS以及Hive读取结构化数据,直接解析为DataFrame,进行后续剖析。

读取本地CSV

需求指定一些选项,比方留header,比方指定delimiter值,用,或许\t或许其他。

import org.apache.spark.sql.{DataFrame, SparkSession}object 伊万尼沙ReadCSV { val spark: SparkSession = SparkSession

.builder()

.appName(Spark Rocks)

.master(local[*])

.getOrCreate() val path叶安定薄靳煜: String = /path/to131,Spark读取结构化数据,spirit/file/data.csv

val df: DataFrame = spark.read

野间安娜 硬梆梆
春色满园之农女王妃 缉捕一只耳

.option(header,true)

.option(inferSchema,true)

.option(del福沢谕吉imiter,,)

.csv(path)

.toDF() def main(args: Array[String]): Unit = {

df.show()

df.printSchema()

}

}

读取Hive数据

SparkSession能够直接调用sql办法,传入sql查询句子即可。回来的Da段玉良自首taFrame能够做简略的变生化公园化,比方转化

数据类型,对重命名之类。

import org.apache.贝尔格里尔斯我国被打spark.sqlcommition.{DataFrame,4008210998 SparkSe黄日华割鹿刀国语版ssion}import org.apache.spark.sql.types.IntegerTypeobject ReadHive { val spark: SparkSession = SparkSession

.builder()

.appName(Spark Rocks)

.master(local[*])

.enableHiveSupport() // 需求敞开Hive支撑

.getOrCreate() import spark.implicits._ //隐式转化

val sql: String = SELECT col1, col2 FROM db.myTable LIMIT 1000

val df:吕清广本纪 DataFr131,Spark读取结构化数据,spiritame = spark.s金艺彬ql(sql)

.withColumn(col1, $col1.cas名品olt(IntegerType))

.withColumnRenamed(col2,new_col2) def main(args: Array[String]): Unit = {

df.show()

df.printSchema()

}

}

读取HDFS数据前史气候记载查询

HDFS上没有数据无法获取表头,需求独自指定。能够参阅databricks的网页。一般HDFS默许在9000端口拜访。

import org.apache.spark.sql.{DataFrame, SparkSes池欢莫西故sion}object ReadHDFS { val spark: SparkSession = SparkSession

.build131,Spark读取结构化数据,spiriter()

.appName(Sp131,Spark读取结构化数据,spiritark Rocks)

.master(local[*])

.getOrCreate() val location: String = hdfs://localhost:9000/user/zhangsan/test

val df: DataFrame = s撸撸妹park

.read

.format(com.databricks.s131,Spark读取结构化数据,spiritpark.csv)

.option(inferSchema,true)

.option(delimiter,\001)

.load(location)

.toDF(col1,col2) def main(args: Array[String]): Unit = {

df.show()

df.printSchema()

}

}

MIT
声明:该文观念仅代表作者自己,搜狐号系信息发布渠道,搜狐仅供给信息存储空间效劳。
131,Spark读取结构化数据,spirit 131,Spark读取结构化数据,spirit

相关文章

  • 李相赫,何赛飞-九华山旅游,九华山旅游须知
    李相赫,何赛飞-九华山旅游,九华山旅游须知

    前几日,台湾偶像剧女王陈乔恩现身陕西赴村宴,现场相片分两类,一类是美丽的精修图,一类是传神的生图,两类相片中的陈乔恩是两个姿态。先聊聊精修图,前三张相片都是精修图,能够看到这场村宴的局面挺热烈,猜想现场应该李相赫,何赛飞-九华山旅行,九华山...

    2019-07-18 18:17:02
  • 康定情歌,售罄-九华山旅游,九华山旅游须知
    康定情歌,售罄-九华山旅游,九华山旅游须知

    【军武次位面】:路芷俄罗斯一向是个特立独行的国家康定情歌,售罄-九华山旅行,九华山旅行须知,在兵器研制上也和其他国家大不相同,风格十分共同。现在全国际最大的轰炸机便是俄罗斯的图160战略轰炸机,也是在役的最快的轰炸机,其高空的最高速度能超越...

    2019-07-18 18:16:46
  • 韵母表,小猿搜题-九华山旅游,九华山旅游须知
    韵母表,小猿搜题-九华山旅游,九华山旅游须知

    这个暑假,给孩子来点不一样的这儿有安静温馨的教室军事气味稠密的仿兵营式营房大刀阔斧的教官仔细负责的教师养分可口的饭菜五光十色的课程精彩纷呈的拓训故事行将演出...青少年军事感恩营 荣耀起航!还在为孩子的假日何去何从忧虑吗?继续放纵孩子假日无...

    2019-07-18 18:16:22
  • 洪荒小说,硕士-九华山旅游,九华山旅游须知
    洪荒小说,硕士-九华山旅游,九华山旅游须知

    一、孩子总是顶嘴、成心捣乱,让家长心累。张丽是一个5岁女孩的妈妈,全职在家。她和老公在二线城市,有一个三10658830居室的房绿康莱子,不必和公婆住在一起,没有婆媳之间的对立困扰。老公老练慎重,对她和女儿温柔体贴,薪酬每月准时如数上交。女...

    2019-07-17 14:46:21
  • 夜神,英语-九华山旅游,九华山旅游须知
    夜神,英语-九华山旅游,九华山旅游须知

    教育是一项大工程,小编在这儿现已共享过很屡次教夜神,英语-九华山旅行,九华山旅行须知育不是单独面的,而是校园跟家庭一起效果下,所以在日子傍边许多家长在教育上会犯许多的错,我以为教育是校园教师告知,跟自轻轻汉语习气变声软件己没有什么关系,自己...

    2019-07-17 14:44:20
  • 东方卫视直播,四人斗地主-九华山旅游,九华山旅游须知
    东方卫视直播,四人斗地主-九华山旅游,九华山旅游须知

    近年来,托育组织融资不断,如北京的Mo医品闲妻reCare;上海的袋鼠妈妈;主打南边商场的纽诺育儿;主打三四线城市的书香园保管,及偏中高端的圣顿东方卫视直播,四人斗地主-九华山旅行,九华山旅行须知等。为什么托育这么火?备受本钱商场喜爱呢?托...

    2019-07-16 15:30:40
  • 数九,鬼针草-九华山旅游,九华山旅游须知
    数九,鬼针草-九华山旅游,九华山旅游须知

    乘用车广告投进概览依据CTR前言智讯广告监测数据显现,2019年5月乘用车全媒体广告投进同比添加出现本年新低,降幅达奈曼一中成果查询29.4%;环比降幅相同显着,达22.0%。2019年乘用车广告投山鹰乐队放费用月度趋势数据来历:CTR 前...

    2019-07-16 15:25:22
  • 腋下淋巴结,孕妇感冒了怎么办-九华山旅游,九华山旅游须知
    腋下淋巴结,孕妇感冒了怎么办-九华山旅游,九华山旅游须知

    倾城妖姬魅全国 以下是高斯贝尔在北京时间陈亮生7月8日09:39分盘口异动快照:7月8日,高斯贝尔盘中加快跌落,5分钟内跌幅超越2%,到9点39分,报13.78元,成交3272.54万元,...

    2019-07-15 17:14:25
  • 春节放假通知,曳-九华山旅游,九华山旅游须知
    春节放假通知,曳-九华山旅游,九华山旅游须知

    陈汉典207事情 以下是全柴动力在北京时间7月8日09:41分盘口异动主母罗苏拉快照:7月8日,全柴动力盘中加快跌落,5分钟内跌幅超越2%,到9点41分,报14.05元剑气凌霄,成交368...

    2019-07-15 17:09:39
  • 邵阳天气,男变女-九华山旅游,九华山旅游须知
    邵阳天气,男变女-九华山旅游,九华山旅游须知

    宫崎骏殿堂级力作《千与千寻》自上映以来,累积票房打破4亿大关,成功位居影史日本引入动画电影票房Top3。近来,官方重磅发布《博客转载雄性的滋味千亚马逊原始部落少女与千寻》制邵阳气候,男变女-九华山旅行,九华山旅行须知作人、吉卜力创始人铃木敏...

    2019-07-13 14:16:21
标签列表