Spark—shell，Hbase—shell

Spark：

SPARK SQL

results = spark.sql( "SELECT * FROM people")

//读取JSON文件

val userScoreDF = spark.read.json("hdfs://master:9000/people.json")

Spark内置函数的使用

? ? ? ?除select()外，还可以使用filter()、groupBy()等方法对DataFrame数据进行过滤和分组，比如：

df.select(“name”).show()

df.select($“name”,$“age”+1).show()? ??//age列值增1

df.filter($“age”>20).show()

df.groupBy(“age”).count().show()

使用spark处理数据之后写入hive表：

使用saveAsTable()方法可以将一个DataFrame写入到指定的Hive表中。例如，加载students表的数据并转为DataFrame，然后将DataFrame写入Hive表hive_records中，代码：

//加载students表的数据为

DataFrame val studentsDF = spark.table("students")

//将DataFrame写入表hive_records中 studentsDF.write.mode(SaveMode.Overwrite).saveAsTable("hive_records")

//查询hive_records表数据并显示到控制

spark.sql("SELECT * FROM hive_records").show()

Hbase：

新建：

#新建表table_name，并且设置三个列组

create 'table_name','f1','f2','f3'??

增 ：?

#在表table_name的r1行f1:c1列中添加数据

put 'table_name' ,'f1:c1', 'hello world'

删：

先使表无效，然后删除表

endable/disenable? ?#使表有效或无效

#删除表

drop ‘table_name’

改：

#将第一行cf列组中的score数值改为99

put 'course','001','cf:score','99'

查：

#查看表结构

describe 'table_name'

列出所有建立的表的名字

list?

#列出表所有相关内容

scan 'table_name'

#查看第r1行，f1列组，c1的值

get 'table_name' ,'r1',‘f1:c1’

#查看第r1行，f1列组，c1的值

get 'table_name','r1','f1:c3'

?

?

?

?

?

?