chinesefreesexvideos高潮,欧美极品少妇性运交,久久久国产一区二区三区,99久久婷婷国产综合精品,成人国产一区二区三区

小美找到了做數(shù)據(jù)產(chǎn)品經(jīng)理的師兄小帥看了看。

小帥：你這個查詢有問題，業(yè)務(wù)系統(tǒng)的sql不能直接搬來用。

小美：我看長得差不多啊，除了多了個分區(qū)外，不都是sql嗎？

小帥：你現(xiàn)在建的是Hive查詢，Hive SQL雖說和SQL非常相似，但是一些細節(jié)上還是有區(qū)別的。

一、Hive SQL是什么？

Hive是大數(shù)據(jù)領(lǐng)域常用的數(shù)據(jù)倉庫組件，可以借助查詢語言SQl將HDFS上存儲的結(jié)構(gòu)化文件映射成一張數(shù)據(jù)庫表，并提供類SQL查詢功能。Hive-SQL就是這個”類SQL查詢功能”。Hive-SQL與SQL基本上一樣，因為當(dāng)初的設(shè)計目的，就是讓會SQL不會編程MapReduce的也能完成處理數(shù)據(jù)工作。

【拓展】Hive-SQL是如何轉(zhuǎn)化為MapReduce任務(wù)的呢？整個編譯過程分為六個階段：

1) Antlr定義SQL的語法規(guī)則，完成SQL詞法，語法解析，將SQL轉(zhuǎn)化為抽象語法樹AST Tree
2) 遍歷AST Tree，抽象出查詢的基本組成單元QueryBlock
3) 遍歷QueryBlock，翻譯為執(zhí)行操作樹OperatorTree
4) 邏輯層優(yōu)化器進行OperatorTree變換，合并不必要的ReduceSinkOperator，減少shuffle數(shù)據(jù)量
5) 遍歷OperatorTree，翻譯為MapReduce任務(wù)
6）物理層優(yōu)化器進行MapReduce任務(wù)的變換，生成最終的執(zhí)行計劃

這里簡單介紹一下其中的幾個關(guān)鍵部分：

Antlr：Antlr是一種語言識別的工具，用來實現(xiàn)SQL的詞法和語法解析，完成包括詞法分析、語法分析、語義分析、中間代碼生成等過程。使用時只需要編寫對應(yīng)的語法文件，定義詞法和語法替換規(guī)則即可。

抽象語法樹AST Tree：經(jīng)過詞法和語法解析后，使用 Antlr 的抽象語法樹語法Abstract Syntax Tree，將輸入語句轉(zhuǎn)換成抽象語法樹，方便后續(xù)進一步的處理。

QueryBlock：AST Tree仍然非常復(fù)雜，不夠結(jié)構(gòu)化，不方便直接翻譯為MapReduce程序，AST Tree轉(zhuǎn)化為QueryBlock就是將SQL進一步抽象和結(jié)構(gòu)化。QueryBlock是一條SQL最基本的組成單元，包括三個部分：輸入源，計算過程，輸出。簡單來講一個QueryBlock就是一個子查詢。我們在查看HiveSQL查詢?nèi)罩緯r會看到一個個流程塊，這就是分拆出來的QueryBlock。

小美的查詢語句中用了HAVING子句，這個是Hive不支持的，可以用子查詢來代替。然后小帥為小美講了講HiveSQL的基本語法。

常用的顯示命令

show databases;   -- 查看有哪些庫
show tables;    -- 查看當(dāng)前庫下有哪些表
show partitions;    -- 查看分區(qū)
show functions;    -- 羅列所有的函數(shù)
describe extended table_name;    -- 查看表的結(jié)構(gòu)，字段，分區(qū)等情況

常用庫、表操作

create database name;  -- 創(chuàng)建數(shù)據(jù)庫

create [external]table [if not exists] table_name --創(chuàng)建表，指定表名。external 表示創(chuàng)建的表是否為外部表，不加此項則為內(nèi)部表。if not exists 表示該表不存在時創(chuàng)建該表，否則忽略異常。

[(col_name data_type [comment col_comment], ...)] -- 創(chuàng)建字段，指定字段類型、注釋

[comment table_comment]  -- 表的注釋

[partitioned by(col_name data_type [comment col_comment], col_name_2 data_type_2, ...)] -- 指定分區(qū)，要注意分區(qū)字段不能出現(xiàn)的建表的字段中

[clustered by(col_name, col_name_2, ...)] [sorted by (col_name [ASC|DESC], ...)] into num_buckets buckets] -- 分桶

[row format row_format]

[stored as file_format]  -- 指定存儲文件類型。textfile純文本數(shù)據(jù)，sequencefil壓縮數(shù)據(jù)（可節(jié)省存儲空間）。

[location hdfs_path]  -- 存儲路徑

create table table_name like old_table_name;   -- 使用like關(guān)鍵字復(fù)制表結(jié)構(gòu)

alter table table_name rename to new_table_name;  -- 更改表名

alter table table_name add columns (col_name data_type comment 'col_comment');   -- 增加一個字段并添加注釋

alter table table_name replace columns (col_name data_type, col_name_2 data_type_2);   -- 刪除列

alter table table_name add [if not exists] partition_name; -- 增加分區(qū)

alter table table_name drop partition_name, partition_name_2;   -- 刪除分區(qū)

常用數(shù)據(jù)操作

insert into table_1 select * from table_2;  -- 在table_1后追加數(shù)據(jù)

insert overwrite table_1 select * from table_2;  -- 先將table_1中數(shù)據(jù)清空，然后添加數(shù)據(jù)

常用查詢操作

HiveSQL的查詢語句結(jié)構(gòu)和SQL一致，除了前面提到的HAVING子句問題外，還需要注意的是HiveSQL中沒有not null，當(dāng)字段為null時，使用\n代替。 

三、Hive SQL常用函數(shù)

小美的查詢中有兩處函數(shù)調(diào)用錯誤：

1) 用了GROUP_CONCAT()函數(shù)，這個在HiveSQL中沒有，但是可以用CONCAT_WS()函數(shù)代替；

2) 是substring_index()函數(shù)，這個應(yīng)該替換成split()函數(shù)。

然后小帥為小美講了講Hive中的常用函數(shù)。

• 數(shù)學(xué)函數(shù)

bin(int d)      -- 計算二進制值d的string值
rand(int seed)       -- 返回隨機數(shù),seed是隨機因子
round(double d,int n)  -- 返回保留n位小數(shù)的近似d值
floor(double d)       -- 返回小于d的最大整值
ceil(double d)       -- 返回大于d的最小整值

日期函數(shù)

current_date()  -- 返回當(dāng)前日期

unix_timestamp()  -- 返回當(dāng)前時間的unix時間戳，也可指定某一特定日期。如unix_timestamp('2021-01-13','yyyy-mm-dd')=1610513364

from_unixtime()  -- 返回unix時間戳的日期。如selectfrom_unixtime(unix_timestamp('2021-01-13','yyyy-mm-dd'),'yyyymmdd')='20210113'

to_date(string timestamp)   -- 返回時間字符串中的日期部分，如to_date('2021-01-0100:00:00')='2021-01-01'

year(date)    -- 返回日期date的年，如year('2021-01-01')=2021

month(date)   -- 返回日期date的月，如month('2021-01-01')=1

day(date)   -- 返回日期date的天，如day('2021-01-01')=1

weekofyear(date)  -- 返回日期date位于該年第幾周，如weekofyear('2021-01-01')=1

datediff(date1, date2)  -- 返回日期date1與date2相差的天數(shù)，如datediff('2021-01-01','2021-01-02')=1

date_add(date，int1)   -- 返回日期date加上int1的日期，如date_add('2021-01-01'，2)='2021-01-03'

date_sub(date，int1)   -- 返回日期date減去int1的日期，如date_sub('2021-01-03'，2)='2021-01-01'

months_between(date1，date2)  -- 返回date1與date2相差月份，如months_between('2021-03-01'，'2021-01-01')=2

add_months(date，int1)  -- 返回date加上int1個月的日期，int1可為負數(shù)。如add_months('2021-02-01'，-1)='2021-01-01'

last_day(date)   -- 返回date所在月份最后一天。如last_day('2021-01-01')='2021-01-31'

next_day(date，day1)  -- 返回日期date后下個星期day1的日期。day1為星期X的英文前兩字母如next_day('2021-01-013'，'MO') 返回'2021-01-18'

trunc(date，string1)  -- 返回日期所在月的第一天或所在年的第一天。String1可為年(YYYY/YY/YEAR)或月(MONTH/MON/MM)。如trunc('2021-01-13'，'MM')='2021-01-01'，trunc('2021-02-01'，'YYYY')='2021-01-01'

字符串函數(shù)

length(string)  -- 返回字符串長度

concat(string1，string2)  -- 返回拼接string1及string2后的字符串

concat_ws(sep, string1,string2)  -- 返回按指定分隔符sep拼接后的字符串

lower(string)  -- 返回小寫字符串，同lcase(string)。

upper(string)  -- 返回大寫字符串，同ucase(string)。

ascii(string)   -- 返回字符串第一個字符的ascii值。

space(int1)   -- 返回int1長度的空格字符串。

trim(string)  -- 去掉字符串左右空格。

ltrim(string)   -- 去掉字符串左空格。

rtrim(string)   -- 去掉字符串右空格。

repeat(string，int1)  -- 返回重復(fù)string字符串int1次后的字符串。

reverse(string)  -- 返回string反轉(zhuǎn)后的字符串。如reverse('abc')='cba'

lpad(string，len1，pad1)  -- 以pad1字符左填充string字符串，至len1長度。如rpad('abc',5,'1')='11abc'。

rpad(string，len1，pad1)  -- 以pad1字符右填充string字符串，至len1長度。如rpad('abc',5,'1')='abc11'。

split(string，pat1)  -- 以pat1正則分隔字符串string，返回數(shù)組。如split('a,b,c',',') = ["a","b","c"]

substr(string，index1，int1)  -- 從index位置起截取int1個字符。如substr('abcde',1,2)='ab'

regexp_replace(string1,string2, string4)   --正則表達式替換函數(shù)。將字符串1中的符合正則表達式string2的部分替換為string3。如regexp_replace(‘a(chǎn)bcde, ‘b|c|d’, ”)=’ae’

聚合函數(shù)

count(col)  -- 統(tǒng)計行數(shù)
sum(col)  -- 統(tǒng)計指定列和
avg(col)  -- 統(tǒng)計指定列平均值
min(col)  -- 返回指定列最小值
max(col)  -- 返回指定列最大值

窗口函數(shù)

row_number() over(partitiion by .. order by .. )  -- 根據(jù)partition排序，相同值取不同序號，不存在序號跳躍

rank() over(partition by ..  order by ..)   -- 根據(jù)partition排序，相同值取相同序號，存在序號跳躍

dense_rank() over(partition by .. order by ..)   -- 根據(jù)partition排序，相同值取相同序號，不存在序號跳躍

lag(col，n) over(partition by .. order by ..)  --查看當(dāng)前行的上第n行

lead(col，n) over(partition by .. order by ..) -- 查看當(dāng)前行的下第n行

轉(zhuǎn)換函數(shù)

cast(col as dtype)  --將指定值轉(zhuǎn)換為指定數(shù)據(jù)類型dtype，如字符串到整型的轉(zhuǎn)換

判斷函數(shù)

NVL(expr1, expr2)  -- 如果第一個參數(shù)為空則顯示第二個參數(shù)，反之則顯示第一個參數(shù)。常用于非空判斷，如nvl(table1.name, '') <> ''

NVL2(expr1, expr2，expr3)  -- 如果第一個參數(shù)為空則顯示第二個參數(shù)，反之則顯示第三個參數(shù)

NULLIF(expr1, expr2)   -- 如果第一個參數(shù)和第二個參數(shù)相等則返回空(NULL)，否則返回第一個參數(shù)

Coalesce(expr1,expr2, expr3….exprn)  -- 返回參數(shù)序列中第一個非空參數(shù)

解析函數(shù)

regexp_extract(string1,string pattern, int1)   -- 正則表達式解析函數(shù)。將字符串string1按照正則表達式pattern的規(guī)則拆分，返回int1指定的字符。如regexp_extract(‘foothebar’, ‘foo(.*?)(bar)’, 1)=’the’，regexp_extract(‘foothebar’, ‘foo(.*?)(bar)’, 2)=’bar’

Size(map（,）)  -- 返回map集合的個數(shù)。如size(map(1,’a’,2,’b’))=2。

find_in_set(string1, string strList)  -- 返回string1在strlist中第一次出現(xiàn)的位置，strlist是用逗號分割的字符串（集合）。如果沒有找string1，則返回0.

parse_url(string url_string, stringpartToExtract [, string keyToExtract])  --url解析函數(shù)，partToExtract的有效值為：HOST,PATH, QUERY, REF, PROTOCOL, AUTHORITY, FILE, and USERINFO。如parse_url(‘ 

&k2=v2#Ref1′,‘QUERY’, ‘k1′)=’v1’

get_json_object(string json_string,string path)  -- json解析函數(shù)。解析json的字符串json_string，返回path指定的內(nèi)容。如果輸入的json字符串無效，那么返回NULL。

行列轉(zhuǎn)換

concat_ws(sep, collect_set(col1))   -- 多行轉(zhuǎn)一列，以sep分隔符分隔。collect_set在無重復(fù)的情況下也可以collect_list()代替。collect_set()去重，collect_list()不去重

lateral view explode(split(col1,  sep))  -- 一列轉(zhuǎn)多行。