<div id="readability-page-1" class="page"><article id="post-gcp/2021/05/17/bigquery-qualify" role="article"><header><p> <time datetime="2021-05-17T00:00:00+00:00">17 May 2021</time> in <a href="/category/gcp/" data-flip="title">Google Cloud Platform</a> on <a href="/tag/gcp-bigquery/" data-flip="title">BigQuery</a></p></header><div><ul><li>2021년 5월에 추가된 BigQuery QUALIFY 함수에 대해 정리한 글입니다<ul><li>BigQuery QUALIFY, BigQuery window function condition, bigquery window function filter, bigquery qualify 사용법, bigquery analyitics function filter, bigquery analytics function condition</li></ul></li></ul><hr><h3 id="qualify">QUALIFY</h3><ul><li>QUALIFY 함수는 <strong>윈도우 함수(또는 분석 함수)에 조건을 설정할 때 활용할 수 있는 함수</strong><ul><li>윈도우 함수의 결과를 바로 필터링할 수 있음</li></ul></li></ul><div><pre><code>query_statement:
    query_expr

query_expr:
    [ WITH with_clause ]
    { select | ( query_expr ) | query_expr set_op query_expr }
    [ ORDER BY expression [{ ASC | DESC }] [, ...] ]
    [ LIMIT count [ OFFSET skip_rows ] ]

select:
    SELECT [ AS { STRUCT | VALUE } ] [{ ALL | DISTINCT }]
        { [ expression. ]* [ EXCEPT ( column_name [, ...] ) ]
            [ REPLACE ( expression [ AS ] column_name [, ...] ) ]
        | expression [ [ AS ] alias ] } [, ...]
    [ FROM from_clause[, ...] ]
    [ WHERE bool_expression ]
    [ GROUP BY { expression [, ...] | ROLLUP ( expression [, ...] ) } ]
    [ HAVING bool_expression ]
    [ QUALIFY bool_expression ]
    [ WINDOW window_clause ]

set_op:
    UNION { ALL | DISTINCT } | INTERSECT DISTINCT | EXCEPT DISTINCT
</code></pre></div><ul><li>BigQuery SQL 구문을 보면 HAVING 밑에 위치함을 알 수 있음</li></ul><hr><h3 id="qualify가-없던-시절에-사용했던-쿼리">QUALIFY가 없던 시절에 사용했던 쿼리</h3><ul><li>분석 함수의 결과를 조건으로 설정하고 싶은 경우, 아래 쿼리처럼 서브쿼리에 기존 쿼리를 감싸서 작성함</li><li>어렵진 않지만, 기본적으로 쿼리가 3~4줄이 길어지는 번거로움이 존재</li></ul><div><pre><code>SELECT *
FROM (
  SELECT
    item,
    RANK() OVER (PARTITION BY category ORDER BY purchases DESC) as rank
  FROM Produce
  WHERE Produce.category = 'vegetable'
) 
WHERE 
  rank &lt;= 3
</code></pre></div><hr><h3 id="qualify-사용법">QUALIFY 사용법</h3><ul><li>HAVING 아래(HAVING이 없다면 보통 WHERE)에 QUALIFY bool_expression<ul><li>1) SELECT 절에 분석 함수를 사용한 컬럼을 명시하는 방법</li><li>2) QUALIFY 절에 분석 함수를 사용하는 방법</li></ul></li><li>단, QUALIFY 절은 WHERE, GROUP BY, HAVING 중 하나를 같이 사용해야 함<ul><li>만약 조건이 떠오르지 않으면 <code>WHERE 1=1</code>를 추가하면 됨(약간 이상한 해결책이긴 합니다..)</li></ul></li><li><p>참고로 QUALIFY는 분석 함수가 실행된 후에, 실행되는 함수</p></li><li><p>1) SELECT 절에 분석 함수를 사용한 컬럼을 명시하는 방법</p><div><pre><code>  SELECT
    item,
    RANK() OVER (PARTITION BY category ORDER BY purchases DESC) as rank
  FROM Produce
  WHERE Produce.category = 'vegetable'
  QUALIFY rank &lt;= 3
</code></pre></div></li><li><p>2) QUALIFY 절에 분석 함수를 사용하는 방법</p><div><pre><code>  SELECT 
    item
  FROM Produce
  WHERE Produce.category = 'vegetable'
  QUALIFY RANK() OVER (PARTITION BY category ORDER BY purchases DESC) &lt;= 3
</code></pre></div></li></ul><hr><h3 id="reference">Reference</h3><ul><li><a href="https://cloud.google.com/bigquery/docs/reference/standard-sql/query-syntax#qualify_clause">BigQuery QUALIFY Document</a></li></ul><p><a href="https://bit.ly/kyleschool_blog">카일스쿨 유튜브</a> 채널을 만들었습니다. 데이터 사이언스, 성장, 리더십, BigQuery 등을 이야기할 예정이니, 관심 있으시면 구독 부탁드립니다 :)</p><div><p>이 글이 도움이 되셨다면 추천 클릭을 부탁드립니다 :) </p></div> </div></article></div>

어쩐지 오늘은

2021년 5월에 추가된 BigQuery QUALIFY 함수에 대해 정리한 글입니다
    
BigQuery QUALIFY, BigQuery window function condition, bigquery window function filter, bigquery qualify 사용법, bigquery analyitics function filter, bigquery analytics function condition
QUALIFY
QUALIFY 함수는 윈도우 함수(또는 분석 함수)에 조건을 설정할 때 활용할 수 있는 함수
    
윈도우 함수의 결과를 바로 필터링할 수 있음
query_statement:
    query_expr
query_expr:
    [ WITH with_clause ]
    { select | ( query_expr ) | query_expr set_op query_expr }
    [ ORDER BY expression [{ ASC | DESC }] [, ...] ]
    [ LIMIT count [ OFFSET skip_rows ] ]
select:
    SELECT [ AS { STRUCT | VALUE } ] [{ ALL | DISTINCT }]
        { [ expression. ]* [ EXCEPT ( column_name [, ...] ) ]
            [ REPLACE ( expression [ AS ] column_name [, ...] ) ]
        | expression [ [ AS ] alias ] } [, ...]
    [ FROM from_clause[, ...] ]
    [ WHERE bool_expression ]
    [ GROUP BY { expression [, ...] | ROLLUP ( expression [, ...] ) } ]
    [ HAVING bool_expression ]
    [ QUALIFY bool_expression ]
    [ WINDOW window_clause ]
set_op:
    UNION { ALL | DISTINCT } | INTERSECT DISTINCT | EXCEPT DISTINCT
BigQuery SQL 구문을 보면 HAVING 밑에 위치함을 알 수 있음
QUALIFY가 없던 시절에 사용했던 쿼리
분석 함수의 결과를 조건으로 설정하고 싶은 경우, 아래 쿼리처럼 서브쿼리에 기존 쿼리를 감싸서 작성함
어렵진 않지만, 기본적으로 쿼리가 3~4줄이 길어지는 번거로움이 존재
SELECT *
FROM (
  SELECT
    item,
    RANK() OVER (PARTITION BY category ORDER BY purchases DESC) as rank
  FROM Produce
  WHERE Produce.category = 'vegetable'
) 
WHERE 
  rank <= 3
QUALIFY 사용법
HAVING 아래(HAVING이 없다면 보통 WHERE)에 QUALIFY bool_expression
    
1) SELECT 절에 분석 함수를 사용한 컬럼을 명시하는 방법
2) QUALIFY 절에 분석 함수를 사용하는 방법
단, QUALIFY 절은 WHERE, GROUP BY, HAVING 중 하나를 같이 사용해야 함
    
만약 조건이 떠오르지 않으면 WHERE 1=1를 추가하면 됨(약간 이상한 해결책이긴 합니다..)
참고로 QUALIFY는 분석 함수가 실행된 후에, 실행되는 함수
1) SELECT 절에 분석 함수를 사용한 컬럼을 명시하는 방법
  SELECT
    item,
    RANK() OVER (PARTITION BY category ORDER BY purchases DESC) as rank
  FROM Produce
  WHERE Produce.category = 'vegetable'
  QUALIFY rank <= 3
    
2) QUALIFY 절에 분석 함수를 사용하는 방법
  SELECT 
    item
  FROM Produce
  WHERE Produce.category = 'vegetable'
  QUALIFY RANK() OVER (PARTITION BY category ORDER BY purchases DESC) <= 3
    
Reference
BigQuery QUALIFY Document

BigQuery QUALIFY 사용법 - Window Function/Analytics Function에 조건 설정하기

댓글