PySpark Vs. PySail 비교해보기

여전히 순수한 PySpark 에 좀 더 애정이 있지만

새로운 실험(?)을 하는 것 같아서

재미있게 비교를 해보려고

조금은 복잡한 쿼리를 통해 진행.

(

spark.read.parquet(S3_PATH)

.filter((F.col("yyyymmdd").isNotNull()) & (F.col("yyyymmdd") >= START_DATE) & (F.col("userId").isNotNull()))

.select(["yyyymmdd", "userId", "searchTerm", "serverTime_KST"])

.withColumn("searchTerm", F.trim("searchTerm"))

.filter((F.col("searchTerm") != "") & (F.col("searchTerm").isNotNull()))

.groupBy("yyyymmdd", "userId", "searchTerm")

.agg(F.count("*").alias("cnt"))

.groupBy("userId")

.agg(

F.sort_array(F.collect_list(F.struct("cnt", "searchTerm")), asc=False).alias(

"st_frequencies"

)

)

.write.mode("overwrite")

.parquet("./tmp_test")

)

똑같은 Instance 에서

똑같은 Query 를 이용해서

실험해보았다.

먼저 해당 데이터셋의 COUNT 를 살펴보는데,

먼저 순수한 PySpark 에서는

약 40초 정도 걸려서 결과를 알려주었는데...

PySail Engine 을 통해 만든 SparkSession 은

약 16초 정도 걸린 것으로 확인.

이제 실제 쿼리를 적용하고 단순 실행 속도를 비교해보면,

위는 순수 PySpark 환경에서 진행하고

위는 PySail 환경에서 진행.

결과만 보았을 때에는 왜 PySail 을 이용해야 하는지 잘 모르겠다.

하지만, 메모리 사용 관련 메트릭을 보았을 때에는 PySail 에서 좀 더 안정적이라는 생각.

좀 더 정확한 실험과 깊이있는 스터디가 필요.

Python: PySail#02 - #PySail #PySpark #Bench #GroupBy

댓글