本文介紹了在 Apache Spark 2.0.0 中，是否可以從外部數(shù)據(jù)庫(kù)獲取查詢(而不是獲取整個(gè)表)?的處理方法，對(duì)大家解決問(wèn)題具有一定的參考價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)吧！
問(wèn)題描述
使用pyspark:
from pyspark.sql import SparkSession火花 = SparkSession\.builder\.appName("spark play")\.getOrCreate()df = spark.read\.format("jdbc")\.option("url", "jdbc:mysql://localhost:port")\.option("dbtable", "schema.tablename")\.option("用戶", "用戶名")\.option("密碼", "密碼")\.加載()我寧愿獲取查詢的結(jié)果集，而不是獲取schema.tablename".
解決方案
同 1.x 可以傳遞有效的子查詢作為 dbtable 參數(shù)例如:
Using pyspark:
from pyspark.sql import SparkSession
spark = SparkSession\
.builder\
.appName("spark play")\
.getOrCreate()
df = spark.read\
.format("jdbc")\
.option("url", "jdbc:mysql://localhost:port")\
.option("dbtable", "schema.tablename")\
.option("user", "username")\
.option("password", "password")\
.load()
Rather than fetch "schema.tablename", I would prefer to grab the result set of a query.
解決方案
Same as in 1.x you can pass valid subquery as dbtable argument for example:
...
.option("dbtable", "(SELECT foo, bar FROM schema.tablename) AS tmp")
...
這篇關(guān)于在 Apache Spark 2.0.0 中，是否可以從外部數(shù)據(jù)庫(kù)獲取查詢(而不是獲取整個(gè)表)?的文章就介紹到這了，希望我們推薦的答案對(duì)大家有所幫助，也希望大家多多支持html5模板網(wǎng)！
【網(wǎng)站聲明】本站部分內(nèi)容來(lái)源于互聯(lián)網(wǎng),旨在幫助大家更快的解決問(wèn)題，如果有圖片或者內(nèi)容侵犯了您的權(quán)益，請(qǐng)聯(lián)系我們刪除處理，感謝您的支持！