pyspark 调 mysql jdbc读取了参数出来,待续

会有一股神秘感。 提交于 2020-02-26 13:56:26

#!/usr/bin/python
# -*- coding: utf-8 -*-

from __future__ import print_function
from pyspark.sql import SparkSession
from pyspark.sql import SQLContext

import os, time,sys


def main(argv):
    print(argv[1])
    print(argv[2])
    print(argv[3])
    spark = SparkSession.builder\
      .appName("test")\
      .master("local")\
      .getOrCreate()
      
    sc = spark.sparkContext
        
    sqlContext=SQLContext(sc)
    jdbcDf=sqlContext.read.format("jdbc").options(url="jdbc:mysql://ip:3306/test",\
    driver="com.mysql.jdbc.Driver",\
    dbtable="(SELECT * FROM test  LIMIT 5) tmp",\
    user="test",password="1111123").load()
    #print(jdbcDf.select('job_name').show(2))
    print(jdbcDf)
    print('hjzFinish')
    

if __name__ == "__main__":
    # 设置spark_home环境变量,路径不能有中文、空格
    #os.environ['SPARK_HOME'] = "E:/data_page/spark-2.0.2-bin-hadoop2.7"
    # 运行在本地(local),2个线程,一行写不完换行时用“\”
    main(sys.argv) 

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!