1. # -*- coding = ut-8 -*-
    2. # @Time : 2021/4/25 10:42
    3. # @Author : PHC
    4. # @File test_mysql.py
    5. # @Software : PyCharm
    7. import sys
    8. import io
    9. import datetime
    10. import time
    11. import os
    12. import pandas as pd
    13. import json
    14. import requests
    15. import jsonpath
    16. import openpyxl
    19. import wx
    20. import wx.grid
    21. sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf-8')
    23. wildcard1 = "All files (*.*)|*.*|" \
    24.             "Python source (*.py; *.pyc)|*.py;*.pyc"
    25. wildcard2 = "Python source (*.py; *.pyc)|*.py;*.pyc|" \
    26.             "All files (*.*)|*.*"
    28. curr_time = datetime.datetime.now()
    29. time_str = curr_time.strftime("%Y%m%d")  # 2019-07-06
    32. #文件生成位置
    33. Findship_list_filename=r"D:\pyharm\TestTrue\嘟嘟找船ship_list"+time_str+".xlsx"
    34. Bossship_list_filename=r"D:\pyharm\TestTrue\船老板ship_list"+time_str+".xlsx"
    36. time1=time.localtime()
    37. print("这个时间是",time1)
    38. exception_url = []  # 异常url存储列表
    41. # class MyForm(wx.Frame):
    42. # 
    43. #     # -------------------------------------------------------------------
    44. #     # set the window layout
    45. #     def __init__(self):
    46. #         wx.Frame.__init__(self, None, wx.ID_ANY, \
    47. #                           "Multi-file type wx.FileDialog Tutorial", \
    48. #                           pos=(0, 0), size=(1200, 735))
    49. #         # def the global variance
    50. #         global TxtCfn, grid,TxtC_mmsi,TxtC_output,TxtC_location
    51. #         # layout the Frame
    52. #         panel = wx.Panel(self, wx.ID_ANY)
    53. #         TxtCfn = wx.TextCtrl(panel, pos=(15, 5), size=(200, 25))
    54. #         btnO = wx.Button(panel, label="选择货源文件", pos=(215, 5), size=(100, 25))
    55. #         btnS = wx.Button(panel, label="上传到数据库", pos=(315,5), size=(100, 25))
    56. #         btn_loadout = wx.Button(panel, label="导出ship位置信息", pos=(115, 35), size=(120, 25))
    57. #         btn_updateship = wx.Button(panel, label="更新船位置信息", pos=(15, 35), size=(100, 25))
    58. #         wx.StaticText(panel,  -1, "MMSI:",(15, 65))
    59. #         TxtC_mmsi = wx.TextCtrl(panel, pos=(60, 65), size=(100, 25))
    60. #         btn_shipinfo = wx.Button(panel, label="船基础信息", pos=(160, 65), size=(100, 25))
    61. #         btn_exportplace = wx.Button(panel, label="导出停靠位置", pos=(260, 65), size=(100, 25))
    62. #         btn_shuilulianyun_track= wx.Button(panel, label="历史停靠", pos=(360, 65), size=(100, 25))
    63. #         btn_delpyshipinfo = wx.Button(panel, label="爬虫去重", pos=(460, 65), size=(100, 25))
    64. # 
    65. #         wx.StaticText(panel, -1, "输入位置：", (15, 95))
    66. #         btn_getnearship = wx.Button(panel, label="获取周边船只", pos=(290, 90), size=(100, 25))
    67. #         btn_test= wx.Button(panel, label="嘟嘟找船", pos=(390, 90), size=(100, 25))
    68. #         # btn_chuanlaoda = wx.Button(panel, label="船老大", pos=(690, 90), size=(100, 25))
    69. #         # btn_shuilulianyun = wx.Button(panel, label="水陆联运", pos=(790, 90), size=(100, 25))
    70. #         btn_xinchuanbang = wx.Button(panel, label="新船帮", pos=(490, 90), size=(100, 25))
    71. #         btn_chuanlaoban = wx.Button(panel, label="船老板", pos=(590, 90), size=(100, 25))
    72. #         # btn_chuanhuotong= wx.Button(panel, label="船货通", pos=(890, 90), size=(100, 25))
    73. # 
    74. # 
    75. #         TxtC_location = wx.TextCtrl(panel, pos=(80, 90), size=(200, 25), style=wx.TE_MULTILINE | wx.TE_RICH2)
    76. #         TxtC_output = wx.TextCtrl(panel, pos=(15, 120), size=(600, 200), style=wx.TE_MULTILINE | wx.TE_RICH2)
    77. #         grid = wx.grid.Grid(panel, pos=(15, 320), size=(1200, 600),
    78. #                             style=wx.TE_MULTILINE | wx.HSCROLL)
    79. #         grid.CreateGrid(100, 10)
    80. #         grid.SetRowSize(0, 60)
    81. #         columns = ['id', 'mmsi', 'shipname', 'tone', 'contract', 'phone', 'person_type', 'lo', 'la', 'address', 'time'];
    82. #         for index, col_name in enumerate(columns):
    83. #             grid.SetColLabelValue(index, col_name);
    84. #         # Contents = wx.TextCtrl(panel, pos=(15, 35), size=(360, 260),
    85. #         #                        style=wx.TE_MULTILINE | wx.HSCROLL)
    86. #         # bind the button event
    87. #         btnO.Bind(wx.EVT_BUTTON, self.onOpenFile)
    88. #         btnS.Bind(wx.EVT_BUTTON, self.onSaveFile)
    89. #         btn_loadout.Bind(wx.EVT_BUTTON, self.loadoutUserInfo)
    90. #         btn_updateship.Bind(wx.EVT_BUTTON, self.updateshipinfo)
    91. #         btn_shipinfo.Bind(wx.EVT_BUTTON, self.gethifleetshipinfo)
    92. #         btn_exportplace.Bind(wx.EVT_BUTTON, self.exportvorge)
    93. #         btn_delpyshipinfo.Bind(wx.EVT_BUTTON, self.delpythonshipinfo)
    94. #         btn_getnearship.Bind(wx.EVT_BUTTON, self.getnearship)
    95. #         btn_test.Bind(wx.EVT_BUTTON, self.duduzhaochuan)
    96. #         # btn_chuanlaoda.Bind(wx.EVT_BUTTON, self.chuanlaoda)
    97. #         # btn_shuilulianyun.Bind(wx.EVT_BUTTON, self.shuilulianyun)
    98. #         btn_shuilulianyun_track.Bind(wx.EVT_BUTTON, self.getshuilulianyunTrack)
    99. #         btn_xinchuanbang.Bind(wx.EVT_BUTTON, self.xinchuanbang)
    100. #         btn_chuanlaoban.Bind(wx.EVT_BUTTON, self.chuanlaoban)
    101. #         # btn_chuanhuotong.Bind(wx.EVT_BUTTON, self.chuanhuotong_fillinfo)
    104. class MyForm(wx.Frame):
    105.     #图形化界面，组件控制器
    106.     def __init__(self):
    107.         #各参数意思
    108.         wx.Frame.__init__(self,None,wx.ID_ANY,\
    109.                           "Multi-file type wx.FileDialog Tutor",\
    110.                           pos=(0,0) ,size=(1200,735))
    111.         #定义全局方差
    112.         global  TxtCfn,grid,TxtC_mmsi,TxtC_output,TxtC_location
    113.         #布局框架
    114.         panel=wx.Panel(self,wx.ID_ANY)
    115.         # TxtCfn=wx.Button(panel,pos=(15,5),size=(200,25))
    116.         # btn0=wx.Button(panel,label="上传货源文件",pos=(215,5),size=(100,25))
    117.         # btnS=wx.Button(panel,label="上传到数据库",pos=(315,5),size=(100,25))
    118.         # btn_loadout=wx.Button(panel,label="导出ship位置信息",pos=(115,35),size=(100,25))
    119.         # btn_updateship=wx.Button(panel,label="更新船位置信息",pos=(15,35),size=(199,25))
    120.         # wx.StaticText(panel,-1,"MMSI:",(15,65))
    121.         # TxtC_mmsi=wx.TextCtrl(panel,pos=(60,65),size=(100,25))
    122.         # btn_shipinfo=wx.Button(panel,label="船基础信息",pos=(160,65),size=(100,25))
    123.         # btn_exportplace=wx.Button(panel,label="导出停靠位置",pos=(260,65),size=(100,25))
    125.         btn_test = wx.Button(panel, label="嘟嘟找船", pos=(390, 90), size=(100, 25))
    126.         btn_chuanlaoban=wx.Button(panel,label="船老板",pos=(590,90),size=(100,25))
    128.         #wx.TextCtrl 会创建一个文本编辑框
    129.         # TxtC_location=wx.TextCtrl(panel,pos=(80,90),size=(200,25),style=wx.TE_MULTILINE | wx.TE_RICH2)
    130.         TxtC_output = wx.TextCtrl(panel, pos=(15, 120), size=(600, 200), style=wx.TE_MULTILINE | wx.TE_RICH2)
    131.         grid=wx.grid.Grid(panel,pos=(15,320),size=(1200,600),
    132.                           style=wx.TE_MULTILINE | wx.HSCROLL)
    133.         grid.CreateGrid(100,10)
    134.         grid.SetRowSize(0,60)
    135.         columns=['id','mmsi','shipname','tone','contract','phone','person_type','lo','la','address','time'];
    136.         for index,col_name in enumerate(columns):
    137.             grid.SetColLabelValue(index,col_name);
    140.         #绑定按钮事件
    141.        # btn0.Bind(wx.EVT_BUTTON,self.onOpenFile)        #选择货源
    142.         #btnS.Bind(wx.EVT_BUTTON,self.onSaveFile)        #上传到数据库
    143.       #  btn_loadout.Bind(wx.EVT_BUTTON,self.loadoutUserInfo)        #导出ship的位置
    144.         btn_test.Bind(wx.EVT_BUTTON,self.duduzhaochuan)             #嘟嘟找船
    145.         btn_chuanlaoban.Bind(wx.EVT_BUTTON,self.chuanlaoban)        #船老板
    151. # 辅助接口
    152.     def is_valid_date(self,strdate):
    153.         #判断是否是一个有效的日期字符串
    154.         try:
    155.             if ":" in strdate:
    156.                 time.strptime(strdate,"%Y-%m-%d %H:%M:%S")      #根据指定的格式把一个时间字符串解析为时间元组
    157.             else:
    158.                 tiem.strptime(strdate,"%Y-%m-%d")
    159.             return True
    160.         except:
    161.             return False
    164. #嘟嘟找船
    165.     def duduzhaochuan(self,event):
    166.         if True==os.path.exists(Findship_list_filename):
    167.             #将Excel文件读取到pandas DataFrame中，支持本地文件系统或URL的’xls’和’xlsx’文件扩展名，
    168.             data_df=pd.read_excel(Findship_list_filename)
    169.         else:
    170.             data_df=pd.DataFrame(
    171.                 columns=['联系人','电话','船名','吨位','始发地','到达地','起运日','截运日','备注','来源']);
    173.         data=json.dumps({   #编码：把一个Python对象编码转换成Json字符串   json.dumps()
    174.             "method": "get_recommended_shipping_with_cargo",
    175.             "params": {"cargo_id": "", "max": "100", "page": "1", "start_max": "50", "n_port": "",
    176.                        "weight": "",
    177.                        "has_cover": "", "has_crane": "", "has_monitor": "", "order": "",
    178.                        "access_token": "npguIXimR6mB5VUrtx2iHA==i/xybASc2VaCsDEKxrcVbA==8ea734660924fddcf8b6350b40b32f82",
    179.                        "query_word": ""}, "id": "1586154325480"})
    181.         header = {
    182.             'Accept': 'application/json',
    183.             'Content-Type': 'application/json',
    184.             'User-Agent': 'Dalvik/2.1.0(Linux;U;Android 9; ALP-AL00 Build / HUAWEIALP - AL00)'
    185.         }
    186.         response = requests.post("https://api.haoyunhl.com/index.php/Cargo", data=data, headers=header)
    187.         #打印客户端接收到的HTTP响应的文本内容
    188.         print(response.text)
    189.         print("========================================================================================================================")
    190.         data_list=[]
    191.         if response.status_code==200:
    192.             #   ==== 解码：把Json格式字符串解码转换成Python对象   json.loads()
    193.             jsonstr=json.loads(response.text)
    194.             print(jsonstr)
    195.             contract=jsonpath.jsonpath(jsonstr,'$..username')
    196.             phone_list=jsonpath.jsonpath(jsonstr,'$..mobile')
    197.             shipname=jsonpath.jsonpath(jsonstr,'$..name')
    198.             cdate = jsonpath.jsonpath(jsonstr, '$..u_time')
    199.             # lng = jsonpath.jsonpath(jsonstr, '$..lng')
    200.             # lat = jsonpath.jsonpath(jsonstr, '$..lat')
    201.             start = jsonpath.jsonpath(jsonstr, '$..n_port')
    202.             remark = jsonpath.jsonpath(jsonstr, '$..remark')
    203.             # arrive = jsonpath.jsonpath(jsonstr, '$..destination_address')
    204.             tone = jsonpath.jsonpath(jsonstr, '$..deadweight')
    205.             for index,phone in enumerate(phone_list):
    206.                 now=time.time()                     #返回当前时间的时间戳（1970纪元后经过的浮点秒数）。
    207.                 if((now-int(cdate[index]))<=86400) or (phone==None):
    208.                     if(self.is_valid_date(cdate[index])==False):
    209.                         dateArray=datetime.datetime.fromtimestamp(int(cdate[index]))
    210.                         otherStyleTime=dateArray.strftime("%Y/%m/%d")
    211.                         cdate[index]=otherStyleTime;
    212.                         timeArray1=time.localtime(now+259200);
    213.                         otherStyleTime1=time.strftime("%Y/%m/%d",timeArray1)
    215.                     data_df=data_df.append(
    216.                         pd.DataFrame(
    217.                             {'联系人': [contract[index]], '电话': [phone], '船名': [shipname[2 * index]], '吨位': [tone[index]],
    218.                              '始发地': [start[index]], '备注': [remark[index]], '到达地': [" "],
    219.                              '起运日': [cdate[index]], '截运日': [otherStyleTime1], '来源': ["嘟嘟找船"]},
    220.                             index=[data_df.shape[0]]), ignore_index=True);
    222.             writer=pd.ExcelWriter(Findship_list_filename)
    223.             data_df.to_excel(writer,engine='xlswriter',float_format='%.5f',index=False)
    224.             writer.save()
    226.         #查看响应内容，response.content返回的字节流数据
    227.         print("****************************************************************************************************")
    228.         print(response.content)
    229.         #查看完整的url地址
    230.         print(response.url)
    231.         #查看响应头部字符编码
    232.         print(response.encoding)
    235. #-----船老板-----船老板-----船老板-----船老板-----船老板-----船老板-----船老板-----船老板-----船老板-----船老板-----船老板
    236.     def chuanlaoban(self,event):
    237.         if True==os.path.exists(Bossship_list_filename):
    238.             data_df=pd.read_excel(Bossship_list_filename)
    239.         else:
    240.             # pd.DataFrame是Pandas库中的一种数据结构，类似Excel，是一种二维表
    241.             #DataFrame可以设置列名，columns，与行名index。  columns是DataFrame中的属性。设置列。
    242.             data_df=pd.DataFrame( columns=['联系人', '电话', '船名', '吨位', '始发地', '到达地', '起运日', '截运日', '备注', '来源']);
    244. #-------------------json.dumps---编码，把一个Python对象编码转换成Json字符串
    245.         data = json.dumps({"method": "get_recommended_shipping_with_cargo",
    246.                            "params": {"cargo_id": "", "max": "100", "page": "1", "start_max": "50", "n_port": "",
    247.                                       "weight": "",
    248.                                       "has_cover": "", "has_crane": "", "has_monitor": "", "order": "",
    249.                                       "access_token": "npguIXimR6mB5VUrtx2iHA==i/xybASc2VaCsDEKxrcVbA==8ea734660924fddcf8b6350b40b32f82",
    250.                                       "query_word": ""}, "id": "1586154325480"})
    251.         print(type(data),"====data")                   #str
    252.         header = {
    253.             # 'Accept': 'application/json',
    254.             'Content-Type': 'application/json',
    255.             'User-Agent': 'Dalvik/2.1.0(Linux;U;Android 9; ALP-AL00 Build / HUAWEIALP - AL00)'
    256.         }
    257.         requests.packages.urllib3.disable_warnings()
    258.         response = requests.get("https://api.chuan666.com/ship/lists?page=1&pagesize=100&keywords=&tj=0&fromtype=2&token=32_pRHum7q6xdqc1sWU-90NuvB5Pw4cTR-v3MODi5fQQFMzv6SZSx38AJquhu4w48GfVKj_r7w0p9WoaTiu5j-oJqRuI4hb5cW1AQlldY8kE8YtSWgGq6E7iM04GNIpKq1Ck0BTANl_3WLhegI6AOBjAHANBO ", headers=header,verify=False)
    260.         # print(response.text)
    261.         data_list = []  # 定义一个空元组。
    262.         if response.status_code==200:
    263.              #   ==== 解码：把Json格式字符串解码转换成Python对象   json.loads()
    264.             jsonstr=json.loads(response.text)
    265.             print(type(jsonstr),"====jsonstr")                #dict
    266.             # print("======================================================================")
    267.             # print(jsonstr)
    269.             #  JSONPath-用于JSON的XPath，用来解析多层嵌套的json数据，jsonPath是一种信息抽取类库，是从文档中抽取指定信息的工具。
    270.             shipname_list = jsonpath.jsonpath(jsonstr, '$..title')  #  查找jsonstr中所有的title ------> 船名
    271.             phone = jsonpath.jsonpath(jsonstr, '$..phone')  # 电话
    272.             cdate = jsonpath.jsonpath(jsonstr, '$..cdate')          #起运日，开始日期
    273.             lng = jsonpath.jsonpath(jsonstr, '$..lng')              #
    274.             lat = jsonpath.jsonpath(jsonstr, '$..lat')              # lng，lat 在后续中并未引用。
    275.             renmark = jsonpath.jsonpath(jsonstr, '$..intro')  # 备注
    277.             start = jsonpath.jsonpath(jsonstr, '$..empty_address')  # 始发地
    278.             arrive = jsonpath.jsonpath(jsonstr, '$..destination_address')  # 到达地
    279.             tone = jsonpath.jsonpath(jsonstr, '$..dw')  # 吨位
    283.             # 1、将cdate格式的字符串解析为时间元组，-------2、使用time.strftime()接收时间元组，并返回可读字符串表示的当地时间，
    284.         #enumerate()用于将一个可遍历的数据对象（如列表，元组，或者字符串） 组合为一个索引序列，同时列出数据和数据下标，一般用在for循环中
    285.             for index,shipname in enumerate(shipname_list):
    286.                 #%Y-%m-%d  年-月-日
    287.                 timeArray =time.strptime(cdate[2*index],"%Y-%m-%d")             #  cdate[2*index] 表示查找的是第二个cdate    函数根据指定的格式把一个时间字符串解析为时间元组。
    288.                 # 输出结果：  time.struct_time(tm_year=2021, tm_mon=5, tm_mday=6, tm_hour=0, tm_min=0, tm_sec=0, tm_wday=3, tm_yday=126, tm_isdst=-1)
    289.                 #      126 表示2021-5-6日。在2021年中已过126 天。
    290.                 # print("timeArray====",timeArray)
    292.                 # time.strftime() 用以接收时间元组，返回值：可读字符串表示的当地时间。  格式由format决定（即：%Y/%m/%d）
    293.                 otherStyleTime = time.strftime("%Y/%m/%d", timeArray)  # 起运日
    294.                 # print("otherStyleTime====", otherStyleTime)  # 输出结果 2021/05/06
    296.                 timeStamp=int(time.mktime(timeArray));      #  返回结果是浮点值。 将时间转换为浮点秒数来表示。并转换为整型。
    297.                 # print("timeStamp====",timeStamp)            #输出结果：1620230400
    299.                 # timeStamp = int(time.mktime(timeArray))  # 返回用秒数来表示时间的浮点数----->  将本地时间列表转化为浮点数的秒来表示
    300.                 # print("timeStamp====", timeStamp)  # 输出结果 1620230400
    302.                 #time.localtime() 作用是格式化时间戳为本地的时间。  输出结果是元组的形式。
    303.                 timeArray1=time.localtime(timeStamp+259200);    #加上3天的时间   259200====3天*（一天86400秒）。
    304.                 # #输出结果： time.struct_time(tm_year=2021, tm_mon=5, tm_mday=9, tm_hour=0, tm_min=0, tm_sec=0, tm_wday=6, tm_yday=129, tm_isdst=0)
    305.                 # print("timeArray1====",timeArray1)
    307.                 # time.strftime()用以接收时间元组。   返回值：可读字符串表示的当地时间。  格式由format决定（即：%Y/%m/%d）
    308.                 otherStyleTime1=time.strftime("%Y/%m/%d",timeArray1)               # 截运日
    309.                 # print("otherStyleTime1====",otherStyleTime1)        #输出结果   2021/05/06+3----> 2021/05/09
    312.                 # print(index)          # 输出结果---> 0-97。
    313.                 # print(cdate)          # 遍历jsonstr中所有的cdate的时间
    314.                 # print("￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥")
    315.                 # print(cdate[2*index])           #输出结果 2021-05-06 起运日时间。
    316.                 now=time.time()                # 返回当前时间的时间戳（1970纪元后经过的浮点秒数）。
    317.                 #  timeStamp=1620230400
    318.                 if((now-timeStamp)<=86400) or (phone ==None):   #  表示当天启航或者电话为空
    319.                     tup = ("匿名", phone[index],shipname, tone[index], start[index], arrive[index],  renmark[index],cdate[2*index],"船老板");
    320.                     data_list.append(tup)
    321.                     data_df=data_df.append(
    322.                         pd.DataFrame(
    323.                             {'联系人': ["匿名"], '电话': [phone[index]], '船名': [shipname], '吨位': [tone[index]],
    324.                              '始发地': [start[index]], '到达地': [arrive[index]], '起运日': [otherStyleTime],
    325.                              '截运日': [otherStyleTime1], '备注': [renmark[index]],
    326.                              '来源': ["船老板"]}, index=[data_df.shape[0]]),
    327.                         ignore_index=True);
    328.             writer=pd.ExcelWriter(Bossship_list_filename)
    329.             data_df.to_excel(writer,engine='xlsxwriter',float_format='%.5f',index=False)
    330.             writer.save()
    331.         else:
    332.             print("获取地址失败")
    333.             return;
    334.         #查看响应内容，response.content返回的字节流数据
    335.         print(response.content.decode('utf-8'))
    336.         #查看完整的url地址
    337.         print(response.url)
    338.         #查看响应头部字符编码
    339.         print(response.encoding)
    340.         #查看响应码
    341.         print(response.status_code)
    344. if __name__=="__main__":
    345.     app=wx.App(False)               #wx对象创建以后，相应的UI对象才能被正确初始化。
    346.     frame=MyForm()
    347. frame.Show()
    348. app.MainLoop()                      #形成消息循环。否则程序将直接退出。