1. # -*- coding = ut-8 -*-
    2. # @Time : 2021/5/20 下午 13:14
    3. # @Author : PHC
    4. # @File demo1.py
    5. # @Software : PyCharm
    9. #  每查看一个详情信息 需要消耗100积分
    11. #若要在其他的工程文件中，需要在File->setting->python Interpreter 中重新下载导入的模块包
    12. import requests
    13. import urllib
    14. import json
    15. import xlwt
    16. import time
    18. #打印爬取到网页的全部信息           全局变量
    19. dataListOne=[]             #按页数，数组长度为所查的页数。
    21. def allUrl(current):
    22.     # pageNum(current)
    23.     baseurl = 'https://t.cjcyw.com/cjcy/ship/list?_index={}'.format(current)            #地址拼接。当前访问的指定页数
    24.     # print(current)                    #输出的结果为1
    25.     #不同的设备head 中的信息不一致，后续需要更改。
    26.     head = {
    27.         "Cookie": "cjcy_session_id=a7ff8f24-fcb2-43d3-80e4-53a7d466cea9; yunsuo_session_verify=6a7ff9e97531e25af61b0eeef6212804",
    28.         # 'Accept': 'application/json',
    29.         'User-Agent': 'cicy/5.4(iPhone; iOS 12.0; Scale/3.00)',
    30.         # 'Accept-Language':"zh-Hans-CN；q=1,da-DK;q=0.9",
    31.         # "Content-Length": 62,
    32.         "Content-Type": "application/x-www-form-urlencoded",
    33.         "Connection": "keep-alive",
    34.         "Host": "t.cjcyw.com"
    35.     }
    36.     request = urllib.request.Request(baseurl, headers=head)
    37.     response = urllib.request.urlopen(request)
    39.     page = response.read().decode("utf-8")                      #输出为str
    40.     # print(page)
    41.     contents=json.loads(page)                                   #转为python对象。
    42.     # print(contents,'contents的结果是什么11111111111')
    43.     content=contents['data']['records']                             #每一页中的所有数据
    44.     # print(content,'content的结果是什么222222222')                #[ {1},{2},{3}.... ]
    45.     # print(type(content),'content的类型是什么')                     #输出结果是 <class 'list'>
    46.     datalist = []
    47.     for i in content:                                   #遍历每一页中的每一条数据，一页共20条数据。
    48.         # print(i)
    49.         data=[]                                             #将每条船的信息加入到data列表中
    50.         # print(i,'i的结果是什么')                    #将所需页面数的records中的数据提取。
    51.         startLocation=i['suozaidi']           #打印每一条信息中需要提取的信息------1所在地
    52.         # print(startLocation)
    53.         data.append(startLocation)
    55.         endLocation=i['daodadi']            # 2到达地
    56.         data.append(endLocation)
    58.         shipName=i['title']
    59.         data.append(shipName)               # 3船名
    61.         dunwei=i['dunwei']              # 4吨位
    62.         # print(dunwei)
    63.         data.append(dunwei)
    64.         # datalist.append(data)
    65.         # print(data)
    66.                 #将每一个船的信息，形成一个列表。
    68.         #每一条船第一次普通信息的加载
    69.         aidFirst = i['aid']  # 下一个详情所需的参数接口                  所有接口的参数均为 aid
    70.         contentsOne=oneShipMessage(aidFirst)                    #打印所查看的一只船的信息。
    71.         # print(type(contentOne),'contentOne 的类型是什么')         #输出结果是： <class 'dict'> 是列表类型。
    72.         # print(contentsOne,'contentOne的结果')               # 打印单个船舶第一次加载的信息
    73.         aid=contentsOne['aid']                              #下一次请求时，所需的参数。 应该与上一个aid相等。便于验证
    74.         # data.append(aid)
    77.         oneShipLocation=contentsOne['suozaidi']                         # 验证第二次加载得信息，所在地与第一次是否相同
    78.         # print(oneShipLocation)
    79.         # data.append(oneShipLocation)
    81.         starDate=contentsOne['kaishiriqi']            # 5  提取到的开始日期还未转换，当前显示的形式是从1970，01 到所爬取出的时间的秒数。
    82.         currentDate=time.strftime("%Y-%m-%d",time.localtime(starDate))            #经过标准格式化输出的时间
    83.         data.append(currentDate)
    86.         #每一条船第二次查看 所加载的会员信息
    87.         contentTwo=twoVipAll(aidFirst)
    88.         beizhu=contentTwo['beizhu11']
    89.         data.append(beizhu)                             # 6  备注的信息
    91.         LinkName=contentTwo['publishLinkMan']
    92.         data.append(LinkName)                           #7 联系人名字
    94.         linkPhone=contentTwo['publishTel']
    95.         data.append(linkPhone)                          #8 联系人电话
    96.                                        #                  datalistOne    datalist
    97.         datalist.append(data)                           #  注：[             [   [data],[data],[data]      ] ,   [   [data],[data],[data]      ] ,     ..                ]
    99.         print("第",current,"页，第",len(datalist),"条",data)                         #查看每打印一条船舶信息的进度
    101.     dataListOne.append(datalist)                #将第一次加载出来的信息，加入列表中
    102.     # print(dataListOne)
    104.     return dataListOne
    109. #需要打印的页面条数数据
    110. # def pageNum(number):
    111. #     for current in range(1,number):             # 由于range()中是左闭右开，且allUrl(current)当中的current数值只能从一开始。故当pagenNum(4) 传过来的参数为4 时，只能打印3条。
    112. #         allUrl(current)
    115. #第一次点击查看 查看一个船的普通信息
    116. def oneShipMessage(aid):
    117.     url="https://t.cjcyw.com/cjcy/ship/detail?aid={}".format(aid)
    118.     head = {
    119.         "Cookie": "cjcy_session_id=a7ff8f24-fcb2-43d3-80e4-53a7d466cea9; yunsuo_session_verify=6a7ff9e97531e25af61b0eeef6212804",
    120.         # 'Accept': 'application/json',
    121.         'User-Agent': 'cicy/5.4(iPhone; iOS 12.0; Scale/3.00)',
    122.         # 'Accept-Language':"zh-Hans-CN；q=1,da-DK;q=0.9",
    123.         # "Content-Length": 62,
    124.         "Content-Type": "application/x-www-form-urlencoded",
    125.         "Connection": "keep-alive",
    126.         "Host": "t.cjcyw.com"
    127.     }
    128.     request = urllib.request.Request(url, headers=head)
    129.     response = urllib.request.urlopen(request)
    130.     pageOne= response.read().decode("utf-8")
    131.     # print(type(pageOne),"pageOne的类型是什么")                    #输出结果 <class 'str'>
    132.     contents=json.loads(pageOne)
    133.     # print(contents,'contents的结果333333333')                       # 输出结果正确
    134.     content=contents['data']
    135.     # print(content,'content 的结果444444444')                # { }
    136.     # print(type(content))                #输出结果为  <class 'dict'>     已经转成dict列表形式,应该转成list。
    138.     return content              # 返回第一次加载后的信息
    141. # 第二次查看中间过度段的请求过程。需要积分，会员形式查看
    142. def twoVipCenter(aid):            #需要传过来一个参数，名为aid
    143.     #中间有一个过度请求的地址信息
    144.     #过度请求
    145.     url="https://t.cjcyw.com/cjcy/user/viewDetail?aid={}".format(aid)
    146.     head={
    147.         "Cookie": "cjcy_session_id=a7ff8f24-fcb2-43d3-80e4-53a7d466cea9",
    148.         "Host": "t.cjcyw.com",
    149.         "User-Agent": "cicy/5.4 (iPhone; iOS 12.0; Scale/3.00)",
    150.         "Content-Type": "application/x-www-form-urlencoded"
    151.     }
    152.     request=urllib.request.Request(url,headers=head)
    153.     response=urllib.request.urlopen(request)
    154.     pagetwo=response.read().decode("utf-8")
    155.     contents=json.loads(pagetwo)
    156.     # print(contents)                       # 成功
    157.     return contents
    159. #第二次所需要查看的详情信息。
    160. def twoVipAll(aid):
    161.     #中间过渡段返回过来的内容：
    162.     contentVipCenter=twoVipCenter(aid)
    163.     message=contentVipCenter['message']                     #  'message':'成功'--------输出结果成功，能够正常度过中间访问过程。  **********（意味这一段没毛病）
    164.     # print(message)
    165.     url="https://t.cjcyw.com/cjcy/ship/detail?aid={}".format(aid)
    166.     head={
    167.         "Cookie": "cjcy_session_id=a7ff8f24-fcb2-43d3-80e4-53a7d466cea9",
    168.         "Host": "t.cjcyw.com",
    169.         "User-Agent": "cicy/5.4 (iPhone; iOS 12.0; Scale/3.00)",
    170.         "Content-Type": "application/x-www-form-urlencoded"
    171.     }
    172.     request=urllib.request.Request(url,headers=head)
    173.     response=urllib.request.urlopen(request)
    174.     pagetwoAll=response.read().decode("utf-8")
    175.     contents=json.loads(pagetwoAll)
    176.     content=contents['data']
    177.     # print(content,'第二次查看时的contents的内容')
    178.     return content
    180. #保存所有的信息到Excel表格中。
    181. def saveMessagePath(number):
    182.     for current in range(1,number):             #左闭右开   [a,b)
    183.         # print(current)                      #输出结果是 1 2
    184.        datalist= allUrl(current)
    185.     # print(datalist)
    186.     timePass=time.localtime()       #输出系统的当前时间，当前时间为格林尼治时间？ 秒数，
    187.     timeNow=time.strftime("%Y-%m-%d",timePass)        #将系统的当前时间格式化输出，一天打印一次，若重复打印，最好将已输出的文件名字更改一下，避免数据丢失，重名会覆盖。
    188.     savePath="%s长江船运网数据信息.xls"%(timeNow)                    #保存的文件命名格式：当前时间（年-月-日）+文件名
    189.     table=xlwt.Workbook(encoding="utf-8",style_compression=0)
    190.     sheet=table.add_sheet("长江船运网数据信息",cell_overwrite_ok=True)
    191.     col=("所在地","到达地","船名","吨位","开始日期","备注信息","船主名字","电话")                            #定义列名
    192.     # print(datalist)
    193.     #定义表格中的列名
    194.     for i  in range(0,len(col)):
    195.         sheet.write(0,i,col[i])                 #向表格中写入列名
    197.     for pages in range(len(datalist)):                                #遍历每一页。总页数是datalist元组的长度
    198.         pagesData=datalist[pages]                                         #取出每一页中的20条数据。
    199.         # print("看看有多少页====",pages)                       # 当输入的number页数为3时，打印两条数据。datalist长度为2。pages输出结果0，1
    200.         # print("看看第%s页有多少条船舶数据"%(pages+1))                     #页数在列表中，下标从0开始计算  或（pages+1）
    202.         if pages < number:
    203.             for j in range(0,20):                                                #遍历每一页中的20条数据
    204.                 print("第%s条"%(j+1))                                 #该条程序已执行
    205.                 item =pagesData[j]                               #取出每一条数据
    206.                 # print(item)                                     #输出结果是想要的形式。
    207.                 for a in range(0,len(col)):
    208.                   sheet.write(j+pages*20+1,a,item[a])               #Excel中表格第一行，第一列坐标为（0，0）   sheet.write(行，列，写入的数据)
    209.     table.save(savePath)
    212. if __name__=='__main__':
    213.     # pageNum(3)      #页数更改处,从2开始
    214.     pagesNum=5                              #定义所需要查找的页数。
    215.     print("当前需要查询的页数共有", pagesNum-1, "页，每页应当有20条，请耐心等待查询的结果\n结果加速查询中......")
    216.     saveMessagePath(pagesNum)                  #输入口，定义所需要查看的页数。。20条信息为一页。
    218.     # twoVipCenter(6614081)          #测试第二次查看中间过渡段能否成功访问。
    219.     # twoVipAll(6614081)                  #测试第二次查看所有信息时，能否访问成功