Java网络编程下载文件和图片、session/cookie - 图1

写文件

写入文本文件

  1. import java.io.File;
  2. import java.io.FileWriter;
  4. //创建文件对象
  5. File file = new File("a.txt");
  6. //写入内容
  7. FileWriter fileWriter = new FileWriter(file.getName());
  8. fileWriter.write(content);
  9. //关闭
  10. fileWriter.close();

写入二进制文件

  1. import java.io.File;
  2. import java.io.FileOutputStream;
  4. //创建文件对象
  5. File file = new File("a.xlsx");
  6. //写入内容
  7. FileOutputStream fos = new FileOutputStream(file);
  8. fos.write(data);//data是字节数组类型
  9. //关闭
  10. fos.flush();//先刷新
  11. fos.close();

解析execl

添加依赖库

  1. <dependency>
  2.   <groupId>com.alibaba</groupId>
  3.   <artifactId>easyexcel</artifactId>
  4.   <version>2.1.6</version>
  5. </dependency>

调用库

excel文件是多表模式，每个sheet是一个表，所以解析数据的顺序一定是： sheet->行->列
第一个单元格的位置是0，第一个sheet，第一行，第一列的位置是0，0，0。下面的例子用Map存放列值是因为我们不能确定excel每一列的含义。

  1. import com.alibaba.excel.EasyExcel;
  2. import java.util.Map;
  3. import java.util.List;
  5. //读取第一个sheet
  6. List<Map<Integer,String>> sheetDatas = EasyExcel.read("a.xlsx").sheet(0).doReadSync();
  7. //List数组中每个元素存放的是一行数据
  8. for(Map<Integer,String> rowDatas:sheetDatas){
  9.     //Map中用序号指代每一列
  10.     for(Integer index:rowData.keySet()){
  11.         //列值
  12.         String columuValue = rowData.get(index);
  13.     }
  15. }

自动转换为类

当我们提前确定了每一列的含义就可以用对象来表示。

  1. public class DemoData {
  3.   private String code1;
  4.   private String city1;
  5.   private String code2;
  6.   private String city2;
  7.   private String code3;
  8.   private String city3;
  9.     //setter，getter省略
  10. }

head(DemoData.class) 表示一行数据，此类的每一个属性表示一列值，返回值为 List<DomeData> 表示每一行转换为一个 DomeData 的实例对象，放入List集合中。

  1. import com.alibaba.excel.EasyExcel;
  2. import java.util.List;
  3. List<DemoData> sheetDatas = EasyExcel.read("a.xlsx").head(DemoData.class).sheet(0).doReadSync();
  4. for(DemoData rowData:datas){
  6.    System.out.println(JSON.toJSONString(rowData))
  7. }

查看输出结果（仅展示部分）：

  1. {
  2.   "city1": "澳门",
  3.   "city2": "澳门",
  4.   "city3": "花地玛堂区",
  5.   "code1": "820000",
  6.   "code2": "820000",
  7.   "code3": "820008"
  8. }
  9. {
  10.   "city1": "澳门",
  11.   "city2": "澳门",
  12.   "city3": "澳门特别行政区直辖",
  13.   "code1": "820000",
  14.   "code2": "820000",
  15.   "code3": "820010"
  16. }

总结

无论是用Map还是类存放， EasyExcel.XXXXXX.doReadSync(); 最终返回值都是List类型。集合中的每一个元素都是一行数据，这个要理解。

session

需要session的原因是cookie是存放在客户端浏览器的，而且是临时的。

收集session信息

  1. 登录地址
  2. 执行方式（GET/POST）
  3. Host
  4. Referer
  5. User-Agent
  6. 表单数据，数据名称和数据值

以我登录时光网为例子：
QQ图片20200617204501.png
点击登录，之后
QQ图片20200617204814.png
点击 signinLogin ,红框里面的内容就是需要的信息。
QQ图片20200617205114.png
QQ图片20200617205215.png

编程实现

把OkHttpClient改为类变量，目的是在整个类中使用同一个对象执行HTTP请求，提升效率。

  1. package com.youkeda.test.http;
  3. import java.io.IOException;
  4. import java.util.ArrayList;
  5. import java.util.HashMap;
  6. import java.util.List;
  7. import java.util.Map;
  8. import okhttp3.Cookie;
  9. import okhttp3.CookieJar;
  10. import okhttp3.FormBody;
  11. import okhttp3.FormBody.Builder;
  12. import okhttp3.HttpUrl;
  13. import okhttp3.OkHttpClient;
  14. import okhttp3.Request;
  16. public class PageLoginer {
  18.   // 用 CookieJar 实现 cookie 的存储，便于登录后请求其它 URL 可以复用
  19.   private static final OkHttpClient okHttpClient = new OkHttpClient.Builder()
  20.       .cookieJar(new CookieJar() {
  21.         // 把登录完毕后的 cookie 存储下来，再次发请求的时候复用
  22.         private final HashMap<String, List<Cookie>> cookieStore = new HashMap<>();
  24.         @Override
  25.         public void saveFromResponse(HttpUrl url, List<Cookie> cookies) {
  26.           cookieStore.put("mtime.com", cookies);
  27.           System.out.println("[saveFromResponse]url.host()=" + url.host());
  28.         }
  30.         @Override
  31.         public List<Cookie> loadForRequest(HttpUrl url) {
  32.           System.out.println("[loadForRequest]url.host()=" + url.host());
  33.           List<Cookie> cookies = cookieStore.get("mtime.com");
  34.           return cookies != null ? cookies : new ArrayList<>();
  35.         }
  36.       })
  37.       .build();
  39.   public String postContent(String url, Map<String, String> formData) {
  40.     //post方式提交的数据
  41.     Builder builder = new FormBody.Builder();
  42.     // 放入表单数据
  43.     for (String key : formData.keySet()) {
  44.       builder.add(key, formData.get(key));
  45.     }
  46.     // 构建 FormBody 对象
  47.     FormBody formBody = builder.build();
  48.     // 指定 post 方式提交FormBody
  49.     Request request = new Request.Builder()
  50.         .url(url)
  51.         .post(formBody)
  52.         .addHeader("User-Agent",
  53.             "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36")
  54.         .addHeader("Referer","https://passport.mtime.com/member/signin/?redirectUrl=http%3A%2F%2Fwww.mtime.com%2F")
  55.         .addHeader("Host","passport.mtime.com")
  56.         .build();
  58.     // 返回结果字符串
  59.     String result = null;
  60.     try {
  61.       result = okHttpClient.newCall(request).execute().body().string();
  62.     } catch (IOException e) {
  63.       System.out.println("request " + url + " error . ");
  64.       e.printStackTrace();
  65.     }
  66.     return result;
  67.   }
  69.   public static void main(String[] args) {
  70.     // 登录页面 url
  71.     String url = "https://passport.mtime.com/member/signinLogin";
  72.     // 登录表单数据
  73.     Map<String, String> formData = new HashMap();
  74.     formData.put("loginEmailText", "1885207xxxx");
  75.     formData.put("loginPasswordText","1848b7d334d85c484d315e53d43cfda6");
  76.     formData.put("isvcode","true");
  77.     formData.put("isAutoSign","false");
  79.     PageLoginer asker = new PageLoginer();
  80.     String content = asker.postContent(url, formData);
  82.     System.out.println(content);
  83.   }
  84. }

下面的代码是将执行的过程拎出来放在了doExcute()方法中，在postContent()和getContent()中 return doExcute(request); ,postContent()和getContent()过程是类似的，Request不同而已，所以将方法重构，这就是抽象的过程，见扫重复代码，提高可阅读性和可维护性。

  1. package com.youkeda.test.http;
  3. import java.io.IOException;
  4. import java.util.ArrayList;
  5. import java.util.HashMap;
  6. import java.util.List;
  7. import java.util.Map;
  8. import okhttp3.Cookie;
  9. import okhttp3.CookieJar;
  10. import okhttp3.FormBody;
  11. import okhttp3.FormBody.Builder;
  12. import okhttp3.HttpUrl;
  13. import okhttp3.OkHttpClient;
  14. import okhttp3.Request;
  16. public class PageLoginer {
  18.   // 用 CookieJar 实现 cookie 的存储，便于登录后请求其它 URL 可以复用
  19.   private static final OkHttpClient okHttpClient = new OkHttpClient.Builder()
  20.       .cookieJar(new CookieJar() {
  21.         private final HashMap<String, List<Cookie>> cookieStore = new HashMap<>();
  23.         @Override
  24.         public void saveFromResponse(HttpUrl url, List<Cookie> cookies) {
  25.           cookieStore.put("mtime.com", cookies);
  26.         }
  28.         @Override
  29.         public List<Cookie> loadForRequest(HttpUrl url) {
  30.           List<Cookie> cookies = cookieStore.get("mtime.com");
  31.           return cookies != null ? cookies : new ArrayList<>();
  32.         }
  33.       })
  34.       .build();
  36.   /**
  37.    * 向指定的 URL 提交数据，并返回提交后的结果，post请求
  38.    */
  39.   public String postContent(String url, Map<String, String> formData) {
  40.     //post方式提交的数据
  41.     Builder builder = new FormBody.Builder();
  42.     // 放入表单数据
  43.     for (String key : formData.keySet()) {
  44.       builder.add(key, formData.get(key));
  45.     }
  46.     // 构建 FormBody 对象
  47.     FormBody formBody = builder.build();
  48.     // 指定 post 方式提交FormBody
  49.     Request request = new Request.Builder()
  50.         .url(url)
  51.         .post(formBody)
  52.         .addHeader("User-Agent",
  53.             "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36")
  54.         .addHeader("Referer",
  55.             "https://passport.mtime.com/member/signin/?redirectUrl=http%3A%2F%2Fwww.mtime.com%2F")
  56.         .addHeader("Host", "passport.mtime.com")
  57.         .build();
  59.     return doExcute(request);
  60.   }
  62.   /**
  63.    * 根据输入的url，读取页面内容并返回，get请求
  64.    */
  65.   public String getContent(String url) {
  66.     // 定义一个request
  67.     Request request = new Request.Builder()
  68.         .url(url)
  69.         .addHeader("User-Agent",
  70.             "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36")
  71.         .addHeader("Host","my.mtime.com")
  72.         .build();
  74.     return doExcute(request);
  75.   }
  76.   //执行的过程
  77.   private String doExcute(Request request) {
  78.     // 返回结果字符串
  79.     String result = null;
  80.     try {
  81.       result = okHttpClient.newCall(request).execute().body().string();
  82.     } catch (IOException e) {
  83.       // 抓取异常
  84.       System.out.println("request " + request.url() + " error . ");
  85.       e.printStackTrace();
  86.     }
  88.     return result;
  89.   }
  91.   public static void main(String[] args) {
  92.     PageLoginer asker = new PageLoginer();
  94.     // 完成登录
  95.     String url = "https://passport.mtime.com/member/signinLogin";
  96.     // 登录表单数据
  97.     Map<String, String> formData = new HashMap();
  98.     formData.put("loginEmailText", "1885207xxxx");
  99.     formData.put("loginPasswordText", "1848b7d334d85c484d315e53d43cfda6");
  100.     formData.put("isvcode", "true");
  101.     formData.put("isAutoSign", "false");
  102.     String content = asker.postContent(url, formData);
  103.     System.out.println("login result:");
  104.     System.out.println(content);
  106.     // 请求我的订单
  107.     String myOrderUrl = "http://my.mtime.com/account/ecommerce/orderList/";
  108.     String content2 = asker.getContent(myOrderUrl);
  109.     System.out.println("order result:");
  110.     System.out.println(content2);
  112.   }
  113. }