• 客户端连接Hadoop集群一般分为三个步骤：

      • 初始化资源

        1. //初始化资源
        2. @Before
        3. public void init() throws URISyntaxException, IOException, InterruptedException {
        4.    //创建一个URI--Namenode
        5.    URI uri = new URI("hdfs://Hadoop102:8020");
        6.    //创建一个配置文件
        7.    Configuration configuration = new Configuration();
        8.    //设置副本数
        9.    configuration.set("dfs.replication", "3");
        10.    //用户
        11.    String user = "Hishark";
        12.    //1.获取客户端对象
        13.    fs = FileSystem.get(uri,configuration,user);
        15. }

      • 文件操作

        1. //创建文件夹
        2. @Test
        3. public void testmkdir() throws IOException {
        4.    fs.mkdirs(new Path("/xiyou/huaguoshan"));
        5. }
        6. //上传文件
        7. @Test
        8. public void putTest() throws IOException, URISyntaxException, InterruptedException {
        9.    //是否删除本地文件   输出覆盖目标地址文件 本地文件地址 目标地址
        10.    fs.copyFromLocalFile(false,true,new Path("D:\\BigData\\Hadoop\\Code\\sunwukong.txt"),new Path("/xiyou/huaguoshan"));
        11. }
        13. //文件的下载
        14. @Test
        15. public void getTest() throws IOException {
        16.    //最后一个参数：是否启用crc校验 true-不开启
        17.    fs.copyToLocalFile(false,new Path("/xiyou/huaguoshan"),new Path("D:\\BigData\\Hadoop\\Code"), true);
        18. }
        20. //删除
        21. @Test
        22. public void deleteTest() throws IOException {
        23.    //删除文件
        24.    //1.路径   2.是否递归删除
        25.    //fs.delete(new Path("/xiyou/huaguoshan/sunwukong.txt"),false);
        26.    //删除空目录
        27.    //fs.delete(new Path("/wcoutput"),false);
        28.    //删除非空目录
        29.    fs.delete(new Path("/wcoutput"),true);
        30. }
        31. //文件的更名和移动
        32. @Test
        33. public void moveTest() throws IOException {
        34.    //1.要修改的文件路径(源文件) 2.目标文件的路径
        35.    //fs.rename(new Path("/wcinput/word111.txt"),new Path("/wcinput/wordrename.txt"));
        37.    //文件的的移动和更名(相当于剪切操作)
        38.    //fs.rename(new Path("/wcinput/wordrename.txt"), new Path("/word.txt"));
        40.    //目录的更名
        41.    fs.rename(new Path("/wcinput"), new Path("/input"));
        42. }
        44. //获取文件详细信息
        45. @Test
        46. public void fileDetial() throws IOException {
        47.    //获取文件信息
        48.    RemoteIterator<LocatedFileStatus> locatedFileStatusRemoteIterator = fs.listFiles(new Path("/"), true);
        49.    //遍历迭代器
        50.    while (locatedFileStatusRemoteIterator.hasNext()){
        51.        LocatedFileStatus next = locatedFileStatusRemoteIterator.next();
        52.        System.out.println("====="+next.getPath()+"=====");//文件路径
        53.        System.out.println(next.getPath().getName());
        54.        System.out.println(next.getPermission());
        55.        System.out.println(next.getGroup());
        56.        System.out.println(next.getOwner());
        57.        System.out.println(next.getModificationTime());
        58.        System.out.println(next.getLen());
        59.        System.out.println(next.getReplication());
        60.        //System.out.println(next.getBlockLocations());
        62.        //获取块信息
        63.        BlockLocation[] blockLocations = next.getBlockLocations();
        64.        System.out.println(Arrays.toString(blockLocations));
        66.    }
        67. }
        68. //文件和文件夹的判断
        69. @Test
        70. public void listStatusTest() throws IOException {
        71.    //获取文件列表
        72.    FileStatus[] fileStatuses = fs.listStatus(new Path("/"));
        73.    //遍历文件列表
        74.    for(FileStatus f : fileStatuses){
        75.        if(f.isFile()){//如果是文件
        76.            System.out.println("f:"+f.getPath().getName());
        77.        }else {//是文件夹
        78.            System.out.println("d:"+f.getPath().getName());
        79.        }
        80.    }
        81. }

      • 资源的关闭

        1. //关闭资源
        2. @After
        3. public void close() throws IOException {
        4.    //3.关闭资源
        5.    fs.close();
        6. }

    • 文件/文件夹操作的汇总：

      • mkdirs(Path path);//新建一个文件夹
      • copyFromLocalFile(boolean delSrc，boolean overwrite , Path pathlocal, Path des);
        • 第一个参数：是否删除本地文件
        • 第二个参数：若目标文件已存在，是否覆盖目标文件。
        • 第三个参数：本地文件地址
        • 第四个参数：集群目标地址
      • copyToLocalFile(boolean delSrc , Path path1, Path path2, boolean useRawLocalFileSystem);
        • 第一个参数：是否删除被复制的文件
        • 第二个参数：被复制的集群文件地址
        • 第三个参数：本地地址
        • 第四个参数：是否启用crc校验，默认是false-启用
      • delete(Path path, boolean b);
        • 第一个参数：要删除的文件路径
        • 第二个参数：是否递归删除
      • 。。。其他的操作就不这样详细列出了，具体的看上面的代码和相应的源码即可。