数据库相关

白天 夜间 首页 下载 阅读记录
  我的书签   添加书签   移除书签

5.4HDFS的架构设计

浏览 84 扫码 分享 2022-07-14 00:07:58
  • 5.4.1前提和设计目标
  • 5.4.2Namenode和Datanode
  • 5.4.3文件系统Namespace
  • 5.4.4数据复制
  • 5.4.5文件系统元数据的持久化
  • 5.4.6通讯协议
  • 5.4.7健壮性
  • 5.4.8数据组织
  • 5.4.9可访问性
  • 5.4.10空间的回收

若有收获，就点个赞吧

0 人点赞

上一篇:
下一篇:
  • 书签
  • 添加书签 移除书签
  • NoSQL数据库技术实战
    • NoSQL的兴起与理论基础
      • NoSQL与大数据简介
        • 1.1引子——NoSQL在国内使用的案例
        • 1.2大数据
        • 1.3大数据相关技术
        • 1.4NoSQL简介
        • 1.5NoSQL数据库类型
        • 1.6如何使用和学习NoSQL数据库
        • 1.7云数据管理
      • NoSQL的数据一致性
        • 2.1传统关系数据库中的ACID
        • 2.2CAP理论
        • 2.3AP的例子——DNS系统
        • 2.4数据一致性模型与BASE
        • 2.5数据一致性实现方法
      • NoSQL的水平拓展与其他基础知识
        • 3.1所有数据存放在一个服务器上
        • 3.2分片（Sharding）
        • 3.3主从复制
        • 3.4对等（Peer To Peer）复制
        • 3.5复制和分片的同时使用
        • 3.6数据水平拓展的方法总结
        • 3.7分片对数据的划分方式
          • 3.7.1Range-Based Partitioning
          • 3.7.2Round-Robin
        • 3.8一致性hash算法（Consistent Hashing）
          • 3.8.1基本场景
          • 3.8.2hash算法和单调性
          • 3.8.3Consistent Hashing算法的原理
          • 3.8.4虚拟节点
        • 3.9磁盘的读写特点及五分钟法则
          • 3.9.1磁道、扇区、柱面和磁头数
          • 3.9.2固态硬盘（SSD）：随机读写速度快
          • 3.9.3内存：读写速度极快
          • 3.9.4五分钟法则
        • 3.10不要删除数据
    • 列式NoSQL系统
      • BigTable与Google云计算原理
        • 4.1云计算
          • 4.1.1云计算的概念
          • 4.1.2云计算发展现状
          • 4.1.3云计算实现机制
          • 4.1.4网格计算与云计算
        • 4.2Google文件系统GFS（Google File System）
          • 4.2.1系统架构
          • 4.2.2容错机制
          • 4.2.3系统管理技术
        • 4.3并行数据处理MapReduce
          • 4.3.1产生背景
          • 4.3.2编程模型
          • 4.3.3实现机制
        • 4.4分布式锁服务Chubby
          • 4.4.1Paxos算法
          • 4.4.2Chubby系统设计
          • 4.4.3Chubby文件系统
          • 4.4.4通信协议
          • 4.4.5正确性与性能
        • 4.5分布式结构化数据表BigTable
          • 4.5.1设计动机与目标
          • 4.5.2数据模型
          • 4.5.3系统架构
          • 4.5.4主服务器
          • 4.5.5子表服务器
          • 4.5.6性能优化
      • Google云计算的开源版本——Hadoop
        • 5.1Hadoop简介
          • 5.1.1Hadoop发展史
          • 5.1.2Apache Hadoop项目及体系结构
        • 5.2Hadoop产生的原因
          • 5.2.1海量的数据
          • 5.2.2数据的存储和分析
        • 5.3Hadoop和其他系统的比较
          • 5.3.1和关系型数据库管理系统（RDBMS）的比较
          • 5.3.2和网格计算的比较
        • 5.4HDFS的架构设计
          • 5.4.1前提和设计目标
          • 5.4.2Namenode和Datanode
          • 5.4.3文件系统Namespace
          • 5.4.4数据复制
          • 5.4.5文件系统元数据的持久化
          • 5.4.6通讯协议
          • 5.4.7健壮性
          • 5.4.8数据组织
          • 5.4.9可访问性
          • 5.4.10空间的回收
        • 5.5安装Hadoop
          • 5.5.1安装JDK1.8
          • 5.5.2安装Hadoop
        • 5.6HDFS操作
          • 5.6.1使用FS Shell命令操作HDFS
          • 5.6.2编程读写HDFS
        • 5.7Hadoop中的MapReduce模型
          • 5.7.1MapReduce计算模型
          • 5.7.2Hadoop中的Hello World程序
          • 5.7.3运行MapReduce程序
          • 5.7.4Hadoop中的Hello World程序——新的API
          • 5.7.5MapReduce的数据流和控制流
        • 5.8Zookeeper
          • 5.8.1Zookeeper配置安装
          • 5.8.2Zookeeper的数据类型
          • 5.8.3Zookeeper的基本使用
          • 5.8.4Zookeeper典型的应用场景
          • 5.8.5统一命名服务（Name Service）
          • 5.8.6共享锁（Locks）
          • 5.8.7队列管理
          • 5.8.8Zookeeper总结
        • 5.9HBase
          • 5.9.1简介
          • 5.9.2逻辑视图
          • 5.9.3物理存储
          • 5.9.4系统架构
          • 5.9.5关键算法/流程
        • 5.10HBase的安装和配置
        • 5.11HBase使用例子
    • Key/Value NoSQL系统
      • Redis实战
        • 6.1Redis安装与准备
          • 6.1.1下载与安装
          • 6.1.2配置文件修改
          • 6.1.3启动Redis
          • 6.1.4停止Redis
        • 6.2Redis所支持的数据结构
          • 6.2.1String
          • 6.2.2List
          • 6.2.3Set
          • 6.2.4Hash/哈希/散列
          • 6.2.5有序集合/Zset
        • 6.3Key操作命令
          • 6.3.1概述
          • 6.3.2命令示例
        • 6.4事务
          • 6.4.1事务概述
          • 6.4.2相关命令
          • 6.4.3命令示例
          • 6.4.4WATCH命令和基于CAS的乐观锁
        • 6.5Redis的主从复制
          • 6.5.1Redis的Replication
          • 6.5.2Replication的工作原理
          • 6.5.3如何配置Replication
          • 6.5.4应用示例
        • 6.6Redis的持久化
          • 6.6.1持久化机制
          • 6.6.2RDB机制的优势和劣势
          • 6.6.3AOF机制的优势和劣势
          • 6.6.4其他
        • 6.7Redis的虚拟内存
          • 6.7.1简介
          • 6.7.2应用场景
          • 6.7.3配置
        • 6.8pipeline/管线
          • 6.8.1请求应答协议和RTT
          • 6.8.2管线（pipelining）
          • 6.8.3Benchmark
        • 6.9实例
    • 文档型NoSQL系统
      • MongoDB实战
        • 7.1为什么要使用MongoDB
          • 7.1.1不能确定的表结构信息
          • 7.1.2序列化可以解决一切问题吗
          • 7.1.3无需定义表结构的数据库
        • 7.2MongoDB的优势和不足
          • 7.2.1无表结构
          • 7.2.2容易拓展
          • 7.2.3丰富的功能
          • 7.2.4性能卓越
          • 7.2.5简便的管理
          • 7.2.6MongoDB的不足
        • 7.3基本概念
        • 7.4Linux下MongoDB的安装和配置、启动和停止
          • 7.4.1下载
          • 7.4.2安装
          • 7.4.3启动数据库
          • 7.4.4停止数据库
        • 7.5创建、更新及删除文档
          • 7.5.1连接数据库
          • 7.5.2插入记录
          • 7.5.3_id key
          • 7.5.4修改记录
          • 7.5.5删除记录
        • 7.6查询记录
          • 7.6.1普通查询
          • 7.6.2条件查询
          • 7.6.3findOne()查询
          • 7.6.4通过limit限制结果集数量
        • 7.7高级查询
          • 7.7.1条件操作符
          • 7.7.2$all匹配所有
          • 7.7.3$exists判断字段是否存在
          • 7.7.4Null值处理
          • 7.7.5$mod取模运算
          • 7.7.6$ne不等于
          • 7.7.7$in包含
          • 7.7.8$nin不包含
          • 7.7.9$size数组元素个数
          • 7.7.10正则表达式匹配
          • 7.7.11JavaScript查询和$where查询
          • 7.7.12count查询记录条数
          • 7.7.13skip限制返回记录的起点
          • 7.7.14sort排序
          • 7.7.15游标
        • 7.8MapReduce
          • 7.8.1Map
          • 7.8.2Reduce
          • 7.8.3Result
          • 7.8.4Finalize
          • 7.8.5Options
        • 7.9索引
          • 7.9.1基础索引
          • 7.9.2文档索引
          • 7.9.3组合索引
          • 7.9.4唯一索引
          • 7.9.5强制使用索引
          • 7.9.6删除索引
        • 7.10性能优化
          • 7.10.1explain执行计划
          • 7.10.2优化器Profile
          • 7.10.3性能优化举例
        • 7.11性能监控
          • 7.11.1mongosniff
          • 7.11.2Mongostat
          • 7.11.3db.serverStatus
          • 7.11.4db.stats
          • 7.11.5第三方工具
        • 7.12Replica Sets 复制集
          • 7.12.1部署Replica Sets
          • 7.12.2主从操作日志oplog
          • 7.12.3主从配置信息
          • 7.12.4管理维护Replica Sets
          • 7.12.5增减节点
        • 7.13Sharding分片
          • 7.13.1建立Sharding Cluster
          • 7.13.2管理维护Sharding
        • 7.14Replica Sets和Sharding的结合
          • 7.14.1创建数据目录
          • 7.14.2配置Replica Sets
          • 7.14.3配置3台Route Process
          • 7.14.4配置Shard Cluster
          • 7.14.5验证Sharding正常工作
    • MySQL基础与性能优化
      • MySQL基础
        • 8.1CentOS下MySQL的安装
        • 8.2MySQL基本命令
        • 8.3MySQL数据类型
          • 8.3.1整型
          • 8.3.2浮点型
          • 8.3.3定点数
          • 8.3.4字符串（char，varchar，xxxtext）
          • 8.3.5二进制数据
          • 8.3.6日期时间类型
          • 8.3.7数据类型的属性
        • 8.4创建数据库和表
        • 8.5检索表中的数据
        • 8.6多个表的操作
      • MySQL高级特性与性能优化
        • 9.1MySQL Server系统架构
          • 9.1.1逻辑模块组成
          • 9.1.2各模块工作配合
        • 9.2存储引擎
          • 9.2.1MySQL存储引擎概述
          • 9.2.2MyISAM存储引擎简介
          • 9.2.3Innodb存储引擎简介
        • 9.3MySQL中的锁定机制
          • 9.3.1MySQL中锁定机制概述
          • 9.3.2合理利用锁机制优化MySQL
        • 9.4索引与优化
          • 9.4.1选择索引的数据类型
          • 9.4.2索引入门
          • 9.4.3索引的类型
          • 9.4.4高性能的索引策略
          • 9.4.5索引与加锁
        • 9.5MySQL的MyISAM和Innodb的Cache优化
          • 9.5.1MyISAM存储引擎的Cache优化
          • 9.5.2Innodb缓存相关优化
        • 9.6MySQL的复制
          • 9.6.1复制对于可拓展的意义
          • 9.6.2复制的原理
          • 9.6.3体验MySQL复制
          • 9.6.4复制的常用拓扑结构
        • 9.7可拓展性设计之数据切分
          • 9.7.1何谓数据切分
          • 9.7.2数据的垂直切分
          • 9.7.3数据的水平切分
          • 9.7.4垂直与水平联合切分的使用
          • 9.7.5数据切分及整合方案
          • 9.7.6数据切分与整合中可能存在的问题
        • 9.8小结
  • AI推荐之协同过滤算法
暂无相关搜索结果！

    让时间为你证明

    展开/收起文章目录

    分享，让知识传承更久远

    文章二维码

    手机扫一扫，轻松掌上读

    文档下载

    请下载您需要的格式的文档，随时随地，享受汲取知识的乐趣！
    PDF文档 EPUB文档 MOBI文档

    书签列表

      阅读记录

      阅读进度: 0.00% ( 0/0 ) 重置阅读进度
        思维导图备注