JD-数据开发实习生(1).docx广州斑点科技公司介绍（2020-7-20）.docx

00 自我介绍

1.基本信息：
2.掌握语言：
3.具备一定的后台开发能力，对基于
4.我慢慢的也形成了自己的一套编程学习模式，
学习过程通常是结合b站一些视频，并写写博文，这两个月至少一天一篇
平时也喜欢读读技术推文，了解最新技术同时查漏补缺，毕竟java知识要精通是很深的
5.走大数据开发方向也是兴趣使然，特别在参加过多场数学建模比赛之后，也是我自己认定的职业发展路线，如果有机会能加入斑点科技，我想我会一直走下去，至少实习期间可以到大四，一边实习一边学习

新一代数据中心解决方案和云服务提供商，广州斑点在新一代大中型数据中心建设与云服务方面积累了丰富的经验，形成了全产业链管理、跨平台操作的专业化服务体系

01-关键岗位职责 :

Ø1.负责大数据产品的实时/离线计算平台的开发、迭代及业务支撑，完成基于大数据技术平台基础上的数据仓库设计和ETL开发。
Ø2.参与大数据平台的运维

02-精通的系统 :

Windows 7/10；Red Hat Enterprise Linux 7.x

03-IT 技巧:

3.1 Java熟练

3.2 SQL熟练

20个数据库常见面试题讲解！
SQL数据库面试题以及答案（50例题）

3.3 熟悉Flume、Sqoop、Hdfs、Hive、Hbase、Flink、Spark、Es、Kafka等大数据组件

3.4 Erwin或者其他数据建模工具

04-核心技能:

§扎实的编程基础、优秀的编码能力、对代码质量有极致的追求

了解数据仓库，数据集市设计架构原理及开发流程

实时数仓：fink

1.1 数据仓库的基本概念

  • 数据仓库的英文名称为Data Warehouse，可简写为DW或DWH。
  • 数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。它出于分析性报告和决策支持的目的而创建。

  • 数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因。

    1.2 数据仓库的主要特征

  • 数据仓库是面向主题的（Subject-Oriented）、集成的（Integrated）、非易失的（Non-Volatile）和时变的（Time-Variant ）数据集合，用以支持管理决策。

    1.3 数据仓库与数据库区别

  • 数据库与数据仓库的区别实际讲的是OLTP 与 OLAP 的区别。

  • 操作型处理，叫联机事务处理 OLTP（On-Line Transaction Processing），也可以称面向交易的处理系统，它是针对具体业务在数据库联机的日常操作，通常对少数记录进行查询、修改。用户较为关心操作的响应时间、数据的安全性、完整性和并发支持的用户数等问题。传统的数据库系统作为数据管理的主要手段，主要用于操作型处理OLTP。
  • 分析型处理，叫联机分析处理 OLAP（On-Line Analytical Processing），一般针对某些主题的历史数据进行分析，支持管理决策。
  • 首先要明白，数据仓库的出现，并不是要取代数据库。

  • 数据库是面向事务的设计，数据仓库是面向主题设计的。

    • 数据库一般存储业务数据，数据仓库存储的一般是历史数据。
    • 数据库设计是尽量避免冗余，一般针对某一业务应用进行设计；比如一张简单的User表，记录用户名、密码等简单数据即可，符合业务应用，但是不符合分析；数据仓库在设计是有意引入冗余，依照分析需求，分析维度、分析指标进行设计。

    • 数据库是为捕获数据而设计，数据仓库是为分析数据而设计。

    • 数据仓库，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它决不是所谓的“大型数据库”。

      1.4 数据仓库分层架构

  • 按照数据流入流出的过程，数据仓库架构可分为三层——源数据层、数据仓库层、数据应用层。

  • 数据仓库的数据来源于不同的源数据，并提供多样的数据应用，数据自下而上流入数据仓库后向上层开放应用，而数据仓库只是中间集成化数据管理的一个平台。
  • 源数据层（ODS）：此层数据无任何更改，直接沿用外围系统数据结构和数据，不对外开放；为临时存储层，是接口数据的临时存储区域，为后一步的数据处理做准备。
  • 数据仓库层（DW）：也称为细节层，DW层的数据应该是一致的、准确的、干净的数据，即对源系统数据进行了清洗（去除了杂质）后的数据。
  • 数据应用层（DA或APP）：前端应用直接读取的数据源；根据报表、专题分析需求而计算生成的数据。
  • 数据仓库从各数据源获取数据及在数据仓库内的数据转换和流动都可以认为是ETL（抽取Extra, 转化Transfer, 装载Load）的过程，ETL是数据仓库的流水线，也可以认为是数据仓库的血液，它维系着数据仓库中数据的新陈代谢，而数据仓库日常的管理和维护工作的大部分精力就是保持ETL的正常和稳定。

§熟悉常用的大数据组件及中间件，如：Flume、Sqoop、Hdfs、Hive、Hbase、Flink、Spark、Es、Kafka等

§具有良好的系统化思考能力，沟通协作能力，抗压能力

§能够积极创新，乐于面对挑战，负责敬业。

§优秀的团队合作精神；诚实，勤奋，严谨。

Q&A

  • 请问公司用的大数据平台是外面的还是自己公司开发的呢？

面试记录

自我介绍
科研内容—专利—自己负责的部分—数据挖掘算法
数据仓库怎么理解
互问：具体做什么，shell、liunx这样