大数据开发工程师字节面经

    作者:SDADSAD
    链接:https://www.nowcoder.com/discuss/674017?source_id=discuss_experience_nctrack&channel=-1
    来源:牛客网

    从牛客看了不少面经,回馈牛客 分享自己的面经
    一面

    维度建模 如何建 确认主题 确认粒度 确认度量 确认事实表 确认维度表

    Hive shuffle 和 spark shuffle的区别

    Spark 为什么快

    Spark任务是怎么执行的

    转化率如何计算

    缓慢变化维怎么处理

    Flink状态

    Flink窗口

    Flink广播流

    题目

    两个升序链表 合并后仍然升序

    给你两个单词 word1 和 word2,请你计算出将 word1 转换成 word2 所使用的最少操作数 。

    你可以对一个单词进行如下三种操作:

    插入一个字符

    删除一个字符

    替换一个字符

    Sql题
    一个lag解决的问题

    二面面经

    各种业务问题,涉及全流程

    Ks iv 值

    海量用户 用户分群(位图)

    Hive count(distinct)有几个reduce 海量数据会有什么问题

    Spark 有什么优化

    Flink 精确一致怎么保证

    Flink 实时topN

    Flink 写入redis怎么保证精确一致

    事实表分类

    Spark hive 用过的解决数据倾斜的方案

    事实表分类

    累积型快照事实表做法

    三面

    Hdfs读数据流程 源码级别(要回答出来 rpc)

    Hdfs写数据流程 源码级别(要回答出来rpc)

    Mapreduce shffule原理 源码级别(要回答出来锁 多线程 以及缓存写磁盘交换)

    数仓为什么要分层

    实时比起来离线 要注意啥

    特征挖掘 是怎么做的 怎么管理的

    两道题

    Sql
    top1问题

    编程题
    给一个字符串检测是否能重新排布字符串让相邻不同
    如bba 能改成bab 返回true
    aaaac 返回false