大数据开发工程师字节面经
作者:SDADSAD
链接:https://www.nowcoder.com/discuss/674017?source_id=discuss_experience_nctrack&channel=-1
来源:牛客网
从牛客看了不少面经,回馈牛客 分享自己的面经
一面
维度建模 如何建 确认主题 确认粒度 确认度量 确认事实表 确认维度表
Hive shuffle 和 spark shuffle的区别
Spark 为什么快
Spark任务是怎么执行的
转化率如何计算
缓慢变化维怎么处理
Flink状态
Flink窗口
Flink广播流
题目
两个升序链表 合并后仍然升序
给你两个单词 word1 和 word2,请你计算出将 word1 转换成 word2 所使用的最少操作数 。
你可以对一个单词进行如下三种操作:
插入一个字符
删除一个字符
替换一个字符
Sql题
一个lag解决的问题
二面面经
各种业务问题,涉及全流程
Ks iv 值
海量用户 用户分群(位图)
Hive count(distinct)有几个reduce 海量数据会有什么问题
Spark 有什么优化
Flink 精确一致怎么保证
Flink 实时topN
Flink 写入redis怎么保证精确一致
事实表分类
Spark hive 用过的解决数据倾斜的方案
事实表分类
累积型快照事实表做法
三面
Hdfs读数据流程 源码级别(要回答出来 rpc)
Hdfs写数据流程 源码级别(要回答出来rpc)
Mapreduce shffule原理 源码级别(要回答出来锁 多线程 以及缓存写磁盘交换)
数仓为什么要分层
实时比起来离线 要注意啥
特征挖掘 是怎么做的 怎么管理的
两道题
Sql
top1问题
编程题
给一个字符串检测是否能重新排布字符串让相邻不同
如bba 能改成bab 返回true
aaaac 返回false