24年4月7日 美团数仓一面
1.自我介绍2.询问了一下简历上的项目3.Spark的提交流程4.kafka为什么能提供大数据5.hbase的rowkey6.mr和spark的区别7.一道hql 用rank函数解决
记录各种有趣的小东西
1.自我介绍2.询问了一下简历上的项目3.Spark的提交流程4.kafka为什么能提供大数据5.hbase的rowkey6.mr和spark的区别7.一道hql 用rank函数解决
cache :将数据临时存储在内存中进行数据重用,如果作业执行完毕,临时保存的数据文件就会丢失persist:将数据临时存储在磁盘文件中进行数据重用,涉及到磁盘I0,性能较低,但是数据安全,如果作业执行完毕,临时保存的数据文件就会丢失checkpoint:将数据长久地保存在磁盘文件中进行数据重用,涉及到磁盘Io,性能较低,但是数据安全。为了保证数据安全,所以一般情况下,会独立执行作业,所以会有重复
一. 排队选人问题描述小D是一名老师,他想选出一些同学参加一个团体比赛。总共有n个同学,每个同学有一个能力值x和一个合作值y,小D将这些同学排成一排。选人的规则如下:小D将选择一排中连续的k个同学参加比赛,而且为了保证比赛成绩,这k个同学的能力值不能小于a,合作值不能小于b。小D想知道总共有多少种可能的选人方案。输入描述:第一行:四个正整数n,k,a,b。 第二行:n个通过空格隔开的正整数表示一排