• 欢迎光临~

架构与数仓

开发技术 开发技术 2022-10-26 次浏览

面试效果

  • 简单名字学校,项目简介

业务

  • 项目介绍:
  • 数据中台数据流程,技术框架,数据分层,业务bi价值给运营使用》jdk文档,订单分析
    jdk-ng-flume-kafka-hdfs-es-spark-mysql-springcloud
  • 智能推荐:两条线:一条cloud线一条数据线数据流程同上,发送到kafka,落存es=>spark进行asl基于用户的模型推荐,基于媒资的协同过滤推荐;通过业务接口触达C端
  • 数仓:
    • 用户模型:生命周期跟进:可以支持标签,画像。
    • 订单模型:近两个月,追求准实时
    • 价值体现:可以分析活动补贴,平台补贴,投入产出比,结合用户模型分析拉新效果。
    • 规则引擎:
      •  中间DRL动态化,条件组合的正则匹配,触发模型,定时模型的解决方案制定。
        
      •  事件序列,再通过判断触发条件,画像条件,事件组合条件,定时条件等信息判断是否走对应的查询服务,查询的结果进行正则匹。
        
      •  通过state记录中间结果,实现分段查询,进而减少ES的查询次数。
        
      •  redis缓存利用hash结构记录deviceid:cacheid为key下的时间段,事件序列信息,另外通过维护插入时间的时间戳对缓存数据做更新删除操作;利用缓存减少了FLINK查询底层存储的次数和风险,同时也提高了计算并发性能
        

技术

数仓任务的调优: map.agg,skewdata,convert.join.noconditionaltask.size,merge.mapredfiles=true,merge.size,split.size,format,serde,.partition.mode=nonstrict;partitions=100
数仓ads存储的表设计:数据集
数仓BI查询的性能优化:索引和存储关系-聚簇和非聚簇
数仓查询性能的shoot:执行计划index scan,join operator

其他技术

架构的思想

架构-领域-模型--建模语言-事件驱动=》架构的中台

架构的技术

架构原理和认知:点线面的一个过程
分布式原理:CAP,BASE,共识算法Paxos,Raft
中间件
存储
缓存

面试效果

  • 简单名字学校,项目简介

业务

  • 项目介绍:
  • 数据中台数据流程,技术框架,数据分层,业务bi价值给运营使用》jdk文档,订单分析
    jdk-ng-flume-kafka-hdfs-es-spark-mysql-springcloud
  • 智能推荐:两条线:一条cloud线一条数据线数据流程同上,发送到kafka,落存es=>spark进行asl基于用户的模型推荐,基于媒资的协同过滤推荐;通过业务接口触达C端
  • 数仓:
    • 用户模型:生命周期跟进:可以支持标签,画像。
    • 订单模型:近两个月,追求准实时
    • 价值体现:可以分析活动补贴,平台补贴,投入产出比,结合用户模型分析拉新效果。
    • 规则引擎:
      •  中间DRL动态化,条件组合的正则匹配,触发模型,定时模型的解决方案制定。
        
      •  事件序列,再通过判断触发条件,画像条件,事件组合条件,定时条件等信息判断是否走对应的查询服务,查询的结果进行正则匹。
        
      •  通过state记录中间结果,实现分段查询,进而减少ES的查询次数。
        
      •  redis缓存利用hash结构记录deviceid:cacheid为key下的时间段,事件序列信息,另外通过维护插入时间的时间戳对缓存数据做更新删除操作;利用缓存减少了FLINK查询底层存储的次数和风险,同时也提高了计算并发性能
        

技术

数仓任务的调优: map.agg,skewdata,convert.join.noconditionaltask.size,merge.mapredfiles=true,merge.size,split.size,format,serde,.partition.mode=nonstrict;partitions=100
数仓ads存储的表设计:数据集
数仓BI查询的性能优化:索引和存储关系-聚簇和非聚簇
数仓查询性能的shoot:执行计划index scan,join operator

其他技术

架构的思想

架构-领域-模型--建模语言-事件驱动=》架构的中台

架构的技术

架构原理和认知:点线面的一个过程
分布式原理:CAP,BASE,共识算法Paxos,Raft
中间件
存储
缓存

架构与数仓

架构的公共能力

北向适配层:接口
南向适配:仓库,工厂

其他

仓库里面的:数据仓库=》领域,模型,建模语言;业务仓库=》service的缓存和工厂(存储)
事件驱动里面的:中间件技术
工厂里面的:存储,缓存,分布式原理
架构里面的:原理和认知=》基于原理和认知得到的是架构思想=》基于架构思想实现架构的中台=》基于架构的中台实现架构之上的业务和数据能力。

技术的细节

数仓的技术

java的技术

架构的公共能力

北向适配层:接口
南向适配:仓库,工厂

其他

仓库里面的:数据仓库=》领域,模型,建模语言;业务仓库=》service的缓存和工厂(存储)
事件驱动里面的:中间件技术
工厂里面的:存储,缓存,分布式原理
架构里面的:原理和认知=》基于原理和认知得到的是架构思想=》基于架构思想实现架构的中台=》基于架构的中台实现架构之上的业务和数据能力。

技术的细节

数仓的技术

java的技术

程序员灯塔
转载请注明原文链接:架构与数仓
喜欢 (0)