周鑫

大数据开发业余摄影师电影爱好者电竞菜鸟

精通 SQL，熟悉 Hadoop 生态，拥有丰富的 SparkSQL / HiveSQL / MySQL 开发与调优经验；掌握 Java 及 Web 后端框架，熟悉 Python；使用过 ElasticSearch、Doris、HBase 等大数据组件。

SQL 优化 Hadoop 生态 SparkSQL HiveSQL MySQL Java Web 后端 Python ElasticSearch Doris HBase

交流查看技能矩阵

数据工程价值观

稳定、可观测、可回溯；以数据驱动业务增长，以工程保障数据质量。

近期关注

湖仓一体 Spark优化流计算 java web

技术栈一览

SQL

SparkSQL

Hive

Hadoop

MySQL

Java

Spring

Python

ElasticSearch

Doris

HBase

Kafka

技能矩阵

SQL & 数据建模

范式/星型/雪花建模，复杂查询拆分与索引策略，执行计划解读与优化。

SQL 熟练度

MySQL 调优

Hadoop 生态 & 计算引擎

SparkSQL/HiveSQL 作业编排、分区分桶、倾斜治理、Shuffle 调优。

SparkSQL

HiveSQL

检索与存储

特征开发、风控策略、金融/支付风险识别、客户画像。

ElasticSearch

Doris / HBase

经验与调优

作业性能优化

成本导向：Join 重排、广播 Join、减少 Shuffle 宽依赖。
存储策略：合理分区分桶，压缩与文件合并，规避小文件。
参数调优：并行度/内存/缓存命中率联合优化。

数据质量与可观测

血缘追踪与指标对齐，基于阈值的自动告警。
多环境发布与回滚策略，提升稳定性。

系统与后端

Java + Web 后端框架构建数据服务 API。
批流一体接口设计，RBAC 与审计能力。

周鑫

大数据开发 业余摄影师 电影爱好者 电竞菜鸟