Hive与其他系统集成运维
Hive与其他系统集成运维
单栏 · 无照片
Hive系统运维
教育背景
浙江理工大学
本科双一流
计算机科学与技术 本科
杭州2016年8月 - 2020年5月
主修数据库系统、操作系统与计算机网络。
技能
Hive
Hadoop/HDFS
Linux/Shell
YARN调优
Prometheus监控
Python
荣誉奖项
公司年度优秀员工
志愿服务经历
开源社区技术分享志愿者
本地大数据技术社区
杭州2023年1月 - 至今
- 每季度组织Hive调优主题分享，累计服务开发者200余人次。
个人总结
5年大数据平台运维经验，专注Hive、Hadoop生态集群的部署、监控与性能调优，熟悉CDH与HDP平台。主导过Hive元数据迁移与集群扩容项目，保障日均TB级数据任务稳定运行。具备扎实的Linux与Shell能力，能快速定位并解决线上故障。
工作经历
杭州云数智联科技有限公司
杭州
大数据互联网
Hive系统运维工程师
2022年9月 - 至今
Hive集群运维
- 负责200+节点Hive/Hadoop集群日常运维，通过参数调优与资源队列治理，任务平均耗时下降28%。
- 主导Hive元数据从MySQL迁移至独立高可用库，迁移期间零数据丢失，故障恢复时间缩短至5分钟。
- 搭建Prometheus+Grafana监控体系，覆盖集群核心指标，提前预警磁盘与慢查询问题，线上事故率下降40%。
上海数聚信息技术有限公司
上海
数据服务企业服务
大数据运维工程师
2020年7月 - 2022年8月
Hadoop自动化运维
- 参与HDP集群从0到1部署与扩容，完成80台节点上线，支撑业务数据量增长3倍。
- 编写Shell与Python自动化巡检脚本，替代人工巡检，每周节省运维工时约12小时。
项目经验
Hive集群资源治理与扩容项目
2023年3月 - 2023年10月
运维负责人
- 针对队列资源争抢问题重构YARN队列与Hive资源池，核心报表任务准时率由82%提升至98%。
- 完成集群横向扩容40节点并同步优化HDFS副本策略，存储成本降低约15%。
Hive元数据高可用改造
2022年10月 - 2023年2月
核心成员
- 设计并落地Hive Metastore双活方案，消除单点故障，元数据服务可用性达99.95%。
- 制定迁移与回滚预案，完成全量元数据校验，迁移窗口内业务无感知。
主要成就
任务耗时优化
通过参数调优与资源治理，集群任务平均耗时下降28%。
元数据高可用
落地Metastore双活方案，元数据服务可用性提升至99.95%。
其他信息
到岗时间:
离职后一周内可到岗，可接受短期出差。
技术博客:
持续输出Hive调优与集群运维实践文章20余篇。
证书与认证
Hadoop大数据运维工程师认证 - 工业和信息化部教育与考试中心
2023年6月
证明Hadoop生态集群运维能力。
阿里云ACA大数据助理工程师 - 阿里云
2022年4月
证明云上大数据组件使用能力。
语言能力
英语（CET-4）可阅读英文技术文档
更多Hive模板
同一职位，不同的版式和写法。点开任意一份即可查看大图。
Hive数据仓库运维
Hive数据仓库运维
单栏 · 有照片
Hive版本升级运维
Hive版本升级运维
双栏 · 有照片
Hive监控与告警工程师
Hive监控与告警工程师
双栏 · 无照片
Hive大数据运维
Hive大数据运维
单栏 · 无照片
Hive配置管理专员
Hive配置管理专员
双栏 · 无照片
Hive自动化运维开发
Hive自动化运维开发
单栏 · 无照片
Hive安全运维
Hive安全运维
单栏 · 有照片
就从这份模板开始
模板会复制到你的账户里，每一句话、每个板块和颜色都能改，改好再下载 PDF。