你的位置:首页 > 数据库

[数据库]mysql 性能容量评估


性能容量评估

 
  • 分析上线业务场景
  • 评估数据库服务器所需性能指标
  • 预估可能成为瓶颈的服务器资源
  • 帮助数据库性能调优
 
数据库服务器硬件性能指标项:
  • 磁盘IO性能
  • 内存容量
  • CPU
  • 网络吞吐量
  • 磁盘容量
 
数据库业务特点关键词

 
  • OLTP/OLAP
  • 并发请求
  • 读写比例
  • 数据量
  • 冷热数据比
  • 数据分级存储
 
OLTP与OLAP 
T=Transaction
面向广大用户,高并发,较短事务操作
互联网应用绝大部分属于OLTP
OLTP看中服务器CPU,内存,写事务较多或内存不够则依赖磁盘IO
A=Analytical
通常面向内部人员,大规模复杂查询
OLAP看中磁盘扫描的IO能力,部分依赖内存排序
 
并发请求数--衡量线上业务繁忙程度
  • 业务高峰时数据库的每秒并发访问量是多少
  • 通过应用服务器数量,连接池配置判断
  • 通过产品估算初上线用户规模和用户增长速度判断
  • 通过实际业务业务类型判断
  •  
  • 并发量相关资源:cpu
 
读写比例--描述应用程度如何使用数据库
  • 线上业务select只读与update/delete/insert写操作比例
  • delete/update通常都是先读再写
  • insert需要区分数据写入还是持续insert还是大量导入数据
  • 根据业务实际场景分析
多读场景相关资源:内存
多写场景相关资源:磁盘IO
 
数据量-总量
  • 数据库服务器存储设备可扩容能力的上限
  • 根据估算的业务量,写入模式,分析数据增长量
  • 预计一个硬件升级周期内数据库可存放数据的总量,上线时要留好余量
  • 数据总量相关资源:磁盘容量
 
冷热数据比-有用数据的实时集合
  • 热数据,线上最新一定周期内将被反复访问的数据
  • 冷数据,线上保存着的,最近不会被在线用户用到的数据
  • 估算活跃用户量,数据增长量等预估热数据量
  • 内存大小尽可足够存放线上实时热数据
  • 热数据相关资源:内存
 
线上数据分层存储--缓解线上磁盘空间压力


 
服务器资源选型--将可选方案列出来

 

 


性能--成本的平衡;
 
数据库业务特点关键词
  • OLTP/OLAP
  • 并发请求
  • 读写比例
  • 数据量
  • 冷热数据比
  • 数据分级存储
 
案例

 
案例一,网易云音乐曲库数据库服务器评估
  • 用于存放线上数千万歌曲信息
  • 确定属于OLTP线上类型数据库
  • 并发请求
    • 50台应用服务器,每台最大连接数100
    • 可能峰值5000qps,并发请求量较大
    • 所以:CPU需求高
  • 读写比例
    • 访问模式以用户列出歌单和播放歌曲时查询歌曲信息为主,用户只有只读查询
    • 写数据发生在录入新歌或修改歌曲信息时后台操作,写比例小,且为批量导入
    • 读写比例:100:1
  • 数据总量
    • 估算每首歌信息8K,总计5000万,总量400G
    • 数据总量增长相对较慢
  • 冷热数据比
    • 5000万歌曲中大约40%可能被访问,10%属于热点歌曲
    • 热数据大约<40G
  • 数据分级存储需求
    • 由于没有用户产生的数据,歌曲信息无法分级存储
 
分析完得出以下结论:
  • 并发请求高-----------------------CPU性能要求高
  • 读占大部分,且热数据大约40G---内存需求一般>40G
  • 数据总量400G--------------------磁盘空间需求一般>400G
  • 写比例较少,且是后台批量--------磁盘IO能力需求一般
  • 网络流量要求:8K*2500(每秒2500首放回给用户)/1024≈20MB/S,一般
 
一般使用估算容量*2;

 

 
     
 
分析上线业务场景
 
数据库业务特点关键词
  • OLTP/OLAP
  • 并发请求
  • 读写比例
  • 数据量
  • 冷热数据比
  • 数据分级存储
 
案例二,网易理财销售数据库服务器评估
分析上线业务场景:
  • 用于存放理财用户线上订单
  • 确定属于OLTP线上类型数据库
  • 业务场景有明显特征
    • 特定高息产品秒杀销售时间窗有大量并发订单写入
    • 平时只有少量订单查询请求,和较低的常规产品购买请求
  • 评估应以满足最关键的业务高峰为基准
 
数据库业务特点:
  • 确定属于OLTP线上类型数据库
  • 并发请求量
    • 秒杀期间持续时间短,但是并发量预估30台应用服务器约2000tps(实际估算,比如限售3亿,平均每笔订单1万,则会有3万笔订单,根据实际情况,3万笔订单将在十几秒卖光,所以,每秒应该有2000笔订单完成)
    • 所以CPU要求较高
    • 所以网络要求较高
  • 读写比例
    • 高峰时写订单是主要开销操作
    • 所以磁盘IO要求很高
  • 数据总量
    • 根据业务分析,订单属于写入瞬时量大,总量较小,单笔金额较高
    • 总量预估一年成交百万单位级别,增长量较稳定
    • 判断数据存储需求小于200G
    • 所以磁盘空间需求一般,>200G
  • 冷热数据
    • 峰值写入为主,内存要求存放热点期间产生的脏数据即可
    • 总共有3万笔订单数据产生,算一算脏数据<10G
  • 数据分级存储需求
    • 用户订单业务约定页面展示最近半年订单,半年前的需要到历史查询页面专门查询
    • 因此可以做分级存储,迁移所有半年前订单至历史库

 


 
 总结

 
  •  硬件性能指标:
    • 磁盘IO性能
      • 单盘->盘阵
      • SAS-SATA,
      • 机械盘->ssd
    • 内存 较小->较大,
    • cup
      • 普通->多核,
      • 超线程,
    • 磁盘容量
      • 单盘->盘阵,
      • 单盘->LVM,
    • 网络吞吐量
      • 千兆->万兆,
      • 单网卡->多路;
  •  数据库业务特点:
    • OLTP/OLAPM,
    • 并发请求------cpu,
    • 读写比例
      • 读---内存
      • 写磁盘IO,
    • 数据量--磁盘容量,
    • 冷热数据比 
      • 热数据多--内存,
    • 数据分级存储--缓解线上磁盘空间压力
  • 性能与成本的平衡