如何打造百亿级数据处理量的弹性调度容器平台

七牛云数据处理团队的容器技术实践经验

一、数据处理业务场景

首先介绍一下七牛数据处理业务的背景。七牛云目前平台上有超过 50 万家企业客户，图片超过 2000 亿张，累积超过 10 亿小时的视频。 用户把这些图片和视频存储在七牛上后会有一些数据处理方面的需求，如缩放、裁剪、水印等。

这些文件持续在线且数据种类多样，如果用户把这些文件在自己的基板上处理好后再上传到七牛，是非常不合算的事情。而七牛最先提供基于存储的数据处理功能方便用户去做数据处理，这些数据处理通常放在企业的客户端或服务器端来操作，对接上七牛云存储的数据处理接口后，即可对图片和音频进行丰富的实时转码功能，转码生成的新规格文件放在七牛提供的缓存层供 App 调用，不用占用存储空间，对企业来说不仅成本大大降低，还可提高开发效率。

下图为一个图片裁剪的数据处理示例：

七牛的文件处理程序简称 FOP（File Operation），不同的文件处理操作使用不同的 FOP。用户只需上传一个原文件就可以通过使用七牛的数据处理功能得到各种样式丰富的文件。下图为文件从上传存储到处理到分发的流程图：

二、海量数据处理平台的挑战

七牛云的海量数据成就了 Dora 十分强大的数据处理能力，目前七牛的数据处理服务已经日处理数近百亿次。面对这样海量的数据处理请求，原有的数据处理平台也面临着新的挑战：

1. 日均请求量百亿级，CPU 密集型计算
   

    

   海外公司注册、海外银行开户、跨境平台代入驻、VAT、EPR等知识和在线办理：https://www.xlkjsw.com

   

   原标题：如何打造百亿级数据处理量的弹性调度容器平台

   关键词：