业务无缝迁移至阿里云OSS方案说明

发布时间:2019-04-04 11:06:11

本文介绍某互联网企业架设在某云计算服务上的业务无缝迁移至阿里云 OSS 的案例。

背景信息

客户 A 为某互联网服务公司,主要业务架设于某云计算服务提供商 B 处,为其用户提供图片、视频等在线编辑服务。客户 A 存储在 B 处的历史数据约有1亿个文件,共320TB 左右大小,每天新增约20GB 数据,B 处的数据存储服务和 OSS 的访问带宽均为250MByte/s,业务所需带宽最高为50MByte/s。

现因公司发展需要,考虑将业务切换至 OSS 上。切换时需将原始数据及新增的数据迁移至 OSS,因历史数据较多,为保证公司业务正常进行,此次业务切换需做到如下要求:

迁移中,需保证业务的正常进行,不能影响其用户正常读取数据。

迁移完成后,需保证数据完整,业务可无缝切换。
 

迁移方案

根据客户需求及背景信息,制定了如下迁移方案:

通过阿里云在线迁移服务将客户的存量数据从云服务迁移到 OSS,迁移完成前,客户业务不做变动。

存量数据迁移完成后,通过 OSS 的镜像回源功能让用户可以访问到暂时未迁移至 OSS 的增量数据。

客户将业务切换至 OSS。

业务切换完成后,通过在线迁移服务将用户的增量数据也迁移至 OSS。

数据全部迁移完成并检查无误后,删除源端数据。
 

步骤一:迁移存量数据

创建用于存储迁移数据的 OSS Bucket,详细步骤请参考创建存储空间。

创建用于迁移的子账号 AccessKey:

获取 B 存储服务子账号的 AccessKey:登录云服务控制台获取访问密钥(AccessKey)。

获取阿里云 OSS子账号的 AccessKey:请参考创建 RAM 子账号并授予相关权限。

创建数据地址并创建全量迁移任务。详细配置步骤请参见在线迁移服务对应教程的迁移实施文档。其中,迁移任务的任务配置如下:
业务无缝迁移至阿里云OSS方案说明

性能调优配置如下:
阿里云OSS

 

迁移完成后,需通过查看迁移报告,并对比源地址和目的地址的数据,确认数据已经迁移完成。

说明 若出现文件迁移失败的情况,请参考迁移失败常见问题及解决方案。
 

步骤二:配置镜像回源

迁移存量数据用时约25天,数据迁移过程中,源站还在不断产生新的数据。为了不中断业务,做到业务无缝切换,还需要配置 镜像回源功能。当用户请求的文件在 OSS 中没有找到时,OSS会自动到源站抓取对应文件保存到 OSS,并将内容直接返回给用户。

登录 OSS 管理控制台。

在存储空间列表内,单击存放迁移数据的存储空间。

单击存储设置,之后单击镜像回源区域的设置。

单击创建规则,在弹出的创建规则对话框填写回源信息。
业务无缝迁移

回源类型:选择镜像。

回源条件:默认选择HTTP 状态码 404,根据需求选择是否配置文件名前缀。

回源地址:填写云服务访问地址信息。

更多参数设置请参考设置回源规则。

说明 镜像回源可以配置5条,5条规则同时生效。若有多个资源,可以配置多条镜像回源策略,通过设置不同的 文件名前缀回源不同的数据。

单击确定,完成配置。
 

步骤三:业务切换至 OSS

客户在业务服务器上将数据读取的源地址切换至 OSS。
 

步骤四:迁移增量数据

迁移存量数据期间,源端产生了约100000个,共500GB 左右大小的文件,还需要将这部分增量数据迁移到 OSS。

根据步骤一的创建迁移任务重新创建一个增量迁移任务。其中,迁移任务的任务配置如下:
迁移数据

性能调优配置如下:
性能调优配置

单击创建,开始执行迁移任务。

迁移完成后,需通过查看迁移报告,并对比源地址和目的地址的数据,确认数据已经迁移完成。

说明 若出现文件迁移失败的情况,请参考迁移失败常见问题及解决方案。
 

步骤五:删除源端数据

所有数据迁移完成后,为防止源端继续产生存储费用,可通过生命周期管理,将 Object 生命周期设置为1天,1天后将删除所有数据。

 

如果以上回复对您的问题还未能解决,请联系凯铧互联售后技术支持。阿里云代理商凯铧互联提供阿里云服务器/企业邮箱等产品的代购服务,同样的品质,更多贴心的服务,更实惠的价格。 阿里云代理商凯铧互联会为您提供一对一专业全面的技术服务,同时还能为您提供阿里云其他产品购买的专属折扣优惠。通过凯铧互联购买可以获得折上折优惠!若您需要帮助可以直接联系我方客服,阿里云代理商凯铧互联专业技术团队为您提供全面便捷专业的7x24技术服务。 电话专线:136-5130-9831,QQ:3398234753。

为什么选择我们:北京凯铧互联科技有限公司(简称凯铧互联)由多名前阿里云资深技术专家创立,核心员工来自阿里巴巴、腾讯服务器运维团队,团队90%的成员均是超过10年具备专业运维经验的精英。作为阿里云,腾讯云,百度云,金山云,华为云重要的合作伙伴,凯铧互联专注于为企业用户提供云计算及云服务器解决方案。公司总部设在北京,并在内蒙设有办事处,服务全国各地企业,与互联网专业公司及主流服务商建立了良好合作关系。

  凯铧互联始终坚持帮助企业节省成本、提高效率、创造价值的原则,力求为企业及创业型团队 提供可靠、安全、稳定的运维服务,与之共同成长。做为一家综合性方案商,为用户获得优质服务的同时,秉承"专业规划、周到服务"的服务理念,根据用户的实际情况,充分考虑各种网络资源的特点及功效,为用户量身定做一套适合于其实际应用需求的网络应用方案。帮助用户利用互联网的力量展开新的营销方式,并大大缩短了项目实施周期,获得用户的一致好评!