Windows NAS迁移工具

NAS数据迁移工具的Windows版本,下载后解压即用。用于将对象存储(如OSS、七牛等)或本地磁盘上的文件同步到 NAS文件系统。

一. 功能

Nasimport具有以下特性:

  • 支持的数据源:本地磁盘、OSS、七牛、百度对象存储、金山对象存储、又拍云、亚马逊 s3、腾讯云 cos、HTTP链接;
  • 支持存量数据同步(允许指定只同步某个时间点之后的文件);
  • 支持增量数据自动同步;
  • 支持断点续传;
  • 支持并行数据下载和上传。

二. 使用方法

运行要求

需要在能够挂载目标NAS文件系统的ECS虚拟机上运行该迁移工具。能否挂载NAS文件系统及如何挂载详见:

点击查看其中的SMB

支持的操作系统

  1. Windows Server 2008 标准版 SP2 32位
  2. Windows Server 2008 R2 数据中心版 64位
  3. Windows Server 2012 R2 数据中心版 64位
  4. Windows Server 2016 数据中心 64位

部署及配置

首先,在您本地服务器上创建同步的工作目录(这里以C:\NasImport作为示例),并且将【nasimport】工具包下载在该目录中。

  1. 下载
  2. 创建一个新的工作目录,并将压缩包解压到目录中
  3. 编辑工作目录下的配置文件,即config/sys.properties

建议您直使用配置默认值。如有特殊要求,可以编辑配置字段值

运行服务

NasImport命令

  • 提交任务:nasimport -c config/sys.properties submit <your-job-configuration>
  • 取消任务:nasimport -c config/sys.properties clean <job-name>
  • 查看任务:nasimport -c config/sys.properties stat detail
  • 重试任务:nasimport -c config/sys.properties retry <job-name>
  • 启动服务:nasimport -c config/sys.properties start

启动服务

  • 进入工作目录,并在当前目录中打开一个命令行
  • 在命令行中运行nasimport –c config/sys.properties start

备注:

  • 请保持nasimport处于运行状态。或者,用户可以将其设置为一个Windows后台服务
  • 启动nasimport时,可以将日志重定向到文件,方便以后查看nasimport -c
    config\sys.properties start > nasimport.log 2>&1

定义任务

config\local_job.cfg是一个任务定义文件的模板,用户可以按照此模板来定义自己的任务。

备注:
1. 如果配置了自动增量模式,则任务会定期被执行以扫描最新的数据,该任务永远不会结束。
2. 对于 srcType 为 youpai 的情况,由于又拍云本身 API 限制,list 文件的操作无法实现 checkpoint,在 list 完成之前杀掉进程会导致重新 list 所有文件的操作。

示例任务提交

这里,我们尝试将本地的C:\Program Files\Internet Explorer复制到NAS上。

  • 编辑任务:复制一份config\local_job.cfg到工作目录,编辑以下项

注意,destMountDir要选择一个当前不存在的盘符,否则会和已经存在的产生冲突。destMountTarget为NAS的挂载点。

  • 提交任务:在工作目录重新启动一个命令行,运行nasimport -c config\sys.properties submit local_job.cfg

注意事项:

  • 如果有同名任务正在执行,则提交任务会失败。
  • 如果您需要暂停同步任务,您可以停止 nasimport 进程,需要同步时重启 nasimport 进程即可,重启后会按照上次的进度继续上传。

查看任务状态

在命令行中输入nasimport -c config\sys.properties stat detail

这里会显示当前任务的总体的执行进度,并且会显示当前正在执行的 task进度。例如上文中:“4158464/30492741”表示:总共需要上传的数据量(4158464字节)/已经上传完成的数据量(30492741字节)。“1/1” 表示:总共需要上传的文件个数(1个)/已经上传完成的文件个数(1个)。

迁移工具会将用户提交的一个 job 任务分解为多个 task 并行执行,当所有的 task 都执行完成之后,job 任务才算执行完成。任务执行完成之后,JobState 会显示为”Succeed”或者”Failed”,表示任务执行成功或者失败。如果任务执行失败,可以通过以下文件查看各个task失败的原因:

master/jobs/$jobName/failed_tasks/*/audit.log

对于任务失败的情况,我们在工具中已经做了较为充分的重试,对于可能由于数据源或者目标源暂时不可用引起的失败情况,可以通过如下命令尝试重新执行失败的 TASK:

nasimport  -c config/sys.properties retry <job-name>

一段时间后,再次运行stat detail命令,

此时,SucceededTasks为1,表示任务已经完成。打开文件浏览器,可以看到,h:盘中,已经有相关的文件了:

常见失败原因

  • 任务配置出错,比如 access key/id 出错,权限不足等,这种情况下通常现象是所有task都失败,具体确认需要查看工作目录下的nasimport.log 文件(启动nasimport时需要将日志重定向到此文件,或者,直接在运行nasimport start的命令行上直接查看)。
  • 源文件名的编码方式与系统默认的文件名编码方式不符,例如在 windows下文件名默认为 gbk 编码,linux 下默认为 utf-8 编码,对于数据源是 nfs 的情况下较容易出现该问题。
  • 上传过程中源目录的文件发生了修改,这种情况在 audit.log 里会提示SIZE_NOT_MATCH 相关字样的错误,这种情况下老的文件已经上传成功,新的修改没有上传到 nas。
  • 源文件在上传过程中被删除,导致下载文件时失败。
  • 数据源出现问题导致下载数据源文件失败。
  • 没有先杀掉进程再执行 clean 有可能会导致程序执行异常。
  • 程序异常退出,任务状态为 Abort,这种情况请联系我们(请加旺旺群:1562614356 )。

建议

在配置迁移服务时,如果源端是 oss,请将 srcDomain 设为带 internal 的内网域名,可以省掉从 oss 源端下载的流量费,仅收取 oss 访问次数的费用,且可以获得更快的迁移速度,oss 内网域名您可以从 oss 控制台获取。

如果您的 NAS 在专有网络中,且源端是 oss,请将 srcDomain 设为 oss 提供 的VPC 环境域名,各 Region 对应的 VPC 环境域名:点击查看。

时间: 2024-02-19 08:54:49

Windows NAS迁移工具的相关文章

如何从计算机中删除Windows Server迁移工具

&http://www.aliyun.com/zixun/aggregation/37954.html">nbsp;   微软的Windows Server 2008 R2在性能和功能上都得到了前所未有的提升,诸多企业可将旧有的Windows Server 2003等服务器角色.操作系统设置和数据迁移到运行Win2008 R2.本文则介绍如何从计算机中删除 Windows Server 迁移工具. 一.使用 Windows PowerShell 删除 Windows Server

在源服务器和目标服务器上安装Windows Server迁移工具

微软的http://www.aliyun.com/zixun/aggregation/13975.html">Windows Server 2008 R2在性能和功能上都得到了前所未有的提升,诸多企业可将旧有的Windows Server 2003等服务器角色.操作系统设置和数据迁移到运行Win2008 R2.本文则介绍如何在源服务器和目标服务器上安装Windows Server迁移工具. 如果计划从运行 Windows Server 2008 或 Windows Server 2003

从用户Windows系统到阿里云NAS SMB服务:常用数据迁移备份工具

本文介绍如何由本地(on-premises) 或阿里云的虚拟机Windows系统向阿里云NAS SMB服务上传和备份数据. 阿里云文件系统SMB协议服务介绍 阿里云文件存储服务NAS(阿里云NAS)是阿里云在2016年正式推出的公有云上的网络文件系统实现.阿里云NAS主要面向阿里云 ECS 实例.HPC.Docker.弹性Web和BatchCompute 等计算节点提供文件存储服务.通过标准的文件访问协议,用户无需对现有应用做任何修改,即可在云上使用具备无限容量及性能扩展.单一命名空间.多共享.

Windows Server 2008 R2实战:DHCP服务器迁移过程篇

本系列文章介绍了将现有 DHCP 服务器设置迁移到运行 http://www.aliyun.com/zixun/aggregation/13975.html">Windows Server 2008 R2 的服务器的步骤.如下图显示,迁移前过程包括手动收集数据,然后是在目标服务器和源服务器上运行程序.迁移过程包括源服务器和目标服务器迁移过程,这些过程使用 Export 和 Import cmdlet 自动收集.存储和迁移服务器角色设置.迁移后过程包括验证目标服务器是否已经成功替换源服务器并

Windows Server 2008 R2迁移IP配置数据指南

我们知道,将某些服务器角色迁移到 http://www.aliyun.com/zixun/aggregation/13975.html">Windows Server 2008 R2 时必需迁移 IP 配置数据,包括 DHCP 服务器.域名系统 (DNS) 服务器和 Active Directory域服务.本系列文章介绍如何迁移核心 IPv4 和 IPv6 配置设置和数据. 本文则着重阐述如何准备迁移 IP 配置设置和数据. 一.准备目标服务器 1.在目标服务器上安装 Windows Se

Windows Server 2008 R2实战:DHCP服务器迁移准备篇

本系列文章介绍了将现有 DHCP 服务器设置迁移到运行 http://www.aliyun.com/zixun/aggregation/13975.html">Windows Server 2008 R2 的服务器的步骤.如下图显示,迁移前过程包括手动收集数据,然后是在目标服务器和源服务器上运行程序.迁移过程包括源服务器和目标服务器迁移过程,这些过程使用 Export 和 Import cmdlet 自动收集.存储和迁移服务器角色设置.迁移后过程包括验证目标服务器是否已经成功替换源服务器并

Windows 2003迁移到Windows 2008:准备迁移篇

本文阐述将文件服务从 Windows http://www.aliyun.com/zixun/aggregation/19058.html">2003 Server 或更高版本的 文件服务器迁移到 Windows Server 2008 R2 操作系统过程之准备迁移. 迁移中包含的文件服务为数据和共享.本地用户和组.分布式文件系统 (DFS) 命名空间.分布式文件系统 (DFS) 复制.文件服务器 资源管理器 (FSRM).特定于服务器消息块 (SMB) 和客户端缓存 (CSC) 的组策略

【产品动态】云存储12月月刊

存储头条 ------------------------------------------------------------------------------------------------------- [海外区域开服]   对象存储.消息服务在德国法兰克福.澳洲悉尼.中东迪拜三个区域正式对外开服. [E-MapReduce 全面支持OSS为默认存储]      OSS作为默认的存储,Hadoop.Spark可以作为计算引擎直接分析OSS存储的数据,实现存储与计算分离. 查看详情>

戴尔-EMC联邦:存储业务该如何处理?

通过SEC文件中对戴尔-EMC联邦内高管人员的说明,我们基本可以清晰地看到未来存储业务发展趋势.基本上--而且令人意外的是,存储业务将不会发生变动. 着眼于直接向Michael Dell报告的二级高管,我们现在了解到的是: Michael Dell继续掌控整个联邦体系. 戴尔与EMC合并完成后,Joe Tucci将顺利退休. EMC II公司责任CEO David Goulden将出任企业系统部门总裁,其下涵盖服务器.存储.网络融合型基础设施以及解决方案,其中: o EMC II公司的Bill