ftp从服务器上获取通信设备吐出的mr数据,该方案估计在通信行业上一个很普遍的一种方案,很奇怪为什么不把这些数据直接存储到数据库中呢,比如hadoop,反而还需要第三方搞网优的软件开发人员从ftp上读取成千万的mr文件信息。

这种方案估计已经成公认的方案,可能原因:

1,这样的文件格式的不同意,数据库很难定义格式,规则;

2,数据库的制约行吧,数据库比起写文件来说还是差了很多吧。不管从速度上,还是灵活性来说,使用数据库在通信服务商来说该方案不可行性,简直是不接受。

很自然的事情,我们不是只读本地几十,几百G的文件了,而是要变成从ftp上获取到这么多数据,之后去处理这些数据。该需要对软件来说,无意ftp的稳定性,网络的稳定性必要要求高。

所以这种方案,必须ftp的服务必须在内网,外网的方式估计作死的节奏。内网对网络传输速度,稳定性方面已经提升了很多。

其次我们要处理的事情,要求:

1,) 使用c#去读取ftp上的数据,该技术已经很成熟。

2,) 需要测试自己部署一个ftp服务,使用ftp客户端来调试,获取ftp信息,能获取到什么信息。

搭建serv-u:

1,)从网络上下载serv-u,我选择了低版本的ftp,

c# 访问ftp_数据库

2,)配置好账户,分配用户:test,密码:123456,权限adiminstrator,所有权限(读、写、删、移动、重命名文件|文件夹);

为了调试ftp服务及账号状态,需要下载一个ftp客户端.

我使用cute ftp,

连接地址localhost,账号输入test,密码输入:123456,测试没问题,正常联通:

c# 访问ftp_内网_02

怎么使用c#读取ftp上相关信息:

看到codeplex上已经有人写出来完好的ftp client类(开源代码地址:http://ftplib.codeplex.com/,该类库使用的方式是通过windows内核接口来获取),就拿来测试了

测试代码:




const string HOSTNAME = "localhost";
const string USERNAME = "test";
const string PASSWORD = "123456";

static void Main(string[] args)
{
using (FtpConnection ftp = new FtpConnection(HOSTNAME, USERNAME, PASSWORD))
{
ftp.Open(); /* Open the FTP connection */
ftp.Login(); /* Login using previously provided credentials */

if (ftp.DirectoryExists("/test")) /* check that a directory exists */
ftp.SetCurrentDirectory("/test"); /* change current directory */


                  ftp.SetLocalDirectory(@"E:\ftp-test");

                  if (ftp.FileExists("/test/1/dn.accdb")) /* check that a file exists */

                      ftp.GetFile("/test/1/dn.accdb", @"E:\ftp-test\1\dn.accdb", false); /* download /incoming/file.txt as file.txt to current executing directory, overwrite if it exists */

//do some processing

//try
//{
// ftp.SetCurrentDirectory("/outgoing");
// ftp.PutFile(@"c:\localfile.txt", "file.txt"); /* upload c:\localfile.txt to the current ftp directory as file.txt */
//}
//catch (FtpException ex)
//{
// Console.WriteLine(String.Format("FTP Error: {0} {1}", ex.ErrorCode, ex.Message));
//}

foreach (var dir in ftp.GetDirectories())
{
Console.WriteLine(dir.Name);

foreach (var file in dir.GetFiles(dir.Name))
{
Console.WriteLine(file.Name);
}
}

Console.ReadKey();
}
}


 


输入结果均可以正常连接,获取信息:

c# 访问ftp_C#_03

以上算是一个测试ftp的一个过程吧,但针对我们的项目,这些是一个基本功。

 

希望有更多牛人,给更多的建议...



基础才是编程人员应该深入研究的问题,比如:

1)List/Set/Map内部组成原理|区别

2)mysql索引存储结构&如何调优/b-tree特点、计算复杂度及影响复杂度的因素。。。

3)JVM运行组成与原理及调优

4)Java类加载器运行原理

5)Java中GC过程原理|使用的回收算法原理

6)Redis中hash一致性实现及与hash其他区别

7)Java多线程、线程池开发、管理Lock与Synchroined区别

8)Spring IOC/AOP 原理;加载过程的。。。

+加关注】。