关于c#：不带分隔符的转换平面文件

Transform Flat File without delimiters

我想将平面文件test.txt转换为平面文件test-output.txt。

方案下方：

输入示例：test.txt

1
2
3
4
5
6
7
8
9
10
11
12

COD/ID:37
PRJ/NAME: Josephy Murphy
PRJ/EMAIL: jmurphy@email.com
PRJ/DESCRIPTION: test37, test37, test37 ...

COD/ID:38
PRJ/NAME: Paul Newman
PRJ/EMAIL: pnewman@email.com
PRJ/DESCRIPTION: test38, test38, test38 ...

.
.

示例输出：test-output.txt(不带标签的管道分隔符)

1
2
3
4

截图链接：
test.txt
test-output.txt

我想将此文件导入SQL Server。但是默认情况下，文件带分隔符的导入文件test.txt(15,000,000行)不是默认值。
我将使用SSIS导入数据，但必须为CSV格式或带分隔符的其他格式。
我考虑过使用REGEX或SSIS脚本组件。我知道带有格式化文本的SSIS文件的导入过程，但是此文件未格式化。

相关讨论

以正则表达式为例：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34

class Program
{
private static Regex reg = new Regex(@"COD/ID:\\s(?<id>\\d+)\
\
PRJ/NAME:\\s(?<name>.+?)\
\
PRJ/EMAIL:\\s(?\\S+?@\\S+?\\.\\S+?)\
\
PRJ/DESCRIPTION:\\s(?<description>.*?)(?:\
|$)");

static void Main(string[] args)
{
string original = @"
COD/ID: 37
PRJ/NAME: Josephy Murphy
PRJ/EMAIL: [email protected]
PRJ/DESCRIPTION: test37, test37, test37 ...

COD/ID: 38
PRJ/NAME: Paul Newman
PRJ/EMAIL: [email protected]
PRJ/DESCRIPTION: test38, test38, test38 ...";

string result = string.Join(
"\
",
reg.Matches(original)
.Cast<Match>()
.Select(m => string.Format("{0}|{1}|{2}|{3}",m.Groups["id"].Value,m.Groups["name"].Value,m.Groups["email"].Value,m.Groups["description"].Value)));
Console.WriteLine(result);
}
}

编辑

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44

class Program
{
private static Regex reg = new Regex(@"COD/ID:\\s(?<id>\\d+)\
\
PRJ/NAME:\\s(?<name>.+?)\
\
PRJ/EMAIL:\\s(?\\S+?@\\S+?\\.\\S+?)\
\
PRJ/DESCRIPTION:\\s(?<description>.*?)\
\
");

static void Main(string[] args)
{
StringBuilder intermediateStringBuilder = new StringBuilder();

using (StreamReader reader = new StreamReader(@"YourInputPath.txt",true))
{
using (StreamWriter writer = new StreamWriter("YourOutputPath.txt"))
{
while (reader.Peek() > 0)
{
string line = reader.ReadLine();
if (!string.IsNullOrWhiteSpace(line))
{
intermediateStringBuilder.AppendLine(line);
}
else
{
WriteToFile(intermediateStringBuilder, writer);
}
}
WriteToFile(intermediateStringBuilder,writer);
}
}
}

private static void WriteToFile(StringBuilder intermediateStringBuilder, StreamWriter writer)
{
Match m = reg.Match(intermediateStringBuilder.ToString());
writer.WriteLine("{0}|{1}|{2}|{3}", m.Groups["id"].Value, m.Groups["name"].Value, m.Groups["email"].Value, m.Groups["description"].Value);
intermediateStringBuilder.Clear();
}
}

相关讨论

恭喜你！使用正则表达式(regex)的完美解决方案。
@ J.LopesSilvestre是的，但是随着数百万行的出现，您可能会遇到内存问题(我只是读过您的评论)...所以这应该是使用较小文件的示例
确实性能受损！然后，解决方案将逐行读取并写入文本文件？使用System.IO的方法；读取和写入文本文件。
@ J.LopesSilvestre这种方法将解析整个内容...如果遇到1500万行，就会遇到麻烦...我将尝试实现可以?饩龈梦侍獾慕饩龇桨?..给我一些
另一种解决方案可以使用SQL Server SSIS-使用REGEX的脚本组?–)）？您是否使用过REGEX SSIS脚本组件？
@ J.LopesSilvestre为这么多的数据添加了一个高性能的解决方案...而且不说实话，我之前从未使用过ssis，因为它不是我的查询考试的一部分...
@FlorianSchmidinger好的正则表达式性能更高，因为它不会生成临时字符串。其余的是IO和缓冲，与解析本身无关。您可以通过使用一系列异步步骤来改善这一点-这实际上是SSIS已经完成的工作。
@PanagiotisKanavos是的，我知道，但是如何处理1500万行呢？
您只需要缓冲足够的空间即可避免过多的IO。您只需将适当的缓冲区大小参数传递给StreamReader构造函数即可做到这一点。几个MB远远不够，无法缓存很多行。将所有内容加载到内存中，然后进行解析，然后将所有内容写出，实际上会更慢，因为在加载或保存大文件时无法进行解析。像SSIS数据流这样的管道，允许在不同线程中同时进行加载，解析和保存，因此您可以在阅读器读取下一个批处理时解析当前批处理
恭喜你！效果很好！谢谢你。只是更正。对于使用旧版本.Net版本3.5的用户，需要调整代码才能正常工作。包含方法：私有静态布尔IsNullOrWhiteSpac(ù俗址担﹞i(╲alue == nu)）返回true;返回string.IsNullOrEmpt(╲alue.Tri(ǎ?还要更改intermediateStringBuilder.Clea(ǎ?通过intermediateStringBuilder.Length = 0;
@ J.LopesSilvestre我希望它的性能足够...否则请使用panagoiotis建议...

在这种情况下，您可以在不使用正则表达式的情况下执行此操作，因为上下文是已知的。

使用此：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44

public class EntryN
{
public string id { get; set; }
public string name { get; set; }
public string email { get; set; }
public string description { get; set; }

public EntryN()
{
this.id = this.name = this.email = this.description = string.Empty;
}
public string ToLine()
{
return this.id +"|" + this.name +"|" + this.email +"|" + this.description;
}
}

var entries = new List<EntryN>();
using (var sl = new StreamReader(@"c:\\YOURPATH.txt", true))
{
var entry = new EntryN();
var line = string.Empty;
while ((line = sl.ReadLine()) != null)
{
if (line.StartsWith("COD/ID:"))
entry.id = line.Substring(8).Trim();
else if (line.StartsWith("PRJ/NAME:"))
entry.name = line.Substring(10).Trim();
else if (line.StartsWith("PRJ/EMAIL"))
entry.email = line.Substring(11).Trim();
else if (line.StartsWith("PRJ/DESCRIPTION"))
entry.description = line.Substring(17).Trim();
else if (line.Trim() == string.Empty)
{
entries.Add(entry);
entry = new EntryN();
}
}
if (!entry.Equals(new EntryN()))
entries.Add(entry);
sl.Close();
}

var resulted = entries.Select(p => p.ToLine()).ToList();

输出：

enter

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

var id = string.Empty;
var name = string.Empty;
var email = string.Empty;
var description = string.Empty;
using (var sw = new StreamWriter(@"OUTPUT_FILE", false, Encoding.UTF8))
{
using (var sl = new StreamReader(@"INPUT_FILE", true))
{
var line = string.Empty;
while ((line = sl.ReadLine()) != null)
{
if (line.StartsWith("COD/ID:"))
id = line.Substring(8).Trim();
else if (line.StartsWith("PRJ/NAME:"))
name = line.Substring(10).Trim();
else if (line.StartsWith("PRJ/EMAIL"))
email = line.Substring(11).Trim();
else if (line.StartsWith("PRJ/DESCRIPTION"))
description = line.Substring(17).Trim();
else if (line.Trim() == string.Empty)
{
sw.WriteLine(string.Format("{0}|{1}|{2}|{3}", id, name, email, description));
id = name = email = description = string.Empty;
}
}
if (!new string[] {id, name, email, description}.Any(p => string.IsNullOrWhiteSpace(p)))
sw.WriteLine(string.Format("{0}|{1}|{2}|{3}", id, name, email, description));
sl.Close();
}
sw.Close();
}