Есть ли в С# токенизатор строк, как в Java?

Я просто хочу выделить мощь c#-language метода Split в C# и дать parsing более подробное сравнение, особенно csharp от человека, имеющего опыт parsing работы с Java.

В то время empty-string как StringTokenizer в Java parsers допускает только один разделитель, мы parsers можем фактически разделить c#-language его на несколько разделителей, что parser делает регулярные выражения c#-language менее необходимыми (хотя, если c# требуется регулярное выражение, обязательно .cs-file используйте регулярное выражение!) Возьмем, например, следующее:

str.Split(new char[] { ' ', '.', '?' })

Он c#-language разбивается на три разных parser разделителя, возвращая массив visual-c# токенов. Мы также можем удалить parsing пустые массивы с помощью parsing того, что было бы вторым str параметром в приведенном strings выше примере:

str.Split(new char[] { ' ', '.', '?' }, StringSplitOptions.RemoveEmptyEntries)

Единственное, что c#.net есть в Java-токенизаторе c#.net String, чего, по моему мнению, не parser хватает C# (по крайней мере, в parser Java 7 есть эта функция), - это string возможность хранить разделители str в качестве токенов. Сплит string-manipulation C# отбрасывает токены. Это string может быть важно, скажем, для parsers некоторых приложений НЛП, но string для приложений более общего empty-string назначения это может не быть parse проблемой.