【IT168 评论】Ed Essey,微软并行计算团队的程序经理,记述了一些针对PLINQ的最新增强功能,很快要发布的.NET 4.0 Beta 1将会包含这些功能。他们涉及到:“With"运算符模式(Operators Pattern)、执行模式( Execution Mode)、取消操作(Cancellation)、部分代码的重构、性能提升。
在Beta 1中完整的PLINQ增强列表是:
·With- 运算符模式
·执行模式
·取消操作
·自定义分区
·部分代码的重构
·合并选项
·AsMerged又重新命名为AsSequential
·二元运算符现在需要两边都进行AsParallel
·性能提升
·删除了很少用到的运算符
“With”运算符模式。有4个新的方法:
·e.AsParallel().WithDegreeOfParallelism
·e.AsParallel().WithExecutionMode
·e.AsParallel().WithCancellation
·e.AsParallel().WithMergeOptions
执行模式。PLINQ把消耗相似资源过程调整为一个LINQ-to-Objects查询,特别地与内存消耗相关的东西。当一个PLINQ调用被认为会消耗太多资源,那么调用就连续地执行而不进行并行处理。是否转换到连续执行,是根据查询的具体情况来决定的。如下的查询就会被连续地执行:
·包含编入索引的Select,编入索引的Where,编入索引的SelectMany或者位置不在原始顺序上的ElementAt的查询。索引排序容易受到改变排序规则(如OrderBy)运算符和删除元素(如Where)运算符的影响。
·在已经偏离原始顺序的情况下(参看上面的条目),包含Take、TakeWhile、Skip、SkipWhile运算符的查询,。
·包含Zip、SequenceEquals的查询,除非其中一个数据源具有初始排序的索引,并且其他数据源是可索引的(比如一个数组或IList<T>)。
·包含Concat的查询,除非它是应用到可索引的数据源上。
·包含Reverse的查询,除非应用到可索引的数据源上。
为了强制并行执行,可以这样做:
e.AsParallel().WithExecutionMode(ParallelExecutionMode.ForceParallelism)
取消操作。并行运算可以如下面例子所示那样被取消:
var q = a.AsParallel().WithCancellation(cts.Token).Where(x=>Filter(x)).Select(x=>DoWork(x);
-- separate thread --
foreach (var e in q) { … } // Statement 1
-- separate thread --
var l = q.ToList(); // Statement 2
-- separate thread --
cts.Cancel(); // this will attempt to cancel any in-flight queries,
// including both statements 1 and 2
自定义分区。Partitioner<TSource>、OrderablePartitioner<TSource>类和Partitioner工厂类提供了对数据如何分区的控制。
部分代码的重构。IParallelEnumerable、IParallelEnumerable<T>和IParallelOrderedEnumerable<T> 接口不再是接口而变为不可被扩展的抽象类了:ParalellQuery、ParalellQuery<TSource>和OrderedParallelQuery<TSource>。原因是,一开始他们就不会被扩展。
合并选项。“从AsMerged中移出了ParallelMergeOptions的处理。合并缓冲区现在通过WithMergeOptions方法来设定。”
AsMerged。AsMerged又重命名为曾经使用的和AsParallel类似的名称——AsSequential。
二元运算符。涉及两个数据源的LINQ运算符需要两边都进行AsParallel。类似下面这样的运算:
可并行化为:
或
影响到的运算符:Zip、Join、JoinGroupJoin、Concat、SequenceEqual、Union、Intersect、Except。
性能提升
1.保序流水线处理(Order-preserving pipelining)进行了合并——之前,在查询上一执行AsOrdered,就会在生成单个元素之前迫使整个查询执行。现在进行了优化,以便来自查询的元素只在MergeOptions值为Default(AutoBuffered)和NotBuffered的时候才生成。
2.针对未实现IList<T>的数据源,提升了分区正确性。
3.某些基于IList<T>或数组的查询具有更好的性能。
4.大块分区尺寸进行了调整——基于IList<T>和数组这样的数据源(也即非可索引的数据源)的查询,大块分区是最常见的分区方案(partitioning scheme)。随着越来越多的大块分区被访问,他们的尺寸也就不断增长。这是对如下两种情况的一个平衡:a)对小数据集进行查询,但在查询中要进行昂贵的委托处理,b)对大数据集进行查询,但在查询中不用进行昂贵的委托处理。
5.消除了有可能存在的错误共享情况,在某些情况下可以提升6倍的性能。
删除了很少用到的运算符。某些运算符是为了性能原因而创建的,但是并没有为LINQ提供任何性能好处,因而被移除了。哪些运算符要移除并未确定。
查看英文原文:What Is .NET 4.0 Beta 1 Going to Bring to PLINQ?