Question

我有一个很奇怪的情况。

我有一个很简单的包裹:

""https://i.sstatic.net/xnf41.jpg" alt="此处输入图像描述"/ >

Task "get list" retrieves a data table from an assembly with one column and a list of URL to be ran into a object variable.
The "foreach" loop loops through the object variable and loads the URL into a url string variable

The "run", calls the url with this code (its 2005 so Im stuck with VB):

Dim myURI As New Uri("http://" + Dts.Variables("URL").Value.ToString())
Dim myWebClient As New System.Net.WebClient
myWebClient.OpenReadAsync(myURI)

正在调用的 URL 是内部的, 只是读取参数, 并进行一系列操作, 这需要一些时间, 这就是为什么我使用了“ OpenReadAsync ”

我的问题是:如果我有4个 URL 运行, 软件包只运行其中2个。环形 lops 4 次, 脚本被调用4次( 我可以看到如果我调试它), 线 < code> myWebClient. OpenReadAsync( MyURI) 被执行4次, 4个不同的值, 但只有2个调用到 URL 。

如果我再次运行软件包, 其它两个 URL 现在被调用, 这证明 URL 没有任何问题, 如果我在浏览器上人工调用 4 个 URL (比如在 4 个标签上), 它们都会产生预期结果, 从而证明 URL 的代码没有问题。

于是我带着VB代码离开了,这是我第一次使用 uri 和 WebClient, 所以我想知道我是否做错了什么。我还试图在通话之间加一个5秒的睡眠,但是没有运气。

Any help would be appreciated. Thanks

Answer 1

预计所有浏览器会限制为每个主机两次请求, 以避免主机超载。. NET 遵循此规则, 只允许两个同时连接到主机。您可以修改应用程序的配置文件或通过代码修改此限制。

To change the limit in the config file, change the maxConnection attribute in the system.net/connectionManagement element.
To change the limit through code, change the static ServicePointManager.DefaultConnectionLimit property.

您添加到脚本的延迟不起作用, 原因是您没有在 WebClient 实例中调用 Disption 。 WebClient 类保持连接打开, 直到您为了读取响应流而处理它。否则您将无法再次连接到同一个主机, 直到垃圾收集器收集客户端。

此外, OpenReadAsync 向客户端打开流, 并确保它保持开放, 除非关闭它或收集它。您应该使用一个 DownXXXAsync 来避免无缘无故打开流。

更好的解决办法是将下载StringAsync调用,并在下载StringAsync完成活动中处理客户端。

<强 > UPATE:

服务管理器。 DefaultConnectionLimit 存储在一个静态字段中, 这意味着其范围是整个 AppDomain 。 SSIS 使用一个单一的 AppDomain 执行每个软件包, 这样值会影响整个软件包。

如果您想要只修改一个主机的连接限制 < a href=" http://msdn.microsoft.com/en-us/library/c5f0atwd" rel=“ nofollow” >FindServicePoint , 您可以为主机地址创建一个服务点, 并为此地址设定限制 :

var myTarget= ServicePointManager.FindServicePoint(new Uri("http://www.google.com"));
myTarget.ConnectionLimit = 10;

Answer 2