热门文章
 当前位置：技术文章 > 编程面试题 >

一个非常简单的多线程并行URL获取（无队列）

问题内容：

我花了一整天的时间来寻找Python中最简单的多线程URL提取程序，但是我发现的大多数脚本都使用队列或多处理或复杂的库。

最后，我写了一个我自己的东西，据我报告，这是一个答案。请随时提出任何改进建议。

我想其他人可能一直在寻找类似的东西。


问题答案：

尽可能简化您的原始版本：

import threading
import urllib2
import time

start = time.time()
urls = ["http://www.google.com", "http://www.apple.com", "http://www.microsoft.com", "http://www.amazon.com", "http://www.facebook.com"]

def fetch_url(url):
    urlHandler = urllib2.urlopen(url)
    html = urlHandler.read()
    print "'%s\' fetched in %ss" % (url, (time.time() - start))

threads = [threading.Thread(target=fetch_url, args=(url,)) for url in urls]
for thread in threads:
    thread.start()
for thread in threads:
    thread.join()

print "Elapsed Time: %s" % (time.time() - start)

唯一的新技巧是：

  • 跟踪创建的线程。
  • 如果您只想知道线程何时完成，请不要打扰线程计数器。join已经告诉你了。
  • 如果不需要任何状态或外部API，则不需要Thread子类，而只需一个target函数。