测试网站的访问速度/重庆seo的薪酬水平

其实题主问题本质是：

对于多核的单机CPU，如何加快单词数统计速度所以题主的目的是高效地利用多核进行并行计算，至于是类似MR框架的方式实现，还是其他，并不重要？(不知道有没get对题主的point)

如此理解的话，任何一种语言的并行化编程都可以满足要求，不一定非得模拟MR的方式(反正 @xharlie大徐编不停 大神的答案我是看晕了，理解力不够，哭)

正好近期探究了python的 Parallel Python (简称pp) 的并行计算库，而且python处理数据比较便捷，所以在此试着写了一段程序，模拟你要解决的统计问题，希望能帮上你(把代码复制到回答里时，前面的缩进没了题主如果需要的话，自行处理一下哈。囧)

import random as rd

import time

X = [ rd.randint( 1, 9 ) for i in xrange(800000)] # X模拟题主要统计的文本，这里用的是80w个随机生成的1~9之间的整数，统计每个数字出现次数

# 统计数字出现频率

def count_subset(x): # x是X的子集

sub_dict = {}

for i in x:

sub_dict.setdefault(i, 0)

sub_dict[i] += 1

return sub_dict

# 字典合并

def count_all( sub_dict , all_dict):

for key in sub_dict:

all_dict.setdefault( key, 0)

all_dict[key] += sub_dict[key]

# ==非并行版本

start_time = time.time()

all_dict = {}

for x in [ X[i*100000: (i+1)*100000] for i in xrange(8) ]:

count_all(count_subset(x), all_dict)

print all_dict

print "time consumption: ", time.time()-start_time, "s"

#==并行版本

import pp

job_server = pp.Server(ppservers=())

jobs = [ job_server.submit(count_subset,(x,), (), ("random",)) for x in [ X[i*100000: (i+1)*100000] for i in xrange(8) ] ] # 将X分成8份，因为我的CPU是4核有8个线程，一次可以同时处理8个任务，当然，原则上可以分成任意份

start_time = time.time()

all_dict = {}

for job in jobs:

count_all( job(),all_dict)

print all_dict

print "time consumption: ", time.time()-start_time, "s"最后运行结果如下，统计结果是一样的，但并行版本明显快很多：

当然，这并非是最优的解决方案，因为合并字典阶段采用的是单进程。还有在实际中，文本X肯定不能一下子加载到内存，得将函数修改成从本地文件逐个读取的形式。

另外关于 pp 库的使用，可以参考我这篇公众号文章

Python并行化编程小试

希望能帮上你 ;-P