一种基于银行家算法的网络爬虫资源配置策略

• 作者: 周育忠 李广凯 王庆红 韦嵘晖
• 来源期刊: 智能系统学报
• 学科: 工学
• 关键词: 操作系统 资源配置 死锁 系统安全 银行家算法 网络爬虫
• 年，卷（期）: 2015,（3）
• 页码范围: 494-498
• 页数: 5页
• 分类号: TP361|TM75
• 字数: 3361字
• 语种: 中文
• DOI: 10.3969/j.issn.1673-4785.201409021

摘要

死锁是多用户操作系统正常运行的一个重要问题，系统资源不足会导致爬虫算法进入不安全状态，进而引发死锁等问题。引入被广泛用于操作系统的银行家算法，调度多个网络爬虫进程并发运行，并且为每个进程合理分配系统资源，当进程无法获取系统资源时，则等待其他进程分配完成后释放系统资源，从而完成资源分配，有效降低死锁率。采用C＋＋编程，设计并实现基于银行家算法的网络爬虫配置策略。通过2 h 21 min 35 s工程测试，urllib2算法死锁率为30％，新算法死锁率仅为2％，测试证明该策略能够有效降低死锁率，能高效完成多个任务进程的资源分配。

作者信息

序号	姓名	单位	发文数	被引次数	H指数	G指数
1	王庆红	南方电网科学研究院有限责任公司技术情报所	27	158	8.0	11.0
2	李广凯	南方电网科学研究院有限责任公司技术情报所	27	547	8.0	23.0
3	韦嵘晖	南方电网科学研究院有限责任公司技术情报所	13	30	4.0	5.0
4	周育忠	南方电网科学研究院有限责任公司技术情报所	32	47	5.0	5.0