批量获取爱站的网站关键词排名(带真实URL)

大部分SEO都有到爱站上去查目标网站的关键词排名,这方面爱站做的确实不错,一键就可获取,每页25个,共50页,可以获得1250个页面的排名情况,对于大多数的小型网站来说能全面覆盖(对少数大型网站爱站没有全面放开数据,目前我自己正在挖掘数据)。如果想把这些关键词、收录、排名、URL下载到本地研究,手工一个一个地复制耗时耗力,今天我介绍一下用python采集指定域名的爱站前50页排名数据。

2014-11-25_171632.jpg

程序的主体部分是沈成写的,http://shenzhen.seosrx.net/tool/23.html,原版程序是没有考虑采集URL的真实地址,我在此程序的基础上做了修改,能把目前爱站提供的不真实的URL转换成真实的URL。

main()函数的主要作用是遍历这50个网页(也可能少于50个),最核心的是get_keywords()函数,先用一个正则表达式匹配出所有感兴趣的数据,包括关键词、排名、搜索量、PC搜索量、移动端搜索量、收录量及网页URL,此时URL还不是真实的地址,需要转码,由于pytho的元组不可改变,因此最后的text处理是拐了一个弯的。此次修改的核心是使用了geturl()方法。

注意为了获得真实的URL,需要将原来的URL转码处理,因此程序的运行速度比原程序慢了很多,运行的时候请保持耐心,有什么问题请联系我。

附上程序:

导出爱站关键词(真实URL).txt
文件类型: .txt 12e5245e3adadb20148216b32129acb7.txt (1.60 KB)

 

你可能对它们感兴趣

挖掘数据碰到验证码的初步解决方案