题也必须得到解决然后处理使问题。您使用分布式爬网就像所做的那样。让人们愿意为该项目做出贡献的一些关键点是什么您运行了多少台服务器加入我们项目的人之所以这样做是因为他们认为正在迅速成为垄断者这是年的情况并且需要一个可行的替代方案。我们的项目中有超过名常客在超过个分布式客户端上运行分布式爬虫和分析器所有这些使我们能够以大约的持续速率进行爬网。由于我们最近通过更接近商业世界因此决定我们的项目参与者将通过股权从我们的成功中受益本质。
上项目成员是合作伙伴。这里需要强调的是我们的成员由于经济原因没有加入该项目。你爬行的频率是多少您多久抓取一次最近未更新的页面我们每天抓取大约亿个网址。目前我们的主要重点是扩大我们的数据库以赶上请参阅此处的分析但是我们已经投入了一些能力来重新 电话号码数据 抓取事实上在二月份我们应该有重要页面自动重新抓取的新版本高发布这将允许很快看到竞争对手的反向链接建设活动。我们的测试版每日更新功能显示前一天为注册或购买的域名发现的新反向链接这使我们有机会在进行完整索引更新大约每两个月一次之。
前看到新的反向链接什么是等级与的相比如何是一种非常简单的衡量网页重要性的方法基于链接到该网页的唯一域的数量。更多信息可以在这里找到此衡量标准不如因为它尚未在页面之间流动。我们很快就会发布的大幅改进版本。你们有什么新功能计划吗无法停止思考他们您允许人们导出数量惊人的数据但主要是以每个站点的电子表格形式导出的。您是否考虑过创建一个基于网络或桌面的界面人们可以在其中进行高级分析我们为所有这些数据提供基于的界面能够使用格式快速导出数据。例如如果我想知道链接到和但不。 |
