蜘蛛池搭建教程

蜘蛛池搭建教程的第一步不是买域名，而是确认服务器环境。程序跑不起来、调度空转、蜘蛛来了却全是 5xx，八成都能追到环境这一层。先按下面的清单把机器确认一遍，再往下走。

服务器选购要点

• 配置起点：2 核 2G / 5Mbps 带宽 / 40G 硬盘可跑通；域名池超过 200 个或日志保留 30 天以上，直接上 4 核 4G / 10Mbps。
• 线路与地域：目标站点在哪，服务器就近选；只做外贸站建议选目标市场所在地，减少抓取超时。
• 系统版本：CentOS 7.9 或 Ubuntu 22.04 的纯净系统镜像，不要用集成面板的封装镜像，容易残留冲突组件。
• 出网策略：确认 80 / 443 出网不受限，很多云厂商默认封 25 端口并限速 80，抓取会大面积超时。
• 备案与合规：境内机器做域名池需按当地要求处理备案与内容合规，别等被停服才补。

系统环境自检（3 条命令）

cat /etc/redhat-release   # 或 cat /etc/os-release 确认系统版本
free -h && df -h /          # 看内存余量与根分区可用空间
curl -I http://www.baidu.com  # 确认 80 端口出网正常，返回 200 即通过

• 系统版本与教程一致（不一致时命令写法要相应调整）。
• 根分区可用空间 ≥ 20G，日志目录单独挂盘更稳。
• 出网测试返回 200，不是连接超时或被重置。
• 已记录服务器 IP、SSH 端口、root 密码，后面每章都要用。

域名池是蜘蛛池的载体，规划得好坏直接决定首轮抓取是否顺畅。这一段教你用一张表格把域名、解析、分组三件事一次理清，后面第 3 章程序导入时直接照表填即可。

三个规划原则

• 分层建池：把域名分成「主力池（长期用 / 有历史）」和「消耗池（测试用 / 新注册）」两档，调度频率分开设，出事时不影响主力。
• 解析一次到位：统一用 @ 与 www 双记录指向同一台服务器 IP，批量导入时避免漏配导致部分域名打不开。
• 按引擎分组：同一域名池内按 UA 分组打标签，必应 / 谷歌 / 百度分组各自独立调度，方便单独看效果。
• 规模循序渐进：首批 20-30 个域名跑通链路，验收通过后每批加 50 个，不要一次性堆几百个。
• 来源要可控：优先选自有或正规渠道获得的域名，避免来历不明的抢注池带来合规与黑帽风险。

操作步骤

1. 建表：新建表格，列固定为「域名 / A 记录 IP / 状态 / 引擎分组 / 备注」，先把 20-30 行填满。
2. 批量解析：在域名商后台用批量解析功能导入，全部指向同一 IP；解析后逐个 ping 或 curl -I 验证，把失败项标红。
3. 分组打标：按目标引擎给每个域名打上分组标签，主力池与消耗池用不同前缀区分，方便程序里按标签调度。
4. 冷启动观察：解析生效后先用浏览器逐个打开一遍，确认页面能正常返回 200，再进入部署章节。

• 所有域名都能 ping 通，无解析失败项。
• 域名池表格已保存为 CSV，第 3 章要用它导入。
• 每个域名都有明确引擎分组，没有留空的。

部署分两段：先把运行环境装好，再上传程序并初始化。所有命令都可以直接复制，注意把示例里的路径和数据库账号换成你自己的。程序包与版本差异可参照 蜘蛛池程序下载与授权说明，确认拿到的是与系统匹配的版本再动手。

第 1 步：安装运行环境

# 更新源并安装 Nginx + MySQL + PHP
apt update && apt install -y nginx mysql-server php8.1-fpm php8.1-mysql php8.1-curl unzip
# 启动服务并设置开机自启
systemctl enable --now nginx php8.1-fpm mysql
# 确认版本，PHP 需 8.0 以上
php -v && nginx -v

如果你用的是可视化面板，思路完全一样：在软件商店里选 Nginx、MySQL 5.7+、PHP 8.x 三个组件安装即可，注意 PHP 扩展要勾上 mysqli 与 curl，否则程序连不上库也发不出请求。

第 2 步：上传程序并初始化

把程序包上传到 /www 目录后解压，再执行初始化命令。域名池 CSV 就是第 2 章保存的那份，直接导入。

# 建目录并解压程序包
mkdir -p /www/spider && cd /www/spider
unzip spider-pool.zip -d ./

# 用面板上传时也要执行这一句，把属主改给 Web 用户
chown -R www-data:www-data /www/spider

# 导入域名池并初始化数据库
php cli.php pool:import /www/domain-pool.csv
php cli.php install --db=spider --user=spider_u --pass=你的库密码

部署自检

• 浏览器能打开后台登录页，页面样式正常、无 500 报错。
• 域名池导入后条数与 CSV 行数一致，没有缺行。
• 目录属主已改为 Web 用户，日志文件可写。
• 后台能看到调度模块入口，说明数据库初始化成功。

调度是蜘蛛池的引擎。参数调太保守，蜘蛛来得慢；调太激进，服务器和域名池先扛不住。下表给了可以直接用的建议值，先用默认区间跑三天，再按日志微调。

挂上计划任务

# 每 15 分钟跑一轮调度，日志按月归档
*/15 * * * * cd /www/spider && /usr/bin/php cli.php task:run >> /var/log/spider.log 2>&1

# 每天凌晨 3 点清理过期日志
0 3 * * * /usr/bin/php /www/spider/cli.php log:clean

计划任务写完，用 tail -f /var/log/spider.log 盯两轮，确认有输出、有时间戳、没有连续报错。没有任何输出的调度任务，基本等于没在跑。

程序装好了、调度也跑起来了，但蜘蛛不会凭空知道你的域名池在哪。外链与入口投放就是给它修路：把域名池的入口页挂到蜘蛛能爬到的地方，抓取才会真正开始。

四类入口，先做前两类

• 自有站互链：用手上的老站、栏目页、友情链接位指向域名池入口页，成本最低、见效最直接。
• 导航站与目录页：选真实有人维护的站点提交，注意清理垃圾目录，宁可少而干净。
• 社媒与内容平台：在行业社区、问答、文档页放置自然链接，用于补充入口多样性。
• 站群内循环：域名池内部做少量互链，形成入口闭环，但不要做成明显的链接农场。

投放节奏与注意点

1. 先少量试投：第一批只投 3-5 个入口，观察两天蜘蛛是否顺着入口进到域名池。
2. 记录投放台账：入口地址、投放日期、承载域名、是否被发现四列记全，方便判断哪一类入口有效。
3. 按时补投：入口页也会失效，建议每周检查一次，失效的换掉而不是重复堆量。
4. 锚文本自然化：不要所有入口都用同一个精确关键词，混合品牌词、长尾词与裸链。

最后一步是验收。这一步做扎实，后面出问题才知道是环境、域名池还是调度的锅。下面这份清单是我们交付时必查的项，建议逐条打勾。

上线验收清单

• 域名池全部可访问，返回 200，无 301 死循环与 404。
• 计划任务已执行至少两轮，日志有时间戳、有抓取记录。
• 蜘蛛 UA 已出现：后台访问日志能看到引擎蜘蛛 UA 条目。
• 三引擎分组各自有数据，不是只有一组在跑。
• 服务器负载与带宽占用在安全区间，未出现长时间打满。
• 入口页已投放且有台账，能够回溯到具体入口地址。

常见故障对照

• 后台打不开 / 500：先看 PHP 错误日志，多半是版本不符或扩展缺失，回第 1 章重验环境。
• 调度无输出：查计划任务是否真的执行、PHP 路径是否写对、执行用户是否有权限。
• 蜘蛛 UA 三天不动：按「防火墙 → 调度日志 → 域名解析 → 入口投放」的顺序查，不要直接重装。
• 大量 5xx：先降并发与频率，再看目标站是否正常，别用加重试来「解决」。