Tag: Crawlab

All the articles with the tag "Crawlab".

• 部署 Crawlab 并在 K3s 集群中运行 Worker 来执行爬虫任务

  21 Apr, 2026

  在单独的虚拟机上使用 Docker 部署 Crawlab 服务端，并在 K3s 集群中部署 Crawlab Worker 来执行爬虫任务，实现分布式爬虫调度和管理。

• 使用 Docker 部署 Crawlab 网络爬虫管理平台并运行测试爬虫

  15 Oct, 2024

  分享通过 Docker 部署 Crawlab 平台管理网络爬虫的实践，初衷是简化玩具爬虫的维护并与生产环境分离。步骤涵盖安装 Docker 环境、使用 docker-compose.yaml 单机部署、上传 Scrapy 测试爬虫、运行后查看日志和数据导出。整个过程旨在提升爬虫管理的便捷性，帮助实现集中化操作。