Scrapy教程

Scrapy - Telnet 控制台

说明

Telnet 控制台是在 Scrapy 进程内部运行的 Python shell,用于检查和控制 Scrapy 运行进程。

访问 Telnet 控制台

可以使用以下命令访问 telnet 控制台-
telnet localhost 6023
基本上,telnet 控制台列在 TCP 端口中,在 TELNETCONSOLE_PORT 设置中描述。

变量

下表中给出的一些默认变量用作快捷方式-
快捷方式和说明
crawler
这里指的是Scrapy Crawler(scrapy.crawler.Crawler)对象。
engine
这是指 Crawler.engine 属性。
spider
这里指的是活跃的蜘蛛。
slot
这里指的是引擎插槽。
extensions
这是指扩展管理器(Crawler.extensions)属性。
stats
这是指统计数据收集器 (Crawler.stats) 属性。
setting
这里指的是Scrapy设置对象(Crawler.settings)属性。
est
这是指打印引擎状态报告。
prefs
这里指的是用于调试的内存。
p
这是指pprint.pprint 函数。
hpy
这里指的是内存调试。

示例

以下是使用 Telnet 控制台说明的一些示例。

暂停、恢复和停止 Scrapy 引擎

要暂停 Scrapy 引擎,请使用以下命令-
telnet localhost 6023
>>> engine.pause()
>>>
要恢复 Scrapy 引擎,请使用以下命令-
telnet localhost 6023
>>> engine.unpause()
>>>
要停止 Scrapy 引擎,请使用以下命令-
telnet localhost 6023
>>> engine.stop()
Connection closed by foreign host.

查看引擎状态

Telnet 控制台使用 est() 方法来检查 Scrapy 引擎的状态,如下面的代码所示-
telnet localhost 6023
>>> est()
Execution engine status
time()-engine.start_time                        : 8.62972998619
engine.has_capacity()                           : false
len(engine.downloader.active)                   : 16
engine.scraper.is_idle()                        : false
engine.spider.name                              : followall
engine.spider_is_idle(engine.spider)            : false
engine.slot.closing                             : false
len(engine.slot.inprogress)                     : 16
len(engine.slot.scheduler.dqs or [])            : 0
len(engine.slot.scheduler.mqs)                  : 92
len(engine.scraper.slot.queue)                  : 0
len(engine.scraper.slot.active)                 : 0
engine.scraper.slot.active_size                 : 0
engine.scraper.slot.itemproc_size               : 0
engine.scraper.slot.needs_backout()             : false

Telnet 控制台信号

您可以使用 telnet 控制台信号来添加、更新或删除 telnet 本地命名空间中的变量。要执行此操作,您需要在处理程序中添加 telnet_vars dict。
scrapy.extensions.telnet.update_telnet_vars(telnet_vars)
参数-
telnet_vars (dict)
其中,dict 是包含 telnet 变量的字典。

Telnet 设置

下表显示了控制 Telnet 控制台行为的设置-
设置和描述 默认值
TELNETCONSOLE_PORT
这指的是 telnet 控制台的端口范围。如果设置为none,则端口将被动态分配。
[6023, 6073]
TELNETCONSOLE_HOST
这是指 telnet 控制台应该监听的接口。
'127.0.0.1'
昵称: 邮箱:
Copyright © 2022 立地货 All Rights Reserved.
备案号:京ICP备14037608号-4