scrapy框架读码
2018-01-29 15:19:44 0 举报
scrapy框架读码(未完成)
作者其他创作
大纲/内容
配置warnings
cmdline_run_print_help
NO
scrapy\\cmdline: execute
_get_commands_from_entry_points没读懂
YES
是否是Settings对象
scrapy\\settings\\deprecatedcheck_deprecated_settings
Settings.setdict()
srcapy/settings.__init__Settings.setdict()
项目: begin.py : cmdline.execute
筛出ScrapyCommand的子类
返回
Settings.update()
返回模块importer对象集集
scrapy\\utils\\miscwalk_modules(path)
筛出scrapycommand的子类_iter_command_classes
输出提示信息: 没有该命令_print_commands
_iter_command_classes
_get_commands_from_module
判断argv 为空 则将系统参数赋予 (sys.argv)
ScrapyCommand.process_options
返回参数里第一个不是以'-'为开头的_pop_command_name(argv)
如果要更新的内容为字符串则当做json处理
检查已失效的配置check_deprecated_settings
判断设置是否被锁定(不允许被更新)如果被freeze则raise异常self._assert_mutability()
循环可调用对象walk_modules
输出命令帮助信息
scrapy\\utils\\projectsget_project_settings()
cmd.add_options
cmd.process_options
Settings.setdict
导入模块import_module(path)
settings为空 且未引入conf 则读取引入get_project_settings()
解析类路径并返回类名(路径下最后一个\".\"后面的)
初始化SettingsAttribute对象
设置-help该命令时的usage(用例? 语法)
待完善
获取选项组
crawl.add_option
读取commands_module(自定义命令)_get_commands_from_module
设置命令描述
如果settings为空但已经import过scrapy.conf将scrapy.conf.settings 赋值给 settings
导入子模块
该设置自己的set方法
utils/confarglist_to_dict
是否为SettingsAttribute对象
返回去除了模块前缀的子类名集合
_get_commands_dict
判断是否被锁定
将name-values添加到Settings.attributes属性中
scrapy.command下所有模块(子类)的对象_get_commands_dict
返回scrapy.command下所有模块(子类)的对象
收藏
0 条评论
回复 删除
下一页
