网络安全产品之认识漏洞扫描设备

Scrapy爬虫框架实战

北风之神c:

总结的很全面的scrapy爬虫，写得赞，博主用心了。

此国产分布式函数调度框架 funboost python万能通用函数加速器 https://funboost.readthedocs.io/zh-cn/latest/articles/c8.html ，

只需要@boost一行代码，加到任意新/旧爬虫项目就又强又自由又简单。

funboost 分布式函数调度框架，定位于调度用户的任何函数，只要用户在函数里面写爬虫代码，就可以分布式调度爬虫，

此框架如果用于爬虫，不管从任何方面比较可以领先scrapy 20年，也比任意写的爬虫框架领先10年。

普通爬虫框架一般就设计为url请求调度框架，url怎么请求都是被框内置架束缚死了，

所以有些奇葩独特的想法在那种框架里面难以实现，用户需要非常之精通框架本身然后改造框架才能达到随心所欲的驾驭的目的。

普通的爬虫框架与用户手写requests 请求解析存储，在流程逻辑上是严重互斥的，要改造成使用那种框架改造需要大改特改。

而此框架是函数调度框架，函数里面用户可以随意写一切任意自由想法，天生不会有任何束缚。

依托于funboost的强大可视化管理，不登录机器可以轻松掌控分布式大规模爬虫运行状态，一目了然。

可视化截图： https://funboost.readthedocs.io/zh-cn/latest/articles/c13.html

夫 天下爬虫，当顺天命。Scrapy十败如山崩，Funboost十胜如日升。

PyCharm在用Django开发时，debug模式启动失败，显示can‘t find ‘__main__‘ module”的解决方法

狂浪小小生:

非常感谢，我flask项目也是这个问题解决了

Python爬取淘宝商品评价信息实战

m0_71889570: