这个没有必要多说，毕竟是用Python语言编写的爬虫，所有Python语言还是要熟练。 需要了解远程请求，Http头信息，浏览器的拦截，抓包等技术。 Javascript、CSS、HTMl这些语言的知识一定要掌握，因为远程网络爬虫，爬取的页面就是有html、css、JavaScript组成的，了解这些语言，才能了解页面的结构，进而才能爬取到有价值的信息。 cookie的应用主要是在登录方面，网站的用户登录通常会把登录信息存储到cookie中，通过模拟cookie信息，进而模拟用户登录。而IP代理的应用场景是用于网站的反爬，网站通过限制单个IP的访问频次，解决网站被爬取的风险，而通过IP代码可以解决这个问题。