python爬虫原理

1、网络连接原理 如上图,简单的说,网络连接就是计算机发起请求,服务器返回相应的HTML文件,至于请求头和消息体待爬虫环节在详细解释。 2、爬虫原理 爬虫原理就是模拟计算机对服务器发起Request请求,接收服务器端的Response内容并解析,提取所需要的信息。 往往一次请求不能完全得到所有网页的信息数据,然后就需要合理设计爬取的过程,来实现多页面和跨页面的爬取。 多页面爬取过程是怎样的呢?...