Python3 爬虫开发
Python2 马上就要不维护了,现在要尽量使用 Python3,正好崔庆才
写了一本《Python 3网络爬虫开发实战》,介绍了 Requests、Selenium、PhantomJS、Beautiful Soup 等 python 库的用法。
用 virtualenv 创建的 python 运行环境,指定用 python3,并安装要用到的库:
pip install virtualenv
mkdir spider3
cd spider3
virtualenv -p python3 env
source env/bin/activate
pip3 install django mysqlclient requests beautifulsoup4
随时将依赖的 python 包更新到 requirements.txt 文件中:
pip3 freeze > requirements.txt