DrissionPage 插件官网地址:http://g1879.gitee.io/drissionpagedocs/
pip3 install DrissionPage
from DrissionPage import ChromiumPage
from DrissionPage.easy_set import set_paths
#表示调用浏览器的地址是多少
Windows 地址示例
set_paths(browser_path=r'C:/Users/AAA/AppData/Local/Google/Chrome/Application/chrome.exe') #windows的直接找chrome.exe文件
Linux 地址示例
set_paths(browser_path=r'/opt/google/chrome/google-chrome') #一般linux安装的google浏览器默认都在这个目录
from DrissionPage.easy_set import set_headless, set_paths set_headless(True)
程序必须引入此配置表示无头加载
默认windows是不需要管的,只需要linux的时候设置一下注意端口不要冲突和chromedriver地址即可
服务器linux地址为
/usr/local/python3/lib/python3.7/site-packages/DrissionPage/configs
1,表示chrome对应版本的 chromedriver地址
2,表示debug模式启动的端口,注意如果部署了selenium 端口不要冲突了 默认是9222 修改成9211或者其他都可以
3,表示chrome对应的安装地址,一般不需要动
ini配置代码
[paths] chromedriver_path = /mkl/weipu/chromedriver-linux64/chromedriver download_path = [chrome_options] debugger_address = 127.0.0.1:9211 binary_location = /opt/google/chrome/google-chrome arguments = ['--no-first-run', '--no-sandbox', '--disable-infobars', '--disable-popup-blocking', '--headless=new'] extensions = [] experimental_options = {'prefs': {'profile.default_content_settings.popups': 0, 'profile.default_content_setting_values': {'notifications': 2}}} page_load_strategy = normal user = Default auto_port = False system_user_path = False [session_options] headers = {'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/603.3.8 (KHTML, like Gecko) Version/10.1.2 Safari/603.3.8', 'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8', 'connection': 'keep-alive', 'accept-charset': 'GB2312,utf-8;q=0.7,*;q=0.7'} [timeouts] implicit = 10 page_load = 30 script = 30 [proxies] http = https =
import time import re import math from DrissionPage import ChromiumPage from DrissionPage.easy_set import set_paths from DrissionPage import ChromiumOptions from DrissionPage.easy_set import set_headless, set_paths set_headless(True) #必须要加这个 表示在linux上无头加载 co = ChromiumOptions() co.set_argument('--incognito') co.set_argument('--no-sandbox'); #set_paths(browser_path=r'/opt/google/chrome/google-chrome') #set_paths(browser_path=r'C:/Users/AAA/AppData/Local/Google/Chrome/Application/chrome.exe') def start_test_spider(auth_name,institution_name,status_type): # 用 d 模式创建页面对象(默认模式) page = ChromiumPage() # 跳转到登录页面 page.get('https://xxx.com/') time.sleep(1) #选择点击事件 可以使用 xpath: 后面的是xpath路径 page.ele('xpath://*[@id="basic_searchdomainfilter"]/div[1]/div[1]/div[1]/div/div/input').click() #这里为input的输入的内容 根据xpath page.ele('xpath://*[@id="basic_searchdomainfilter"]/div[1]/div[1]/div[2]/input').input('输入的内容') #关闭浏览器 page.close_tabs()
上一篇:Mysql常用命令详细大全