【6】网络与网页-2-爬虫--selenium之等待页面加载完成

需求： 有时候，我们使用selenium用来获取一些元素时，需要等待页面将某些元素加载网站才能够获取我们需要的数据，所以，这时候我们就需要等待页面的功能。

Selenium Webdriver 提供两种类型的waits - 隐式和显式。显式等待会让WebDriver等待满足一定的条件以后再进一步的执行。而隐式等待让Webdriver等待一定的时间后再才是查找某元素

当你觉得你的定位没有问题，但是却直接报了元素不可见，那你就可以考虑是不是因为程序运行太快或者页面加载太慢造成了元素不可见，那就必须要加等待了，等待元素可见再继续运行程序；

1、显示等待（推荐）

显式等待是你在代码中定义等待一定条件发生后再进一步执行你的代码。 最糟糕的案例是使用time.sleep()，它将条件设置为等待一个确切的时间段。 这里有一些方便的方法让你只等待需要的时间。WebDriverWait结合ExpectedCondition 是实现的一种方式。需要的元素发现就会继续执行

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Chrome()
driver.get("https://www.baidu.com/")
try:
    element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.XPATH, '//*[@id="su"]'))
    )
    text = driver.page_source
    print("text", text)
finally:
    driver.quit()

2、隐式等待（也不错）

如果某些元素不是立即可用的，隐式等待是告诉WebDriver去等待一定的时间后去查找元素。 默认等待时间是0秒，一旦设置该值，隐式等待是设置该WebDriver的实例的生命周期。

from selenium import webdriver

driver = webdriver.Chrome()
driver.implicitly_wait(10) # seconds
driver.get("https://www.baidu.com/")
myDynamicElement = driver.find_element_by_xpath('//*[@id="su"]')
text = driver.page_source
print("text", text)

3、time.sleep(一般不推荐)

就是使用time模块的time.sleep()设置等待时间（一般不推荐这个，时间要么多等才会获取到我们需要的数据元素）

from selenium import webdriver
import time
driver = webdriver.Chrome()
# driver.implicitly_wait(10) # 这个单位是秒
driver.get("https://www.baidu.com/")
time.sleep(2) 
text = driver.page_source
print("text", text)

参考资料

• https://blog.csdn.net/weixin_42081389/article/details/98486562