[bigdata-031] python3+selenium 做抓取

1. 安装

1.1 pip3 install -U selenium

1.2 下载 https://github.com/mozilla/geckodriver/releases/download/v0.13.0/geckodriver-v0.13.0-linux64.tar.gz? 解压缩，然后放到/usr/bin目录

2. 抓取豆瓣

#!/usr/bin/env python3
#!-*- coding:utf-8 -*-

import time
from selenium import  webdriver

def main():
    browser = webdriver.Firefox()
    browser.get('https://www.douban.com/people/62513788/')
    # print(browser.title)
    # print(type(browser.title))
    if browser.title.find("登录") >= 0:
        elem = browser.find_element_by_id("email")
        print(elem)
        elem.send_keys("n19@x65.com")
        print(elem)
        elem = browser.find_element_by_id("password")
        elem.send_keys("tt6")
        time.sleep(2)
        elem = browser.find_element_by_class_name("btn-submit")
        elem.click()


if __name__ == '__main__':
    main()

3. 剩下的事情，就是搜索字符串，以及获取新页面，xpath这些了...

（编辑：ASP站长）

【免责声明】本站内容转载自互联网，其相关言论仅代表作者个人观点绝非权威，不代表本站立场。如您发现内容存在版权问题，请提交相关链接至邮箱：bqsm@foxmail.com，我们将及时予以处理。