PythonでSeleniumWebdriverを使用してWebページをスクロールするにはどうすればよいですか?

146
user2523364 2014-01-08 17:44.

私は現在、Selenium Webdriverを使用してFacebookユーザーの友達ページを解析し、AJAXスクリプトからすべてのIDを抽出しています。しかし、私はすべての友達を取得するために下にスクロールする必要があります。Seleniumで下にスクロールするにはどうすればよいですか。私はPythonを使用しています。

18 answers

288
OWADVL 2015-01-04 12:13.

あなたが使用することができます

driver.execute_script("window.scrollTo(0, Y)") 

ここで、Yは高さです(フルHDモニターでは1080です)。(@lukeisに感謝します)

使用することもできます

driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

ページの一番下までスクロールします。

ソーシャルネットワークやFacebookなど、読み込みが無限のページにスクロールしたい場合(@Cuong Tranに感謝)

SCROLL_PAUSE_TIME = 0.5

# Get scroll height
last_height = driver.execute_script("return document.body.scrollHeight")

while True:
    # Scroll down to bottom
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

    # Wait to load page
    time.sleep(SCROLL_PAUSE_TIME)

    # Calculate new scroll height and compare with last scroll height
    new_height = driver.execute_script("return document.body.scrollHeight")
    if new_height == last_height:
        break
    last_height = new_height

別の方法(Juanseのおかげで)は、オブジェクトを選択して

label.sendKeys(Keys.PAGE_DOWN);
78
Cuong Tran 2017-04-09 09:32.

linkedin.comのように)無限のページの一番下までスクロールしたい場合は、次のコードを使用できます。

SCROLL_PAUSE_TIME = 0.5

# Get scroll height
last_height = driver.execute_script("return document.body.scrollHeight")

while True:
    # Scroll down to bottom
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

    # Wait to load page
    time.sleep(SCROLL_PAUSE_TIME)

    # Calculate new scroll height and compare with last scroll height
    new_height = driver.execute_script("return document.body.scrollHeight")
    if new_height == last_height:
        break
    last_height = new_height

参照:https//stackoverflow.com/a/28928684/1316860

37
LIU YUE 2018-07-15 19:34.

(または)キーの押下(通常はページをスクロールするsend_keysをシミュレートするために使用できます。ENDPAGE_DOWN

from selenium.webdriver.common.keys import Keys
html = driver.find_element_by_tag_name('html')
html.send_keys(Keys.END)
24
lukeis 2014-01-08 18:04.

ここに示されているのと同じ方法:

Pythonではあなたはただ使うことができます

driver.execute_script("window.scrollTo(0, Y)")

(Yはスクロールしたい垂直位置です)

16
premonition 2016-06-08 12:54.
element=find_element_by_xpath("xpath of the li you are trying to access")

element.location_once_scrolled_into_view

これは、表示されていない「li」にアクセスしようとしたときに役立ちました。

10
Nick Brady 2018-08-03 06:59.

私の目的では、ウィンドウの位置を念頭に置いて、さらに下にスクロールしたいと思いました。私の解決策は似ていて、使用されましたwindow.scrollY

driver.execute_script("window.scrollTo(0, window.scrollY + 200)")

これは現在のyスクロール位置+200に移動します

8
sahaja nadendla 2018-11-28 21:14.

これはあなたがウェブページを下にスクロールする方法です:

driver.execute_script("window.scrollTo(0, 1000);")
7
Bass Dee 2017-11-10 02:37.

少なくともFacebookの検索結果ページを下にスクロールするためには、これらの答えはどれも私にはうまくいきませんでしたが、このソリューションを何度もテストした後、私は見つけました:

while driver.find_element_by_tag_name('div'):
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    Divs=driver.find_element_by_tag_name('div').text
    if 'End of Results' in Divs:
        print 'end'
        break
    else:
        continue
7
Juanse 2018-04-17 08:21.

その問題を解決するために私が見つけた最も簡単な方法は、ラベルを選択してから送信することでした。

label.sendKeys(Keys.PAGE_DOWN);

それがうまくいくことを願っています!

6
Vinay Verma 2019-03-13 18:35.

ユーチューブで作業する場合、フローティング要素がスクロール高さとして値「0」を与えるようにではなく、使用して「document.body.scrollHeightを返す」、このいずれかを使用してみてください「document.documentElement.scrollHeightが返す」 あなたのインターネットごとにスクロール休止時間を調整しますそれ以外の場合は、1回だけ実行され、その後中断します。

SCROLL_PAUSE_TIME = 1

# Get scroll height
"""last_height = driver.execute_script("return document.body.scrollHeight")

this dowsnt work due to floating web elements on youtube
"""

last_height = driver.execute_script("return document.documentElement.scrollHeight")
while True:
    # Scroll down to bottom
    driver.execute_script("window.scrollTo(0,document.documentElement.scrollHeight);")

    # Wait to load page
    time.sleep(SCROLL_PAUSE_TIME)

    # Calculate new scroll height and compare with last scroll height
    new_height = driver.execute_script("return document.documentElement.scrollHeight")
    if new_height == last_height:
       print("break")
       break
    last_height = new_height
5
Splarty 2018-09-04 08:21.

動的なWebページをスクロールし、ページの終わりに達すると自動的に停止する方法を探していたところ、このスレッドが見つかりました。

@Cuong Tranによる投稿は、主な変更点が1つあり、私が探していた答えでした。他の人が変更が役立つかもしれないと思ったので(それはコードの動作に顕著な影響を及ぼします)、したがってこの投稿。

変更は、ループの最後のページの高さをキャプチャするステートメントを移動することです(各チェックが前のページの高さと比較されるように)。

したがって、以下のコード:

動的なWebページ(.scrollTo())を継続的に下にスクロールし、1回の反復でページの高さが同じままの場合にのみ停止します。

(別の変更があり、breakステートメントが別の条件(ページが「スティック」の場合)内にあり、削除できます)。

    SCROLL_PAUSE_TIME = 0.5


    while True:

        # Get scroll height
        ### This is the difference. Moving this *inside* the loop
        ### means that it checks if scrollTo is still scrolling 
        last_height = driver.execute_script("return document.body.scrollHeight")

        # Scroll down to bottom
        driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

        # Wait to load page
        time.sleep(SCROLL_PAUSE_TIME)

        # Calculate new scroll height and compare with last scroll height
        new_height = driver.execute_script("return document.body.scrollHeight")
        if new_height == last_height:

            # try again (can be removed)
            driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

            # Wait to load page
            time.sleep(SCROLL_PAUSE_TIME)

            # Calculate new scroll height and compare with last scroll height
            new_height = driver.execute_script("return document.body.scrollHeight")

            # check if the page height has remained the same
            if new_height == last_height:
                # if so, you are done
                break
            # if not, move on to the next loop
            else:
                last_height = new_height
                continue
5
Osuynonma 2019-07-11 15:20.

このコードは一番下までスクロールしますが、毎回待つ必要はありません。継続的にスクロールしてから、一番下で停止します(またはタイムアウトします)

from selenium import webdriver
import time

driver = webdriver.Chrome(executable_path='chromedriver.exe')
driver.get('https://example.com')

pre_scroll_height = driver.execute_script('return document.body.scrollHeight;')
run_time, max_run_time = 0, 1
while True:
    iteration_start = time.time()
    # Scroll webpage, the 100 allows for a more 'aggressive' scroll
    driver.execute_script('window.scrollTo(0, 100*document.body.scrollHeight);')

    post_scroll_height = driver.execute_script('return document.body.scrollHeight;')

    scrolled = post_scroll_height != pre_scroll_height
    timed_out = run_time >= max_run_time

    if scrolled:
        run_time = 0
        pre_scroll_height = post_scroll_height
    elif not scrolled and not timed_out:
        run_time += time.time() - iteration_start
    elif not scrolled and timed_out:
        break

# closing the driver is optional 
driver.close()

これは、応答が0.1秒かかる可能性がある場合に、応答を毎回0.5〜3秒待つよりもはるかに高速です。

5
ashishmishra 2019-04-23 02:54.

読み込みページをスクロールします。例:ミディアム、クォーラなど

last_height = driver.execute_script("return document.body.scrollHeight")
    while True:
        driver.execute_script("window.scrollTo(0, document.body.scrollHeight-1000);")
        # Wait to load the page.
        driver.implicitly_wait(30) # seconds
        new_height = driver.execute_script("return document.body.scrollHeight")
    
        if new_height == last_height:
            break
        last_height = new_height
        # sleep for 30s
        driver.implicitly_wait(30) # seconds
    driver.quit()
2
MoKG 2020-03-19 00:09.

このScrollTo()機能は動作しなくなりました。これは私が使用したものであり、正常に機能しました。

driver.execute_script("document.getElementById('mydiv').scrollIntoView();")
1
Noname 2020-01-14 00:01.

特定のビュー/フレーム(WebElement)内でスクロールする場合は、「body」を、スクロールする予定の特定の要素に置き換えるだけです。以下の例では、「getElementById」を介してその要素を取得します。

self.driver.execute_script('window.scrollTo(0, document.getElementById("page-manager").scrollHeight);')

これは、たとえばYouTubeの場合です...

1
coder420 2020-08-08 01:56.

このタイプの目的に使用できるセレンコードスニペットの例を次に示します。「Pythonチュートリアルを列挙する」のYouTube検索結果のURLに移動し、「Pythonチュートリアルを列挙する(2020)」というタイトルのビデオが見つかるまで下にスクロールします。

driver.get('https://www.youtube.com/results?search_query=enumerate+python')
target = driver.find_element_by_link_text('Enumerate python tutorial(2020).')
target.location_once_scrolled_into_view
0
Long Lê Hoàng 2020-06-12 03:44.
driver.execute_script("document.getElementById('your ID Element').scrollIntoView();")

私の場合はうまくいっています。

0
THE PROGRAMMER NOUR-ELDIN1 2020-09-09 04:19.

send_keysを使用して、PAGE_DOWNキーの押下(通常はページをスクロールする)をシミュレートできます。

from selenium.webdriver.common.keys import Keys
html = driver.find_element_by_tag_name('html')
html.send_keys(Keys.PAGE_DOWN)

Related questions

MORE COOL STUFF

「水曜日」シーズン1の中心には大きなミステリーがあります

「水曜日」シーズン1の中心には大きなミステリーがあります

Netflixの「水曜日」は、典型的な10代のドラマ以上のものであり、実際、シーズン1にはその中心に大きなミステリーがあります.

ボディーランゲージの専門家は、州訪問中にカミラ・パーカー・ボウルズが輝くことを可能にした微妙なケイト・ミドルトンの動きを指摘しています

ボディーランゲージの専門家は、州訪問中にカミラ・パーカー・ボウルズが輝くことを可能にした微妙なケイト・ミドルトンの動きを指摘しています

ケイト・ミドルトンは、州の夕食会と州の訪問中にカミラ・パーカー・ボウルズからスポットライトを奪いたくなかった、と専門家は言う.

一部のファンがハリー・スタイルズとオリビア・ワイルドの「非常に友好的な」休憩が永続的であることを望んでいる理由

一部のファンがハリー・スタイルズとオリビア・ワイルドの「非常に友好的な」休憩が永続的であることを望んでいる理由

一部のファンが、オリビア・ワイルドが彼女とハリー・スタイルズとの間の「難しい」が「非常に友好的」な分割を恒久的にすることを望んでいる理由を見つけてください.

エリザベス女王の死後、ケイト・ミドルトンはまだ「非常に困難な時期」を過ごしている、と王室の専門家が明らかにする 

エリザベス女王の死後、ケイト・ミドルトンはまだ「非常に困難な時期」を過ごしている、と王室の専門家が明らかにする 

エリザベス女王の死後、ケイト・ミドルトンが舞台裏で「非常に困難な時期」を過ごしていたと伝えられている理由を調べてください.

セントヘレナのジェイコブのはしごを登るのは、気弱な人向けではありません

セントヘレナのジェイコブのはしごを登るのは、気弱な人向けではありません

セント ヘレナ島のジェイコブズ ラダーは 699 段の真っ直ぐ上る階段で、頂上に到達すると証明書が発行されるほどの難易度です。

The Secrets of Airline Travel Quiz

The Secrets of Airline Travel Quiz

Air travel is far more than getting from point A to point B safely. How much do you know about the million little details that go into flying on airplanes?

Where in the World Are You? Take our GeoGuesser Quiz

Where in the World Are You? Take our GeoGuesser Quiz

The world is a huge place, yet some GeoGuessr players know locations in mere seconds. Are you one of GeoGuessr's gifted elite? Take our quiz to find out!

バイオニック読書はあなたをより速く読むことができますか?

バイオニック読書はあなたをより速く読むことができますか?

BionicReadingアプリの人気が爆発的に高まっています。しかし、それは本当にあなたを速読術にすることができますか?

Total War:Warhammer:Kotakuレビュー

Total War:Warhammer:Kotakuレビュー

私はこのゲームを嫌う準備ができていました。先週の前に、Total War:Warhammerについての私の考えがありました:それでもここに私は、私の手にある完成品であり、私は変わった男です。

涙の道:軍事化された帝国主義勢力がスタンディングロックキャンプを占領

涙の道:軍事化された帝国主義勢力がスタンディングロックキャンプを占領

スタンディングロックスー族のメンバーと水の保護者は、ノースダコタ州のスタンディングロックにあるオセティサコウィンキャンプを去ります。(Twitter経由のCNNスクリーンショット)火と煙がスカイラインを覆い、スタンディングロックスー族のメンバーと水の保護者が、聖なるものを守りながら建てた家、オセティサコウィン(セブンカウンシルファイアーズ)キャンプから行進し、太鼓を打ち、歌い、祈りました。ダコタアクセスパイプラインとしても知られる「ブラックスネーク」からの土地。

シアーズとKマートはイヴァンカ・トランプの商品を自分たちで取り除いています

シアーズとKマートはイヴァンカ・トランプの商品を自分たちで取り除いています

写真:APシアーズとKマートは、イヴァンカ・トランプのトランプホームアイテムのコレクションも、誰も購入したくないために削除しました。シアーズとKマートの両方の親会社であるシアーズホールディングスは、土曜日のABCニュースへの声明で、彼らが気にかけていると辛抱強く説明しましたトランプラインを売り続けるにはお金を稼ぐことについてあまりにも多く。

ポテトチップスでたった10分でスペインのトルティーヤを作る

ポテトチップスでたった10分でスペインのトルティーヤを作る

伝統的なスペインのトルティーヤは通常、オリーブオイルで柔らかくなるまで調理されたポテトから始まります(30分以上かかる場合があります)が、ケトルで調理されたポテトチップスの助けを借りてわずか10分でテーブルに置くことができます。上のビデオはすべてがバラバラにならないように裏返す方法を含め、レシピ全体を説明しますが、必要なのは4〜5個の卵と3カップのケトルチップスだけです。

ケイト・ミドルトンとウィリアム王子は、彼らが子供たちと行っているスパイをテーマにした活動を共有しています

ケイト・ミドルトンとウィリアム王子は、彼らが子供たちと行っているスパイをテーマにした活動を共有しています

ケイト・ミドルトンとウィリアム王子は、子供向けのパズルの本の序文を書き、ジョージ王子、シャーロット王女、ルイ王子と一緒にテキストを読むと述べた.

事故で押しつぶされたスイカは、動物を喜ばせ水分補給するために野生生物保護団体に寄付されました

事故で押しつぶされたスイカは、動物を喜ばせ水分補給するために野生生物保護団体に寄付されました

Yak's Produce は、数十個のつぶれたメロンを野生動物のリハビリ専門家であるレスリー グリーンと彼女のルイジアナ州の救助施設で暮らす 42 匹の動物に寄付しました。

デミ・ロヴァートは、新しいミュージシャンのボーイフレンドと「幸せで健康的な関係」にあります: ソース

デミ・ロヴァートは、新しいミュージシャンのボーイフレンドと「幸せで健康的な関係」にあります: ソース

8 枚目のスタジオ アルバムのリリースに向けて準備を進めているデミ ロヴァートは、「スーパー グレート ガイ」と付き合っている、と情報筋は PEOPLE に確認しています。

Plathville の Kim と Olivia Plath が数年ぶりに言葉を交わすことへようこそ

Plathville の Kim と Olivia Plath が数年ぶりに言葉を交わすことへようこそ

イーサン プラスの誕生日のお祝いは、TLC のウェルカム トゥ プラスビルのシーズン 4 のフィナーレで、戦争中の母親のキム プラスと妻のオリビア プラスを結びつけました。

仕事の生産性を高める 8 つのシンプルなホーム オフィスのセットアップのアイデア

仕事の生産性を高める 8 つのシンプルなホーム オフィスのセットアップのアイデア

ホームオフィスのセットアップ術を極めよう!AppExert の開発者は、家族全員が一緒にいる場合でも、在宅勤務の技術を習得しています。祖父や曽祖父が共同家族で暮らしていた頃の記憶がよみがえりました。

2022 年、私たちのデジタル ライフはどこで終わり、「リアル ライフ」はどこから始まるのでしょうか?

20 年前のタイムトラベラーでさえ、日常生活におけるデジタルおよびインターネットベースのサービスの重要性に驚くことでしょう。MySpace、eBay、Napster などのプラットフォームは、高速化に焦点を合わせた世界がどのようなものになるかを示してくれました。

ニューロマーケティングの秘密科学

ニューロマーケティングの秘密科学

マーケティング担当者が人間の欲望を操作するために使用する、最先端の (気味が悪いと言う人もいます) メソッドを探ります。カートをいっぱいにして 3 桁の領収書を持って店を出る前に、ほんの数点の商品を買いに行ったことはありませんか? あなたは一人じゃない。

地理情報システムの日: GIS 開発者として学ぶべき最高の技術スタック

地理情報システムの日: GIS 開発者として学ぶべき最高の技術スタック

私たちが住んでいる世界を確実に理解するには、データが必要です。ただし、空間参照がない場合、このデータは地理的コンテキストがないと役に立たなくなる可能性があります。

Language