■

デバッグ方法

import pdb; pdb.set_trace()

これでここから対話式にデバッグができる

ネストしたfor文でpymongo.cursor.Cursorを使って悩んだ話

クローラがURLのリストに除外文字列があるかどうかチェックする処理

除外文字列はmongodbのコレクションから取得

for link_url in links:
    isFind = False
    for ignore in ignoreList:
        if link_url.find(ignore["WORD"]) >= 0:
        break

URL毎に除外リストの先頭からチェックする動作を期待したが、breakすると除外リストの続きから実行される

pymongo.cursor.Cursorの仕様のようだが感覚的にはjavaのiteratorな感じ

rewind()でカーソルの先頭に戻るようだ

頑張って探したけどbreakしたときの動作についてはよくわからん