diff options
| author | icoz <icoz.vt@gmail.com> | 2016-12-11 14:27:26 +0300 |
|---|---|---|
| committer | icoz <icoz.vt@gmail.com> | 2016-12-11 14:27:26 +0300 |
| commit | 9b95a150a81c341222cebbce8d2152f20c1f4026 (patch) | |
| tree | f0245473d5359160539522f7468a6a82c91d7c50 | |
| parent | 70cfc8706d15853199cd2303229430185d5e0065 (diff) | |
Исправлена ошибка скачивания списка избранных
Добавлен requirements.txt
Изменен README.md
| -rw-r--r-- | README.md | 22 | ||||
| -rwxr-xr-x | habraparse.py | 5 | ||||
| -rw-r--r-- | requirements.txt | 15 |
3 files changed, 34 insertions, 8 deletions
@@ -1,14 +1,21 @@ # habraparse -Парсер для сайта habrahabr.ru, а также для проектов Geektimes.ru и Megamozg.ru +Парсер для проектов Habrahabr.ru и Geektimes.ru + + +Для работы скрипта необходимо установить зависимости +``` +pip install -r requirements.txt +``` + Usage: ``` - ./habraparse.py save_favs_list [--gt|--mm] <username> <out_file> - ./habraparse.py save_favs [--gt|--mm] [-cn --save-html --limit=N] <username> <out_dir> - ./habraparse.py save_post [--gt|--mm] [-c --save-html] <topic_id> <out_file> + ./habraparse.py save_favs_list [--gt] <username> <out_file> + ./habraparse.py save_favs [--gt] [-cn --save-html --limit=N] <username> <out_dir> + ./habraparse.py save_post [--gt] [-c --save-html] <topic_id> <out_file> ``` По умолчанию все команды работают с проектом HabraHabr.ru. -При задании опций --gt/--mm скрипт будет работать с GeekTimes.ru/Megamozg.ru +При задании опции --gt скрипт будет работать с GeekTimes.ru Команды: ``` @@ -29,6 +36,11 @@ Changelog: *01.02.2015* - исправлены ошибки - добавлена поддержка Geektimes.ru и Megamozg.ru +*28.05.2016* +- удалена поддержка Megamozg в связи с его кончиной (R.I.P.) +*11.12.2016* +- исправлено поведение согласно изменениям на сайте +- добавлен файл requirements.txt Распространяется по лицензии GNU GPL v2.0. Under license GNU GPL v2.0 diff --git a/habraparse.py b/habraparse.py index 8dcdb8d..2f3f8e6 100755 --- a/habraparse.py +++ b/habraparse.py @@ -54,7 +54,6 @@ def prepare_html(topic, with_comments=False): <head> <meta http-equiv="content-type" content="text/html; charset=utf-8"> <meta charset="UTF-8"> - <link href="http://habrahabr.ru/styles/1412005750/assets/post_common_css.css" rel="stylesheet" media="all" /> <title>{title}</title> </head> <body> @@ -148,9 +147,9 @@ def save_all_favs_for_user(username, out_dir, save_in_html=True, with_comments=F if save_in_html: filetype = 'html' if project == 'g': - hu = GeektimesUser(username) + hu = GeektimesUser(username, need_favorites=True) else: - hu = HabraUser(username) + hu = HabraUser(username, need_favorites=True) favs_id = hu.favorites() deleted = list() if limit is not None: diff --git a/requirements.txt b/requirements.txt new file mode 100644 index 0000000..ddad416 --- /dev/null +++ b/requirements.txt @@ -0,0 +1,15 @@ +cairocffi==0.7.2 +CairoSVG==2.0.0 +cffi==1.9.1 +cssselect==1.0.0 +docopt==0.6.2 +html5lib==0.999999999 +lxml==3.7.0 +Pillow==3.4.2 +pycparser==2.17 +Pyphen==0.9.4 +requests==2.12.3 +six==1.10.0 +tinycss==0.4 +WeasyPrint==0.33 +webencodings==0.5 |