zicsv и zicsv-tool v0.1.0
Как известно, распространение списков блокировок Роскомнадзора официально запрещено за пределами провайдеров. Но нашлись добрые люди, которые создали проект Zapret-Info и регулярно выкладывают свежие выгрузки реестра заблокированных адресов.
К сожалению, дампы выгрузок выкладываются в неудобном для использования формате (CSV, CP1251, иногда содержит ошибки). Для разбора этого формата была написана библиотека zicsv, позволяющая поточно читать дамп. На основе этой библиотеки разработана утилита командной строки zicsv-tool, с помощтю которой можно:
конвертировать дамп в гораздо более читабельный JSON;
выводить определённые типы заблокированных адресов (например только подсети) простым списком;
и искать адреса в списке заблокированных.
Вот так выглядит пример работы функции поиска адресов:
$ zicsv-tool -i dump.csv search "http://google.com" http://google.com: http://google.com/: not found google.com: not found 74.125.205.100: blocked IPv4 address is equal to blocked IPv4 address: Blocked: 74.125.205.100 Organization: Генпрокуратура Document ID: 27-31-2018/Ид2971-18 Document date: 2018-04-16 74.125.205.138: not found 74.125.205.102: blocked IPv4 address is equal to blocked IPv4 address: Blocked: 74.125.205.102 Organization: Генпрокуратура Document ID: 27-31-2018/Ид2971-18 Document date: 2018-04-16 74.125.205.113: blocked IPv4 address is equal to blocked IPv4 address: Blocked: 74.125.205.113 Organization: Генпрокуратура Document ID: 27-31-2018/Ид2971-18 Document date: 2018-04-16 74.125.205.139: not found 74.125.205.101: blocked IPv4 address is equal to blocked IPv4 address: Blocked: 74.125.205.101 Organization: Генпрокуратура Document ID: 27-31-2018/Ид2971-18 Document date: 2018-04-16
>>> Краткая инструкция по установке и использованию.
>>> Репозиторий на гитхабе
К сожалению, дампы выгрузок выкладываются в неудобном для использования формате (CSV, CP1251, иногда содержит ошибки). Для разбора этого формата была написана библиотека zicsv, позволяющая поточно читать дамп. На основе этой библиотеки разработана утилита командной строки zicsv-tool, с помощтю которой можно:
конвертировать дамп в гораздо более читабельный JSON;
выводить определённые типы заблокированных адресов (например только подсети) простым списком;
и искать адреса в списке заблокированных.
Вот так выглядит пример работы функции поиска адресов:
$ zicsv-tool -i dump.csv search "http://google.com" http://google.com: http://google.com/: not found google.com: not found 74.125.205.100: blocked IPv4 address is equal to blocked IPv4 address: Blocked: 74.125.205.100 Organization: Генпрокуратура Document ID: 27-31-2018/Ид2971-18 Document date: 2018-04-16 74.125.205.138: not found 74.125.205.102: blocked IPv4 address is equal to blocked IPv4 address: Blocked: 74.125.205.102 Organization: Генпрокуратура Document ID: 27-31-2018/Ид2971-18 Document date: 2018-04-16 74.125.205.113: blocked IPv4 address is equal to blocked IPv4 address: Blocked: 74.125.205.113 Organization: Генпрокуратура Document ID: 27-31-2018/Ид2971-18 Document date: 2018-04-16 74.125.205.139: not found 74.125.205.101: blocked IPv4 address is equal to blocked IPv4 address: Blocked: 74.125.205.101 Organization: Генпрокуратура Document ID: 27-31-2018/Ид2971-18 Document date: 2018-04-16
>>> Краткая инструкция по установке и использованию.
>>> Репозиторий на гитхабе
Ещё новости по теме:
18:20