![[Home]](/static/root.gif)
Итак пока я сыграв в русскую рулетку с каким то долбаебом на шоссере вывихнул себе правое плече и получил трещину в ребре благодаря чему появилось время продолжить написание данной писанинки продолжим😊
Cвязка squid + c-icap с моими любимыми шлюхами и блэкджеками (ака контент фильтрация) для себя любимого у меня стояла уже лет 10 как в качестве банерорезки и кеша, После начала позора роскомнадзора со своими блокировками я добавил в эту схему tor для обхода блокировок, и i2pd до кучи - хз зачем но пускай будет. Но я все время искал чем бы заменить сквид с его sslbump ибо для одного юзверя это даже не из пушки по воробьям а чето ближе к ядерной боеголовке. И не особо то находил, а без sslbump все это не имеет смысла, большая часть траффика идет по https, и его необходимо расковыривать для фильтрации баннеров и кеширования тоже. Плюс сквид это тот еще монстр и часто заточить его на чтото что вызывает standart violation без рашпиля (ковыряния в исходниках) бывает невозможно. Не для персонального использования он создан, он может не чхая переварить полгига траффика и тысячи юзверей - я правда проверял - может😊 но при этом иногда заставить его к примеру закешировать чтото что по стандарту кешироваца не должно весьма проблематично.
И тут, недавно, не помню уже с чего вдруг гдето выплыл выплыл у меня в поиске [[Glossary_wwwoffle?|wwwoffle]], который заточен какрас для персонального использования в противовес сквиду, и почемуто я решил на него глянуть, не помню уже почему - мошт просто делать нехер было. И полной неожиданностью оказалось что оно умеет mitm ака sslbump в сквиде типа из коропки, причем уже много лет, и кешировать https тоже умеет, ну и еще кучу всяких standart violation для которых squid нада затачивать что не всегда тривиально, а тут типа все есть. ну и сразу же я решил сие дело посмотреть и опробовать.
Вообще так как все это нужно для 1-2-3 добашних клиентов, требования ко всему этому очень просты:
Оно умеет далеко не все что нужно и списка выше. пойдем с конца:
Остальное все умеет, и кое чего сверху по мелочи. И да - оно маленькое и простое, и кривое😊
В gentoo оказалась довольно древняя версия, поэтому засунул на ее основе последнюю с сайта в свой локальный оверлей и благополучно собрал, и вроде бы все зашибись, кроме одного но - вылез какой то raice condition при генерации фейковых сертификатов, каким то образом получалось что одновременно 2 процесса генерируют пару ключ-сертификат для даного сайта, и один заканьчивает раньше другого, в итоге ключь к самому сертификату не подходит и естественно ничего не работает - бида пичаль.
Врубил логгинг на все - по его строкам нашол процедуру которая генерит сертификаты - в src/certificates.c
static gnutls_certificate_credentials_t GetCredentials(const char *hostname,int server)
посмотрел наискосок - вникать не стал - криво оно конечно реализовано ну да ладна - до того я еще успел нагуглить чтото типа форка wwwoffle-par, чувак долго и много чего там дорабатывал, влоб поставил на проверку - raice отсуствует - тупо скопипастил тело процедуры к себе, сделал патчь, пересобрал с оригинальной версией - raice исчез - алилуя - можно пробовать юзать дальше😊
а дальше, наткнулся на SVN, посмотрел что там, и решил подняца до него - хуже не будет, так родился второй патч😊 Попутно портировал фичу session cookies only из ветки -par, так родился третий патч, ну а четвертый мелкий фикс ворнинга - до кучи😊 Нну и пошло-поехало😊
Собсно сами патчи:
На генте все эти патчи можно сложить в
/etc/portage/patches/net-proxy/wwwoffle
и они применяца автоматом при сборке, ЕСЛИ! в ебилде вызов epatch_user в src_prepare(), а есть он блять не везде.. поэтому гдето это работает а гдето нет. Но есть способ сделать чтоп работало всегда и везде.
Вобщем наигравшись с исходниками и добившись какой-никакой но приемлемой работы я принялся играца с конфигурацией😊 Итак:
Собственно конфигурация wwwoffle находица в
/etc/wwwoffle/wwwoffle.conf
Я уже точно не помню что по дефолту а что я менял так что опишу что посчитаю нужным посекционно так как конциоурация у wwwoffle секционная, есть же документация в конце концов😊 итак:
StartUp
{
bind-ipv4 = 127.0.0.1
bind-ipv6 = none
http-port = 3128
https-port = 3129
wwwoffle-port = 8081
spool-dir = /var/spool/wwwoffle
run-uid = wwwoffle
run-gid = wwwoffle
use-syslog = yes
password = none
max-servers = 16
max-fetch-servers = 1
}
Тут ничего особенного - слушаем все порты на локалхосте так как оно лиш для меня любимого, для меня любимого не на локалхосте там сбоку приставлен socks5 через который я и работаю когда не на локалхосте😊
Собственно сам http прокси живет на 3128 порту, там же и https через метод коннект, тоесть в бравзере прописывается localhost:3128 и фтыкаеца галка юзать его для всех протоколов и на этом все.
Options
{
log-level = info
socket-timeout = 120
dns-timeout = 60
connect-timeout = 30
connect-retry = no
dir-perm = 0755
file-perm = 0644
lock-files = yes
reply-compressed-data = no
reply-chunked-data = yes
#exec-cgi = /local/cgi-bin/*
#exec-cgi = /local/*.cgi
}
OnlineOptions
{
<*://*/*.js?*> request-changed = 10m
<*://*/*.css?*> request-changed = 10m
<*://*/*.json> request-changed = 10m
<*://*/*.css> request-changed = 6w
<*://*/*.css> pragma-no-cache = no
<*://*/*.css> cache-control-no-cache = no
<*://*/*.css> cache-control-max-age-0 = no
<*://*/*.css> request-no-cache = no
<*://*/*.js> request-changed = 6w
<*://*/*.js> pragma-no-cache = no
<*://*/*.js> cache-control-no-cache = no
<*://*/*.js> cache-control-max-age-0 = no
<*://*/*.js> request-no-cache = no
<*://*/*.png> request-changed = 6w
<*://*/*.png> pragma-no-cache = no
<*://*/*.png> cache-control-no-cache = no
<*://*/*.png> cache-control-max-age-0 = no
<*://*/*.png> request-no-cache = no
<*://*/*.jpg> request-changed = 6w
<*://*/*.jpg> pragma-no-cache = no
<*://*/*.jpg> cache-control-no-cache = no
<*://*/*.jpg> cache-control-max-age-0 = no
<*://*/*.jpg> request-no-cache = no
<*://*/*.jpeg> request-changed = 6w
<*://*/*.jpeg> pragma-no-cache = no
<*://*/*.jpeg> cache-control-no-cache = no
<*://*/*.jpeg> cache-control-max-age-0 = no
<*://*/*.jpeg> request-no-cache = no
<*://*/*.gif> request-changed = 6w
<*://*/*.gif> pragma-no-cache = no
<*://*/*.gif> cache-control-no-cache = no
<*://*/*.gif> cache-control-max-age-0 = no
<*://*/*.gif> request-no-cache = no
<*://*/*.ico> request-changed = 6w
<*://*/*.ico> pragma-no-cache = no
<*://*/*.ico> cache-control-no-cache = no
<*://*/*.ico> cache-control-max-age-0 = no
<*://*/*.ico> request-no-cache = no
<*://*/*.swf> request-changed = 6w
<*://*/*.swf> pragma-no-cache = no
<*://*/*.swf> cache-control-no-cache = no
<*://*/*.swf> cache-control-max-age-0 = no
<*://*/*.swf> request-no-cache = no
<*://*/*.pdf> request-changed = 6w
pragma-no-cache = yes
cache-control-no-cache = yes
cache-control-max-age-0 = yes
request-changed = 10m
request-changed-once = yes
request-expired = yes
request-no-cache = no
request-redirection = no
request-conditional = yes
validate-with-etag = no
try-without-password = yes
intr-download-keep = no
intr-download-size = 1
intr-download-percent = 80
timeout-download-keep = no
keep-cache-if-not-found = yes
request-compressed-data = yes
request-chunked-data = yes
}
OfflineOptions
{
pragma-no-cache = yes
cache-control-no-cache = yes
cache-control-max-age-0 = yes
confirm-requests = no
# Dont request any URLs at all when offline.
<*://*/*> dont-request = yes
}
Тут только расскоментировал <*:*/*> dont-request = yes - зачем чтото запрашивать в оффлайне?
SSLOptions
{
enable-caching = yes
quick-key-gen = yes
disallow-cache = *.googlevideo.com:443
allow-tunnel = *.googlevideo.com:443
allow-cache = *:443
}
Вотанон - святой грааль - https mitm ака sslbump в сквиде😊
FetchOptions
{
stylesheets = yes
images = yes
frames = yes
iframes = yes
scripts = no
objects = no
webbug-images = no
icon-images = no
only-same-host-images = no
}
Тут не помню - помоему ниче не трогал, но эта секция какрас отвечает за скачивание запроенных страниц в оффлайне или вручную.
IndexOptions
{
create-history-indexes = yes
cycle-indexes-daily = yes
#### Example ####
# Do index files from /good/ in the barfoo.com domain.
# <*://*.barfoo.com/good/*> list-any = yes
# Don't index any hosts in the barfoo.com domain.
# <*://*.barfoo.com> list-any = no
# Don't index any gif or jpg files in the lasttime index.
# <*://*/*.gif> list-latest = no
# <*://*/*.jpg> list-latest = no
}
Так и не понял что это и зачем вообще, ниче не трогал😊
ModifyHTML
{
enable-modify-html = yes
#site specific fixes
<*://srv.lan> disable-meta-set-cookie = no
<*://*.lostfilm.tv/*> disable-meta-refresh = no
<*://*.lostfilm.tv/*> disable-meta-set-cookie = no
<*://*.google.*/recaptcha/*> disable-meta-set-cookie = no
<*://*.gstatic.com/recaptcha/*> disable-meta-set-cookie = no
<*://*.phoronix.com> disable-meta-set-cookie = no
<*://forum.mtbtula.ru> disable-meta-set-cookie = no
<*://forum.nag.ru> disable-meta-set-cookie = no
<*://*.chipdip.ru> disable-meta-set-cookie = no
<*://*.ripe.net> disable-meta-set-cookie = no
#end site specific fixes
add-cache-info = no
#anchor-cached-begin = <font color="#00B000">
#anchor-cached-end = </font>
#anchor-requested-begin = <font color="#B0B000">
#anchor-requested-end = </font>
#anchor-not-cached-begin = <font color="#B00000">
#anchor-not-cached-end = </font>
disable-script = no
disable-applet = no
disable-style = no
disable-blink = no
disable-marquee = no
disable-flash = no
disable-meta-refresh = yes
disable-meta-refresh-self = yes
disable-meta-set-cookie = yes
disable-dontget-links = yes
replace-dontget-images = yes
replacement-dontget-image = /local/dontget/replacement.gif
replace-webbug-images = yes
replacement-webbug-image = /local/dontget/replacement.gif
disable-dontget-iframes = yes
demoronise-ms-chars = no
fix-mixed-cyrillic = no
disable-animated-gif = no
}
Эта секция позволяет делать некоторые манипуляции непосредственно с контентом страницы.
LocalHost
{
localhost
}
Собсно хост на котором крутица wwwoffle😊
LocalNet
{
srv.lan
megaprovider.ru
icf.org.ru
icf.bofh.ru
*.icf.org.ru
*.icf.bofh.ru
}
Локальные сервера, можно с масками как видим. Они не кешируются вообще и считаются всегда доступными, тоесть даже в оффлайн режиме.
AllowedConnectHosts
{
}
Суда можно вписать имена хостов или ip в [] скобках с которых будет доступ к wwwoffle если он нужен не только на локалхосте, мне такого не нужно так что пусто.
AllowedConnectUsers
{
}
Суда можно вписать юзеров с паролями имеющих доступ к wwwoffle, так как я один мне это тоже нах не нада и потому пусто.
DontCache [ dontcache.list ]
А суда можно вписать урлы которые ненада кешировать, или заинклудить файл с ними сменив скобки с {} на [], в таком случае wwwoffle ищет этот файл в той же директории где и конфигурационный, никакие другие пути не поддерживаются.
Содержимое dontcache.list:
# Don't cache any dynamic pages *://*/*/*?* # Don't cache any archive files. *://*/*.gz *://*/*.tar *://*/*.bz *://*/*.bz2 *://*/*.Z *://*/*.zip *://*/*.rar *://*/*.tgz *://*/*.xz *://*/*.rpm *://*/*.deb # Don't cache any video files. *://*/*.webm *://*/*.mp4 *://*/*.avi *://*/*.ts *://*/*.m3u8 *://*/*/video/* *://*/*/videoplayback *://*.googlevideo.com/* # Don't cache any audio files. *://*/*.mp3 *://*/*.ogg *://*/*.m4s #other misc files *://*/*.torrent # other misc sites *://*.adblockplus.org *://easylist.to *://raw.githubusercontent.com/zpacman/Blockzilla/master/* *://addons.palemoon.org
Собсно тут мы запрещаем кешировать динамику, ато до этого у меня набролось куча закешированных урлов вида http://www.google.ru/url?q=http://wiki.icf.org.ru/2018-07-09_Networking-Blog&sa=U&ved=0ahUKEwiG5ffFnbHcAhVGliwKHZTbCIgQFggnMAM&usg=AOvVaw3UIUcZ1F3FUgGUcx2qYU23 благодаря ебучему гуголу которому сцуко нада следить за мною и куда я жму тоже, и по этому он отдает ссылки с поиска тока редиректом, ну и не тока ебучий гугол ебучий гугол, есть еще много других ебучих сайтов делающих примерно так же, в итоге у меня за неделю с небольшим с полгига такого дерьма закешировалось - пришлось запретить😊 Так же запрещаем кешировать всякие архивы, видео, музыку и прочую такую дрочь. Ну и несколько сайтов с которых нада получать свежак всегда, addblock листы в частности и аддоны бравзера.
DontGet [ adblock-list-justdomains.txt adguarddns-justdomains.txt advblock-justdomains.txt adwarefilters-justdomains.txt antiadblockfilters-justdomains.txt bitblockext-justdomains.txt Blockzilla-justdomains.txt cjx-annoyance-justdomains.txt cntblock-justdomains.txt easylistchina-justdomains.txt easyprivacy-justdomains.txt fanboy-annoyance-justdomains.txt malwaredomains_full-justdomains.txt nocoin-justdomains.txt ruadlist+easylist-justdomains.txt dontget.list ]
А вот и секция DontGet со списками что не нужно запрашивать совсем, иначе говоря зарезать. Списки подгружаюца так же из отдельных файликов. Единственный редактируемый вручную файл тут это dontget.list, остальные генеряца автоматически по различным блэклистам.
собсно содержимое dontget.list:
#favicons
*://*/favicon.ico
<*://*/favicon.ico> replacement = /local/dontget/favicon.ico
*://*/favicon.png
<*://*/favicon.png> replacement = /local/dontget/replacement.png
*://*/*favicon*.png
<*://*/*favicon*.png> replacement = /local/dontget/replacement.png
#annoing sheet
*://*/*/twitter.png
*://node.chathelp.ru/*
*://*.apphb.com/signalr/*
*://*.hypercomments.com/*
*://*.google-analytics.com/*
*://accounts.google.com/*
*://*.google.*/complete/search*
*://*.google.*/logos/doodles/*
<*://*.google.*/logos/doodles/*> replacement = /local/dontget/replacement.gif
*://*.googletagservices.com/*
*://*.googletagmanager.com/*
*://*.google.com/ads/measurement*
*://*.google.*/*/generate_204
*://*google.*/*/client_204?*
*://*.google.*/coop/cse/*
#http://yandex.st/share/share.js
*://api.github.com/_private/browser/*
*://api.rnet.plus/*
*://softdatasystemru.webim.ru/*
*://*.digitaltarget.ru/*
*://*.scorecardresearch.com/*
*://service.maxymiser.net/*
*://*.facebook.com/plugins/*
*://*.smartadcheck.de
*://*.reddit.com/*?!POST:*
*://*.redditmedia.com/gtm*
*://*.redditstatic.com/desktop2x/*.js
*://*.mamydirect.com
*://ssp.rambler.ru/acp/*
*://zdstatic.speedtest.net/*/zdconsent.js
*://*.cdnst.net/javascript/prebid.*.min.js
*://*/ajax/setcookie.php?*
*://*/*/cookie_policy.css
*://*/*/cookieconsent.min.css
*://*/*/*.gif?*
*://*/*/*.svg?*
*://*/*/*.png?*
#annoing js
*://*/*/raven.min.js*
*://*/*/raven.js*
*://*/*/adriver.js*
*://*/*/adriver.core.2.js*
*://*/*/ads.js*
*://*/*/gtm.js*
*://*/*/twemoji.min.js*
#AD
*://ad.3dnews.ru/*
*://ad.mail.ru/*
*://ad.trialsport.ru/*
*://ad.velomania.ru/*
*://ads.adfox.ru/*
*://ads.exoclick.com/*
*://ads.servebom.com/*
*://*.ads.claw.ru/*
*://adservice.google.*/*
*://pagead2.googlesyndication.com/*
*://adx.com.ru/*
*://*.doubleclick.net/*
*://cdn.sstatic.net/clc/clc.ie.min.js
*://cdn.sstatic.net/Js/stub.en.js
*://*.opennet.ru/cgi-bin/opennet/hints.cgi*
*://www.opennet.ru/img/*
*://www.opennet.ru/img/ihor_but.png
*://*.linux.org.ru/adv/*
*://*.linux.org.ru/linuxpiter/*
*://dr.habracdn.net/*/advertise.js*
*://dr.habracdn.net/*/highlight.pack.js*
*://special.habrahabr.ru/api/toplink/*
*://cdnjs.cloudflare.com/*/MathJax.js*
*://cdn.onthe.io/io.js*
*://static.criteo.net/js/*
*://*.amazon-adsystem.com/*
*://*.trafficfactory.biz/*
*://*.advertur.ru/*
*://*.acint.net/*
*://seal.alphassl.com/*
*://*.betsonsport.ru/banners/*
*://robinbob.in
*://static.t-ru.org/templates/*/*lib.min.js
*://*.actionteaser.ru/*
*://*.directadvert.ru/*
#COUNTERS
*://*counter*/*
*://x.cnt.my/*
*://cnt.vvv.ru/*
*://server.comagic.ru/comagic/*
*://tracker.comagic.ru/*
*://collector.githubapp.com/*
*://my-hit.org/scripts/js/metrika/metrika.js*
*://rules.quantcount.com/*.js*
*://*/*counter*?*
<*://*/*/*.js> replacement = /local/dontget/replacement.js
<*://*/*/*.png> replacement = /local/dontget/replacement.png
<*://*/*/*.gif> replacement = /local/dontget/replacement.gif
<*://*/*/*.jpg> replacement = /local/dontget/replacement.gif
<*://*/*/*.svg> replacement = /local/dontget/replacement.gif
location-error = no
Это собственно то что я вручную прирезал ибо нехуй😊 Ну вот не понимаю и не принимаю я изьебов с favicon, с generate_204, с автоподсказками в поиске итд.
Остальное генерица вот этой вот штукой - https://github.com/justdomains/ci немного модифицированной, у нее на выхлопе просто списки доменов, нам же нужны маски понимаемые wwwoffle, ну Patch_justdomains.patch патч тривиальный😊
Патченный convertlists.py и lists.json находяца в /etc/wwwoffle/scripts, запускаеца это дело по крону вот так:
BLOCK_LOGFILE="/tmp/adblock.log"
@daily cd /etc/wwwoffle/scripts && /etc/wwwoffle/scripts/convertlists.py -v /etc/wwwoffle/scripts/lists.json /etc/wwwoffle &>>${BLOCK_LOGFILE} && /usr/bin/wwwoffle -config &>>${BLOCK_LOGFILE}
Содержимое lists.json:
[
{
"name": "RUADlist+EasyList",
"url": "https://easylist-downloads.adblockplus.org/ruadlist+easylist.txt",
"format": "adbp",
"moreinformation": "https://easylist.to/",
"description": "EasyList is the primary filter list that removes most adverts from international webpages, including unwanted frames, images and objects. It is the most popular list used by many ad blockers and forms the basis of over a dozen combination and supplementary filter lists.",
"license-identifier": "GPL3 / CC BY-SA 3.0"
},
{
"name": "EasyPrivacy",
"url": "https://easylist.to/easylist/easyprivacy.txt",
"format": "adbp",
"moreinformation": "https://easylist.to/",
"description": "EasyPrivacy is an optional supplementary filter list that completely removes all forms of tracking from the internet, including web bugs, tracking scripts and information collectors, thereby protecting your personal data.",
"license-identifier": "GPL3 / CC BY-SA 3.0"
},
{
"name": "AntiADblock",
"url": "https://easylist-downloads.adblockplus.org/antiadblockfilters.txt",
"format": "adbp",
"moreinformation": "https://easylist.to/",
"description": "EasyPrivacy is an optional supplementary filter list that completely removes all forms of tracking from the internet, including web bugs, tracking scripts and information collectors, thereby protecting your personal data.",
"license-identifier": "GPL3 / CC BY-SA 3.0"
},
{
"name": "ADVblock",
"url": "https://easylist-downloads.adblockplus.org/advblock.txt",
"format": "adbp",
"moreinformation": "https://easylist.to/",
"description": "EasyPrivacy is an optional supplementary filter list that completely removes all forms of tracking from the internet, including web bugs, tracking scripts and information collectors, thereby protecting your personal data.",
"license-identifier": "GPL3 / CC BY-SA 3.0"
},
{
"name": "CNTblock",
"url": "https://easylist-downloads.adblockplus.org/cntblock.txt",
"format": "adbp",
"moreinformation": "https://easylist.to/",
"description": "EasyPrivacy is an optional supplementary filter list that completely removes all forms of tracking from the internet, including web bugs, tracking scripts and information collectors, thereby protecting your personal data.",
"license-identifier": "GPL3 / CC BY-SA 3.0"
},
{
"name": "BITblockext",
"url": "https://easylist-downloads.adblockplus.org/bitblockext.txt",
"format": "adbp",
"moreinformation": "https://easylist.to/",
"description": "EasyPrivacy is an optional supplementary filter list that completely removes all forms of tracking from the internet, including web bugs, tracking scripts and information collectors, thereby protecting your personal data.",
"license-identifier": "GPL3 / CC BY-SA 3.0"
},
{
"name": "FanBoy-Annoyance",
"url": "https://easylist.to/easylist/fanboy-annoyance.txt",
"format": "adbp",
"moreinformation": "https://easylist.to/",
"description": "EasyPrivacy is an optional supplementary filter list that completely removes all forms of tracking from the internet, including web bugs, tracking scripts and information collectors, thereby protecting your personal data.",
"license-identifier": "GPL3 / CC BY-SA 3.0"
},
{
"name": "easylist-china",
"url": "https://easylist-downloads.adblockplus.org/easylistchina.txt",
"format": "adbp",
"moreinformation": "https://adblockplus.org/ru/subscriptions",
"description": "EasyPrivacy is an optional supplementary filter list that completely removes all forms of tracking from the internet, including web bugs, tracking scripts and information collectors, thereby protecting your personal data.",
"license-identifier": "GPL3 / CC BY-SA 3.0"
},
{
"name": "cjx-annoyance",
"url": "https://raw.githubusercontent.com/cjx82630/cjxlist/master/cjx-annoyance.txt",
"format": "adbp",
"moreinformation": "https://adblockplus.org/ru/subscriptions",
"description": "Specialization: removes self-promotion and privacy protection, ÄÏÐÏÌÎÅÎÉÅ Ë EasyList China",
"license-identifier": "GPL3 / CC BY-SA 3.0"
},
{
"name": "Blockzilla",
"url": "https://raw.githubusercontent.com/zpacman/Blockzilla/master/Blockzilla.txt",
"format": "adbp",
"moreinformation": "https://adblockplus.org/ru/subscriptions",
"description": "Specialization: ads and tracking protection, English",
"license-identifier": "GPL3 / CC BY-SA 3.0"
},
{
"name": "adware-filters",
"url": "https://easylist-downloads.adblockplus.org/adwarefilters.txt",
"format": "adbp",
"moreinformation": "https://adblockplus.org/ru/subscriptions",
"description": "Specialization: blocks ads injected by adware",
"license-identifier": "GPL3 / CC BY-SA 3.0"
},
{
"name": "Malware_Domains",
"url": "https://easylist-downloads.adblockplus.org/malwaredomains_full.txt",
"format": "adbp",
"moreinformation": "https://adblockplus.org/ru/subscriptions",
"description": "Specialization: malware protection",
"license-identifier": "GPL3 / CC BY-SA 3.0"
},
{
"name": "spam404",
"url": "https://raw.githubusercontent.com/Dawsey21/Lists/master/adblock-list.txt",
"format": "adbp",
"moreinformation": "https://adblockplus.org/ru/subscriptions",
"description": "Specialization: blocks scam sites",
"license-identifier": "GPL3 / CC BY-SA 3.0"
},
{
"name": "AdGuard Simplified Domain Names Filter",
"url": "https://filters.adtidy.org/extension/chromium/filters/15.txt",
"format": "adbp",
"outputfile": "adguarddns.txt",
"moreinformation": "https://kb.adguard.com/en/general/adguard-ad-filters",
"description": "A filter composed from several other filters (English filter, Social media filter, Spyware filter, Mobile ads filter, EasyList and EasyPrivacy) and simplified specifically to be better compatible with DNS-level ad blocking. This filter is used by AdGuard DNS servers to block ads.",
"license-identifier": "GPL3"
},
{
"name": "NoCoin Filter List",
"url": "https://raw.githubusercontent.com/hoshsadiq/adblock-nocoin-list/master/hosts.txt",
"format": "hosts",
"outputfile": "nocoin.txt",
"moreinformation": "https://github.com/hoshsadiq/adblock-nocoin-list/",
"description": "Blocking Web Browser Bitcoin Mining",
"license-identifier": "MIT",
"license": "https://github.com/hoshsadiq/adblock-nocoin-list/blob/master/LICENSE"
}
]
тоесть по сути подписки управляюца через ists.json, ну и в DontGet не забыть вписать результирующие файлики.
DontCompress
{
mime-type = image/gif
mime-type = image/jpeg
mime-type = image/png
mime-type = image/tiff
mime-type = video/x-msvideo
mime-type = video/quicktime
mime-type = video/mpeg
mime-type = audio/basic
mime-type = audio/x-wav
mime-type = application/x-dvi
mime-type = application/pdf
mime-type = application/zip
mime-type = application/x-ns-proxy-autoconfig
file-ext = .gz
file-ext = .bz
file-ext = .bz2
file-ext = .Z
file-ext = .zip
file-ext = .tgz
file-ext = .rpm
file-ext = .deb
file-ext = .gif
file-ext = .GIF
file-ext = .jpg
file-ext = .JPG
file-ext = .jpeg
file-ext = .JPEG
file-ext = .png
file-ext = .PNG
}
Что ненада сжимать по майм типам или по расширению файла - картинки, архивы, и все такое, помоему вообще тут ничего не правил.
CensorHeader [ censorheader.list ]
Список заголовков которые нада вырезать, или подменить, и еще несколько фич - читайте мануал кароче😊 тут опять инклудица файл censorheader.list.
Содержимое censorheader.list:
referer-self = yes
referer-self-dir = no
referer-from = no
force-user-agent = no
pass-url-unchanged = no
User-Agent = Mozilla/5.0 (X11; Linux x86_64; rv:3.4) Gecko/20100101 Goanna/20180717 PaleMoon/27.9.4
# allow cookies for specific sites
<*://srv.lan> Set-Cookie = no
<*://srv.lan> Cookie = no
<*://srv.lan> session-cookies-only = no
<*://*.lostfilm.tv> Set-Cookie = no
<*://*.lostfilm.tv> Cookie = no
<*://*.lostfilm.tv> session-cookies-only = no
<*://forum.mtbtula.ru> Set-Cookie = no
<*://forum.mtbtula.ru> Cookie = no
<*://forum.mtbtula.ru> session-cookies-only = no
<*://forum.nag.ru> Set-Cookie = no
<*://forum.nag.ru> Cookie = no
<*://forum.nag.ru> session-cookies-only = no
<*://*.chipdip.ru> Set-Cookie = no
<*://*.chipdip.ru> Cookie = no
<*://*.chipdip.ru> session-cookies-only = no
<*://*.google.*/recaptcha/*> Set-Cookie = no
<*://*.google.*/recaptcha/*> Cookie = no
<*://*.google.*/recaptcha/*> session-cookies-only = yes
<*://*.gstatic.com/recaptcha/*> Set-Cookie = no
<*://*.gstatic.com/recaptcha/*> Cookie = no
<*://*.gstatic.com/recaptcha/*> session-cookies-only = yes
<*://*.phoronix.com> Set-Cookie = no
<*://*.phoronix.com> Cookie = no
<*://*.phoronix.com> session-cookies-only = yes
<*://*.ripe.net> Set-Cookie = no
<*://*.ripe.net> Cookie = no
<*://*.ripe.net> session-cookies-only = yes
<*://*.cvedetails.com> Set-Cookie = no
<*://*.cvedetails.com> Cookie = no
<*://*.cvedetails.com> session-cookies-only = yes
# block all cookies
# Set-Cookie = yes
# Cookie = yes
#allow session cookies only
session-cookies-only = yes
# block other annoing headers
# dont block Access-Control-Allow-Origin - used some video hostings
Via = yes
# Strict-Transport-Security = yes
# X-Frontend = yes
# X-Powered-By = yes
# X-Frame-Options = yes
#github
# X-Fastly-Request-ID = yes
# X-Timer = yes
# X-Cache-Hits = yes
# X-Cache = yes
# X-Served-By = yes
# X-GitHub-Request-Id = yes
# X-Geo-Block-List = yes
# X-XSS-Protection = yes
# X-Content-Type-Options = yes
# Content-Security-Policy = yes
# Access-Control-Expose-Headers = yes
тут мы разрешаем куки на нужные мне сайты.
Proxy [ proxy_header blocked_domains_rkn.list blocked_urls_rkn.list proxy_footer ]
А вот и секция парент прокси, именно тут разруливается что через какой вышестоящий прокси запрашивать, а что на прямую - сердце так сказать механизьма обхода блокировок позорного РКН. прокси указываются раздельно для http и https что не совсем удобно.
proxy_header:
# TOR internal resources #<http://*.onion> proxy = localhost:8888 #<https://*.onion> ssl = localhost:8888 # I2P internal resources <http://*.i2p> proxy = localhost:4444 <https://*.i2p> proxy = localhost:4444
Тут мы указываем parent прокси для внутренних ресурсов TOR и I2P сетей. TOR предоставляет только socks прокси в отличии от I2p, поэтому между ним и wwwoffle стоит промежуточный 3proxy, который умеет преобразовывать socks<=>http/s.
proxy_footer:
<*://*/*> proxy = none <*://*/*> ssl = none
Здесь мы запрещаем все прокси для всех, тоесть если адрес не в I2P/TOR сети и не в списках РКН то идем директом, именно поэтому этот файл должен быть последним в секции.
Генерируется это все вот таким нехитрым скриптом лежащим в /etc/wwwoffle/scripts под названием rkn.sh:
#!/bin/bash
PROXY="localhost:8888"
OUT_ENCODING="koi8-r"
LOGFILE="/tmp/rkn.log"
ERDI_XML="/usr/bin/xmlstarlet"
EIPSET="/usr/sbin/ipset"
TMPFILE=`mktemp`
#TMPFILE="/tmp/dump.xml"
wget --retry-connrefused -O $TMPFILE http://api.antizapret.info/all.php?type=xml
create_ipset()
{
"${EIPSET}" flush $2 2>/dev/null || "${EIPSET}" create $2 $1 maxelem 262144
for f in "$3" "$4"
do
[ -f "$f" ] && {
echo Adding to ipset $2 \($1\) : $f
sort -u "$f" | sed -nre "s/^.+$/add $2 &/p" | "${EIPSET}" -! restore
}
done
return 0
}
ACL=/etc/wwwoffle/blocked_domains_rkn.list
echo "Список доменов нормализованный ($ACL)"
mv $ACL $ACL.bak
"${ERDI_XML}" select -E "$OUT_ENCODING" -T -t -v "/reg:register/content/domain" -n "$TMPFILE" \
|sort \
| uniq \
|idn --quiet --no-tld -- \
|awk -v PROXY=$PROXY '/[0-9]|[a-z]/ {print "<http://" $0 "> proxy = "PROXY;print "<https://" $0 "> ssl = "PROXY;}' \
> $ACL
wc -l <$ACL
ACL=/etc/wwwoffle/blocked_urls_rkn.list
echo "Список url адресов ($ACL)"
mv $ACL $ACL.bak
"${ERDI_XML}" select -E "$OUT_ENCODING" -T -t -v "/reg:register/content/url" -n "$TMPFILE" \
|tr -s "\," "\n" \
|grep -e "^http" \
|sort \
|uniq \
|grep -v "<" \
|grep -v ">" \
|awk -v PROXY=$PROXY '$0 ~ /^https:/ {print "<" $0 "> ssl = "PROXY}; $0 ~ /^http:/ {print "<" $0 "> proxy = "PROXY}' \
> $ACL
wc -l <$ACL
ACL=`mktemp`
echo "Список IP адресов ($ACL)"
"${ERDI_XML}" select -E "$OUT_ENCODING" -T -t -v "/reg:register/content/ip" -n "$TMPFILE" \
|tr "\," "\n" \
|sort -V -u \
> $ACL
wc -l <$ACL
create_ipset hash:net blocked_ip_rkn $ACL
rm $ACL
rm $TMPFILE
Слить чтоп не копипастить дохрена:)
Для работы нужен xmlstarlet и ipset, ну wget,awk,grep,sort и остальное как правило есть везде. Список блокировок выкачивается с https://antizapret.info/ через ихний api, но впрочем их куча еще и на гитхабе и где их ща тока нет😊 ipset нужен не для самой wwwofle а для PBR, который нужен потому что по ip и подсетям wwwoffle выбирать выщестоящие прокси не умеет а РКН не вкурсе такой хуйни, и блочит и по ip и подсетями тоже, причем нехилыми такими типа /15, а потом фсе плачут и пиздец, но хуйвам - прорвемся😊 и поэтому чтоп как то обратабывать эти блоки подсетей и ипишников используется ipset + PBR.
Переменную PROXY нада выставить в адрс и порт того самого промежуточного 3proxy.
запускаеца по крону вот так:
RKN_LOGFILE="/tmp/rkn.log"
@reboot /usr/bin/sleep 30 && /etc/wwwoffle/scripts/rkn.sh &>${RKN_LOGFILE} && /usr/bin/wwwoffle -config &>>${RKN_LOGFILE}
@daily /etc/wwwoffle/scripts/rkn.sh &>${RKN_LOGFILE} && /usr/bin/wwwoffle -config &>>${RKN_LOGFILE}
0 10 * * * /etc/wwwoffle/scripts/rkn.sh &>${RKN_LOGFILE} && /usr/bin/wwwoffle -config &>>${RKN_LOGFILE}
0 18 * * * /etc/wwwoffle/scripts/rkn.sh &>${RKN_LOGFILE} && /usr/bin/wwwoffle -config &>>${RKN_LOGFILE}
@reboot - запуск после перезагрузки, нужен чтоп заполнить ipset, который в ядре и перезагрузку соттветственно не перживает и оказывается пустым.
Purge
{
<*://*/*.css> age = 7w
<*://*/*.js> age = 7w
<*://*/*.json> age = 7w
<*://*/*.png> age = 7w
<*://*/*.jpg> age = 7w
<*://*/*.jpeg> age = 7w
<*://*/*.gif> age = 7w
<*://*/*.ico> age = 7w
<*://*/*.pdf> age = 7w
<*://*/*.swf> age = 7w
use-mtime = no
max-size = -1
min-free = -1
use-url = yes
del-dontget = yes
del-dontcache = yes
age = 4w
compress-age = -1
}
Секция Purge управляет очисткой кеша, здесь определяеца че скока хранить и когда удалять. Тут мы храним всякие картинки пдфки css/js и всю такую хорошо кешируемую дроч 7 недель😊
Ох вроде все по конфигу wwwoffle😊 Вот такая вота партянка по маленькому персональному проксику😊 Вот еще мой полный crontab обслуживающий wwwoffle:
RKN_LOGFILE="/tmp/rkn.log"
BLOCK_LOGFILE="/tmp/adblock.log"
@reboot /usr/bin/sleep 30 && /etc/wwwoffle/scripts/rkn.sh &>${RKN_LOGFILE} && /usr/bin/wwwoffle -config &>>${RKN_LOGFILE}
@daily /etc/wwwoffle/scripts/rkn.sh &>${RKN_LOGFILE} && /usr/bin/wwwoffle -config &>>${RKN_LOGFILE}
0 10 * * * /etc/wwwoffle/scripts/rkn.sh &>${RKN_LOGFILE} && /usr/bin/wwwoffle -config &>>${RKN_LOGFILE}
0 18 * * * /etc/wwwoffle/scripts/rkn.sh &>${RKN_LOGFILE} && /usr/bin/wwwoffle -config &>>${RKN_LOGFILE}
@daily cd /etc/wwwoffle/scripts && /etc/wwwoffle/scripts/convertlists.py -v /etc/wwwoffle/scripts/lists.json /etc/wwwoffle &>${BLOCK_LOGFILE} && /usr/bin/wwwoffle -config &>>${BLOCK_LOGFILE}
@daily /usr/bin/wwwoffle -purge|grep -i del &>/var/log/wwwoffle-purge.log
тоесть тут еще и чистка кеша приплюсовалась.
Основные часто используемые команды 2:
больше мне вроде особо ниче не нужно было, но там есть еще😊
По работе впринципе особых нареканий нет, не смотря на весьма обьемныей списки, к примеру только ркновские домены+урлы 198218 записей, блоклисты 91182 записей, итого под 300 тысяч в сумме переваривает кабудта их нет - запуск, перечитывание конфига, да и просто работа - никаких тормозов не ощющаю как и загрузки cpu, единственное очистка кеша тормозит при этом знатно, точно знаю что из за них - без списков тоже летала. Видимо это из за del-dontget и del-dontcache, но на работу самого прокси это всеравно не влияет никак. Вот тебе и домашний проксик😊 А вот сквид на тех же условиях правда плюсом еще список ip а это еще уже почти 100К записей на данный момент при запуске на парсинге всего этого тупил уже ближе к минуте наверное, тоесть перезапускать или переконфигурить его это был ад и израиль😊 Хотя когда запустица - работал и не чхал😊
Еще оно иногда сегфолтица, хз где и почему но не в управляющем процессе видимо а в порождаемых потоках для обработки соединений, нада будет полазить с дебагером и поправить, но на работе это тоже я не вижу чтоп сказывалось, может падает гдето на закрытии соединения или типа того когда уже все сделано.
UPD - пока дошли руки - отдебажил и поправил это дело попутно написав Как собрать пакет для отладки в Gentoo, а проблема была вот тут:
src/wwwoffles.c:
httpsUrl=ParseRequest(client,&request_head,&request_body);
FreeURL(Url);
Url=CreateURL("https",httpsUrl->hostport,httpsUrl->path,httpsUrl->args,httpsUrl->user,httpsUrl->pass);
FreeURL(httpsUrl);
goto checkrequest;
}
ParseRequest возвращает null если по какой то причине не может распарсить запрос, подозреваю что он не мог потому что по какой то причине соединение обламывалось так как этому предшествовали в логе записи вида
Jul 24 20:30:44 srv wwwoffles[25247]: Nothing to read from the wwwoffle proxy socket; timed out or connection lost?
И парсить ему поэтому вообще тупо нечего😊 И судя по коду это сообщение какрас парсер и выводит😊 А потом мы пытаемся создать какой то Url в строке Url=CreateURL из того что нам вернул ParseRequest, а так как он нихрена не вернул, мы обращаемся к нулевым указателям и получаем сегфолт. Ну и на работе не сказывалось видимо потому что рас соединение обломилось то мы тут ниче собсно поделать то и не можем, правда остается вопрос почему они обламываются но это потом как нибудь, на пенсии повыясняю когда делать нехер будет😊
Решение довольно простое:
diff -ruN wwwoffle-2.9j/src/wwwoffles.c wwwoffle-2.9j-new/src/wwwoffles.c
--- wwwoffle-2.9j/src/wwwoffles.c 2018-07-24 02:12:59.233577980 +0300
+++ wwwoffle-2.9j-new/src/wwwoffles.c 2018-07-24 20:26:41.528637086 +0300
@@ -439,11 +439,19 @@
httpsUrl=ParseRequest(client,&request_head,&request_body);
- FreeURL(Url);
- Url=CreateURL("https",httpsUrl->hostport,httpsUrl->path,httpsUrl->args,httpsUrl->user,httpsUrl->pass);
- FreeURL(httpsUrl);
-
- goto checkrequest;
+ if (httpsUrl) {
+ FreeURL(Url);
+ Url=CreateURL("https",httpsUrl->hostport,httpsUrl->path,httpsUrl->args,httpsUrl->user,httpsUrl->pass);
+ FreeURL(httpsUrl);
+ goto checkrequest;
+ }
+ else {
+ PrintMessage(Warning,"https (SSL) connection error - Request parse error for '%s', '%s', '%s'",Url->hostport, request_head?"HTTP request HEAD":"The HTTP request HEAD was empty",request_body?"HTTP request BODY":"The HTTP request BODY was empty");
+ HTMLMessage(client,500,"WWWOFFLE Server Error",NULL,"ServerError",
+ "error","An https (SSL) connection to specified host (and port) is not established - Cannot parse Request.",
+ NULL);
+ mode=InternalPage; goto internalpage;
+ };
}
else
{
я не вдавался в подробности и логику обработки запросов, а просто сделал проверку что парсер чтото вернул и если нет то кажем стандартную ошибку и вякаем в лог - падения убрались, ну покрайней мере по этой причине, и вроде ниче не сломалось
Впринципе вот эта вот система масок у него тоже очень понравилась. На фоне сквидовских регэкспов, да, они универсальней конечно, но сука с ними головняка в 10 рас больше - то экранируй это экранируй тут чето не срослось там нето тут какой то дебил по русски в листе написал или по китайски или спецсимволов наткал и фсе - оно споткнулось и сразмаху наебнулось, сквид не стартанул, бида пичаль фсе плачут и пиздец😊 А в wwwoffle никаких проблем - все просто как для дебилов и эффективно, и покрывает наверное 90 процентов того что можно накрутить регэкспами в сквиде.
А вот система логгирования это у wwwoffle ад израиль и пиздец😊 и я плачу😊 оно там конечно пишет - что из кеша, что в кеш, и pid процесса, но если много запросов то оно пишет в разнобой и бывает сходу хрен поймеш че к чему, request hit rate/byte hit rate оценить по логам в свете этого тоже та еще задача потому что на 1 запрос куча строк получается, встроенной статистики тоже нет никакой, впринципе не критично, но обидно😊 и с листами тоже нада доработать - оно пишет что попало к примеру в DontGet, но не пишет куда именно в нем, а если он большой то задолбаешся искать, может уровень логгинга поднять и начнет писать, я не пробовал, но я его итак уже приподнял чтоп хотябы видеть что закешировалось что нет что заблочилось. Впрочем сквид тоже не пишет в какой именно регэксп запрос попал - догадайся сам😊
Логгинг я отправил в сислог, у меня syslog-ng, им удобно разруливать такие вещи, примерно вот та:
## WWWOFFLE
destination d_wwwoffled { file("/var/log/wwwoffled.log"); };
filter f_wwwoffled { program("wwwoffled") or program ("wwwoffles"); };
log { source(src); filter(f_wwwoffled); destination(d_wwwoffled); flags(final); };
при этом ротейтить его можно логротейтом без дерганья самого wwwoffle, примерно вот так:
/var/log/wwwoffled.log {
missingok
notifempty
copytruncate
}
По части кеширования можно хоть чтото прикрнуть вот так: 
это наверное гдето за полмесяца, тоесть директория https в которой все что по https уже 2.4 гига, a http всего 213 мегабайт, что лиш подтверждает что на данный момент прокси без mitm в https потеряли актуальность чуть менее чем совсем.
Блять, неужели я наконец то дописал это😊 ладна теперь пойдем дальше:
Который нам нужен как средство обойти блокировки так как выходные ноды у него разбросаны по всему миру. Собсно конфиг:
/etc/tor/torrc:
#
# Minimal torrc so tor will work out of the box
#
User tor
PIDFile /var/run/tor/tor.pid
Log notice syslog
SafeLogging 0
DataDirectory /var/lib/tor/data
AvoidDiskWrites 1
#HardwareAccel 1
#AccelName cryptodev
SOCKSPort 127.0.0.1:9050 NoIPv6Traffic NoIsolateClientAddr NoIsolateSOCKSAuth
SocksTimeout 60
TestSocks 1
DNSPort 127.0.0.2:53 NoIsolateClientAddr
TransPort 127.0.0.1:9049 NoIsolateClientAddr NoPreferIPv6Automap
ControlPort 9051
MaxMemInQueues 256 MB
HashedControlPassword 16:5A0131CDE07B048560AD57E0306553CEDB23743F7DB20C74243C5EE58E
ShutdownWaitLength 1
#OutboundBindAddress 10.32.75.177
#dns resolver automap
AutomapHostsSuffixes .onion
VirtualAddrNetworkIPv4 169.254.0.0/16
AutomapHostsOnResolve 1
#DownloadExtraInfo 0
#EnforceDistinctSubnets 0
#OptimisticData auto
#FetchDirInfoEarly 0
#FetchDirInfoExtraEarly 0
#UseEntryGuards 1
#NumEntryGuards 32
TrackHostExits .
TrackHostExitsExpire 600
#LearnCircuitBuildTimeout 1
#NewCircuitPeriod 10
#CircuitBuildTimeout 30
#CircuitStreamTimeout 10
#CircuitIdleTimeout 3600
#MaxCircuitDirtiness 14400
#MaxClientCircuitsPending 512
#KeepalivePeriod 60
KeepBindCapabilities 0
GeoIPExcludeUnknown 0
ExcludeExitNodes {ru},{??}
#ExcludeExitNodes {ru},{ua},{se},{io},{ro}, \
# 46.105.0.0/16, \
# 46.183.216.0/21, \
# 192.42.116.0/22, \
# 77.247.176.0/21, \
# 185.38.12.0/22, \
# 163.172.0.0/16, \
# 46.166.144.0/21, \
# 216.218.128.0/17, \
# 193.90.0.0/16, \
# 104.233.64.0/18, \
# 62.210.0.0/16, \
# 176.10.96.0/19, \
# 85.248.0.0/16, \
# 137.74.167.224, \
# 94.142.240.0/21, \
# 185.11.180.0/22, \
# 89.31.56.0/21, \
# 151.80.0.0/16, \
# 198.50.200.128/27, \
# 199.249.223.0/24, \
# 94.242.192.0/18, \
# 149.56.229.17, \
# 173.208.128.0/17, \
# 66.180.193.192/27, \
# 199.127.224.0/22, \
# 41.206.160.0/19, \
# 93.174.88.0/21, \
# 69.162.128.0/18, \
# 193.70.0.0/17, \
# 207.244.64.0/18, \
# 37.187.0.0/16, \
# 195.228.0.0/16
ClientOnly 1
Стоит он у меня уже давно, поэтому я всех ньюансов уже не помню, только основные:
Следующие 3 строчки делают еще 1 полезную весчь называемую dns resolver automap, суть в том что при запросе внутреннего ресурса в зоне .onion, вот тот внутренний днс сервер выдает ему левый ип из определенного диапазона, и сопоставляет с той белибердой называемой внутренними адресами в сети тор, благодаря чему, любой софт может обратица к данному ресурсу и не обламаца при днс резольвинге пока живо это сопоставление.
У меня этот автомэппинг работает в связке с tun2socks, это по сути обычный tun интерфейс в системе в который отроучена 169.254.0.0/16, другим концом он цепляеца на socks сервер тора, правда умеет он тока TCP но udp через тор не особо то и нада с его то лагами. ну и плюс форвардинг с локального днс сервера. Таким образом в onion может лазить вообще любой софт, ему не нужен никакой прокси, он просто запрашивает у локального днс сервера адрес, тот лезет на днс сервер тора с той же целью, сервер тора отвечат и сразу делает мэппинг, после чего приложение работает как обычно - все адреса из мэппинга то отроучены в tun, не нужно уметь никакой socks прокси вообще. Таким же образом работает и ipset с заблокированными подсетями, только тут уже даже и мэппинг не нужен - главное отправить траффик на этот адрес через tun интерфейс.
Вот вроде бы и все что я смог вспомнить с тором то.
Вобщем дальше настало время связующего звена между тором и wwwoffle в виде 3proxy в позе http/s=>socks прокси. В случае сквида оно было не нужно, там я через ацл мог сразу отправить запрос через тот самый tun2socks интерфейс и не парица - оно просто работало, wwwoffle так не может, и нужно промежуточное звено, тоже долго искал... чучуть поработал с tinyproxy который пришлось пропатчить на предмет поддержки socks, но потом всетаки остановился на [Glossary_3proxy|3proxy]], он маленький, дохера чего может, можно сделать кучу разных проксей для разных задач и все в рамках одной софтины, потому остановился на нем.
Тут так просто сходу 2 кнопками нихера не выйдет - придеца вдумчиво читать документацию😊 порядок команд имеет значение, порядок ACL тоже, и еще куча ньюансов, но тем не менее все работает😊 Неожиданностью оказалось что он тоже умеет mitm aka sslbump для https, правда не понятно нахуя😊 может для фильтрации тока, кешировать к сожалению он не умеет впринципе, зато умеет проксировать http/https,socks4/5/ftp/pop/smtp и даже просто tcp, естественно умеет http/s=>socks и наоборот тоже, иначе бы я его не поставил😊 Расширяеца плагинами, и судя по сайту довольно активно пилица. Эдакий маленький кобайн который может дохрена всего, размером всего в полмегабайта. Умел бы он кешировать думаю надобность в wwwoffle бы отпала, а он бы точно стал паравозиком который смог😊 но, неумеет.
Тут не только то что нам нада для решения задачи, но и кое что еще сбоку - socks->http прокси, я через него же подключаюсь с работы, хоть я и работаю в ISP, и могу обойти эти блокировки по другому так как все железо подконтрольно мне в том числе и то что эти блокировки реализует, да и можно тупо подключица выше этих блокираторов, но это ломает стройность операторского ядра сети и поэтому я не хочу так делать, а юзаю домашний прокси с работы через socks, заодно и банерорезку получаю.
ebuild в gentoo кривоватый, не в плане что не собираеца, а в плане что тупо ставит бинарники и документацию и все - никаких init скриптов и дефолтных конфигов нет, никакого отдельного пользователя для процесса тоже нет, пришлось создавать вручную, все директории тоже вручную, в самом архиве есть init скрипт но пришлось подправить пути и еще там по мелочи. но это все мелочи😊
итак конфиг:
config /etc/3proxy/3proxy.cfg setgid 990 setuid 999 daemon internal 10.32.75.177 external 127.0.0.1 nserver 127.0.0.1 #nscache 1024 fakeresolve timeouts 1 5 30 60 180 1800 15 60 log /var/log/3proxy/3proxy.log D logformat "L%d-%m-%Y %H:%M:%S.%. %N.%p %E %U %C:%c %R:%r %O %I %h %T" archiver gz /bin/gzip %F rotate 30 users $/etc/3proxy/.proxyauth ############### Private HTTP -> SOCKS, used to link wwwoffle to socks servers in tor maxconn 64 auth iponly allow * 127.0.0.0/8 * * * parent 1000 socks5+ 127.0.0.1 9050 allow * 127.0.0.0/8 * * HTTP,HTTPS proxy -a -n -p8888 -i127.0.0.1 -e127.0.0.1 flush ############### Public SOCKS -> HTTP service - personal use on my work to obey rkn blocks for example maxconn 64 #auth iponly strong auth iponly allow * 91.193.236.34 * 80,8080 parent 1000 http 127.0.0.1 3128 allow * 91.193.236.34 * 443 parent 1000 connect+ 127.0.0.1 3128 socks flush ############### Test auth #auth strong #maxconn 64 #allow root #socks -u2 #flush pidfile /run/3proxy.pid
ну тут впринципе все понятно😊
дальше собственно кусок который какрас реализует http->socks между wwwoffle и тором:
Вот впринципе и все, запускаеца он путем 3proxy /path/to/config😊 по сигналу USR1 он толи перезапускаеца толи конфиг перечитывает толи и то и другое - хз. Так же там еще в конфиге откомментированная секция c SOCKS->HTTP прокси который я юзаю с работы, принцип вобщем то тот же только там 2 парента, один для http другой для https и соотвествующие ACL'и к ним выбирающие их по dst port, сделано так потому что для http и https различный тип парентов что впринципе логично, так как использование https несколько отличается от http, если вам данный функционал не нужен то просто удалите эту секцию.
Поправленный init скрипт - положить в /etc/init.d/3proxy:
#!/bin/sh
#
# chkconfig: 2345 20 80
# description: 3proxy tiny proxy server
#
#
#
#
PID="/run/3proxy.pid"
if [ ! -f $PID ]; then
touch $PID && chown proxy3.proxy3 $PID
fi
case "$1" in
start)
echo Starting 3Proxy
/usr/bin/3proxy /etc/3proxy/3proxy.cfg
RETVAL=$?
echo
[ $RETVAL ]
;;
stop)
echo Stopping 3Proxy
if [ $PID ]; then
/bin/kill `cat $PID`
else
/usr/bin/killall 3proxy
fi
RETVAL=$?
echo
[ $RETVAL ]
;;
restart|reload)
echo Reloading 3Proxy
if [ $PID ]; then
/bin/kill -s USR1 `cat $PID`
else
/usr/bin/killall -s USR1 3proxy
fi
;;
*)
echo Usage: $0 "{start|stop|restart}"
exit 1
esac
exit 0
ну и в gentoo сделать rc-update add 3proxy default. По работе могу сказать покашто тока одно - его не видно и не слышно - настроил(поебался) и забыл😊 никаких глюков, падений и проблем небыло.
На данный момент должна работать wwwofle <=> внешний мир, и связка wwwoffle <=http/s=> 3proxy <=socks5=> tor <=> внешний мир для всего что есть в proxy_header и в ркновских блоклистах😊 если нет то проверяем покомпонентно тем же браузером начиная с tor и движемся в сторону wwwofle.
Если вам это не удаеца и вы не можете идентифицировать неработающий компонент, если вы не знаете как использовать tcpdump, как телнетом запросить страничку по http, или не понимаете разницу между socks http и https протоколами хотя бы отдаленно, если не знаете как применить патч и не можете узнать, или не дай бог не отличаете клиента от сервера или не можете читать по английски недайбоже то тушим свет и расходимся, вам на хабр настраивать прокси для телеграмов а не такие связки лепить. Это даже еще не половина😊 Ко мне с вопросами пачемунипашет приставать даже не пытайтесь.
Ладна, поехали дальше, тепень нам нужен способ обойти блокировки по ip, тоесть все то что в том ипсете который формируется скриптом script_wwwoffle_rkn.sh нужно как то отправить через tor, и есть такой способ - tun2socks из пакета badvpn.
tun2socks собсно одним концом представляет из себя обычный сетевой tun интерфейс, с одним ограничением - не умеет udp, там есть какаято примочка для этого но мне не нужна и я не вникал, так что у меня не уммет😊 а другим концом он цепляется на socks сервер, таким образом любое приложение может работать через socks по tcp при условии что траффик идет через данный интерфейс.
Так как у меня генту, готовые конфиги для нее, интерфейс собсно поднимается штатно, ну или почти штатно - через netifrc. ставица emerge net-vpn/badvpn, так как мне нужен только tun2socks я оставил тока tun2socks use flag, ато там еще до кучи поставица какой то ихний сервир, какой то скриптовый интерпретатор для конфигрурации сети и еще всякая хрень - зачем засорять систему???
/etc/conf.d/net
modules="!system !iwconfig !wpa_supplicant !l2tp"
dns_domain_lo="lan"
config_enp2s0f1="10.32.75.177/30"
routes_enp2s0f1="default via 10.32.75.178"
config_tun2sock0="100.64.0.1 netmask 255.255.255.252 brd 100.64.0.3"
rules_tun2sock0="from 100.64.0.0/30 table tun2socks
fwmark 10 lookup tun2socks"
routes_tun2sock0="default via 100.64.0.2 table tun2socks
169.254.0.0/16 via 100.64.0.2 dev tun2sock0"
preup() {
if [ "${IFACE}" == "tun2sock0" ]; then
ip tuntap add dev tun2sock0 mode tun
badvpn-tun2socks --tundev tun2sock0 --netif-ipaddr 100.64.0.2 --netif-netmask 255.255.255.252 --socks-server-addr 127.0.0.1:9050 --loglevel 3 --syslog-facility local &
sysctl net.ipv4.conf.${IFACE}.rp_filter=0
fi
}
postdown() {
if [ "${IFACE}" == "tun2sock0" ]; then
kill `pidof badvpn-tun2socks` && ip tuntap del dev tun2sock0 mode tun
fi
}
Ну тут собсно config_enp2s0f1 это обычный сетевой интерфейс машины, badvpn-tun2socks - так называется бинарник поднимающий tun2socks интефейс, preup()/postdown() - стандартные процедуры вызываемые при поднятии/после опускания интерфейса в gentoo.
так же нада добавить таблицу маршрутизации tun2socks в /etc/iproute2/rt_tables чтоп к ней можно было обращаца по имени, вприсываем туда в конец 1 tun2socks к примеру, чтоп было примерно так:
# # reserved values # 255 local 254 main 253 default 0 unspec # # local # #1 inr.ruhep 1 tun2socks
Таблица маршрутизации после поднятия интерфейса должна выглядеть примерно так за исключением того что к делу не относица:
#ip rule list 0: from all lookup local 32764: from all fwmark 0xa lookup tun2socks 32765: from 100.64.0.0/30 lookup tun2socks 32766: from all lookup main 32767: from all lookup default #ip route show table tun2socks default via 100.64.0.2 dev tun2sock0 metric 7 #
Теперь у нас есть через чего мы можем тупо отправить tcp траффик через socks, осталось дело за выбором че отправлять че нет, делается это штатным фаерволом, у меня вот так:
#!/bin/bash
IPT="/sbin/iptables"
IPSET="/usr/sbin/ipset"
TABLES=`cat /proc/net/ip_tables_names 2>/dev/null`
for i in $TABLES;
do
$IPT -t $i -F
done
for i in $TABLES;
do
$IPT -t $i -X
done.
if ! $IPSET list blocked_ip_rkn &>/dev/null ; then.
$IPSET flush blocked_ip_rkn 2>/dev/null || $IPSET create blocked_ip_rkn hash:net maxelem 262144
fi
$IPT -t mangle -A OUTPUT -p tcp -m multiport --dports 443,80 -m owner --uid-owner wwwoffle --gid-owner wwwoffle -m set --match-set blocked_ip_rkn dst -j MARK --set-mark 10
# SOCKS ACCESS
$IPT -N 3proxy_access
$IPT -A 3proxy_access -s 91.193.236.34 -j ACCEPT
$IPT -A 3proxy_access -j REJECT.
$IPT -A INPUT ! -i lo -p tcp --dport 1080 -j 3proxy_access
в Gentoo он у меня лежит в /etc/local.d/firewall.start благодаря чему запускается автоматически. В начале идет очистка всех правил, потом проверка что ipset blocked_ip_rkn есть, потому что если его нет то правило iptables не добавица, ну и в конце там еще socks 3proxy зафаерволен который я на работе юзаю. собсно нас тут интересует правило iptables:
$IPT -t mangle -A OUTPUT -p tcp -m multiport --dports 443,80 -m owner --uid-owner wwwoffle --gid-owner wwwoffle -m set --match-set blocked_ip_rkn dst -j MARK --set-mark 10 - именно оно ставит метку 10 благодаря которой потом траффик принудительно маршрутизируется через tun2socks а не через дефолт, разберем подробней:
Впринципе, после всего этого уже любой запрос через wwwoffle на любой адрес из ipset blocked_ip_rkn должен пойти через socks сервер tor, ну к примеру:
┌────[root@srv: 2018-07-26 20:15:55 ~] └─># ipset list blocked_ip_rkn|tail 104.27.176.3 185.106.140.52 95.211.113.169 88.208.50.182 23.253.135.112 78.140.141.120 5.45.70.120 81.94.208.16 94.242.241.63 104.18.44.77 ┌────[root@srv: 2018-07-26 20:15:58 ~] └─># tcpdump -n -i tun2sock0 dropped privs to tcpdump tcpdump: verbose output suppressed, use -v or -vv for full protocol decode listening on tun2sock0, link-type RAW (Raw IP), capture size 262144 bytes 20:16:10.710511 IP 10.32.75.177.34194 > 104.18.44.77.80: Flags [SEW], seq 3424285378, win 29200, options [mss 1460,nop,nop,sackOK,nop,wscale 9], length 0 20:16:10.710606 IP 104.18.44.77.80 > 10.32.75.177.34194: Flags [S.], seq 19638, ack 3424285379, win 5840, options [mss 1460], length 0 20:16:10.710697 IP 10.32.75.177.34194 > 104.18.44.77.80: Flags [.], ack 1, win 29200, length 0 20:16:10.710859 IP 10.32.75.177.34194 > 104.18.44.77.80: Flags [P.], seq 1:420, ack 1, win 29200, length 419: HTTP: GET / HTTP/1.1 20:16:10.835219 IP 104.18.44.77.80 > 10.32.75.177.34194: Flags [.], ack 420, win 5421, length 0 20:16:11.176441 IP 104.18.44.77.80 > 10.32.75.177.34194: Flags [.], seq 1:1461, ack 420, win 5421, length 1460: HTTP: HTTP/1.1 403 Forbidden 20:16:11.176489 IP 10.32.75.177.34194 > 104.18.44.77.80: Flags [.], ack 1461, win 32120, length 0 20:16:11.176562 IP 104.18.44.77.80 > 10.32.75.177.34194: Flags [P.], seq 1461:1764, ack 420, win 5421, length 303: HTTP 20:16:11.176579 IP 10.32.75.177.34194 > 104.18.44.77.80: Flags [.], ack 1764, win 35040, length 0 20:16:11.586123 IP 104.18.44.77.80 > 10.32.75.177.34194: Flags [F.], seq 1764, ack 420, win 5421, length 0 20:16:11.586949 IP 10.32.75.177.34194 > 104.18.44.77.80: Flags [F.], seq 420, ack 1765, win 35040, length 0 20:16:11.587020 IP 104.18.44.77.80 > 10.32.75.177.34194: Flags [.], ack 421, win 5420, length 0 20:16:11.643978 IP 10.32.75.177.34204 > 104.18.44.77.80: Flags [SEW], seq 3817387905, win 29200, options [mss 1460,nop,nop,sackOK,nop,wscale 9], length 0 20:16:11.644092 IP 104.18.44.77.80 > 10.32.75.177.34204: Flags [S.], seq 25566, ack 3817387906, win 5840, options [mss 1460], length 0 20:16:11.644183 IP 10.32.75.177.34204 > 104.18.44.77.80: Flags [.], ack 1, win 29200, length 0 20:16:11.644315 IP 10.32.75.177.34204 > 104.18.44.77.80: Flags [P.], seq 1:493, ack 1, win 29200, length 492: HTTP: GET /cdn-cgi/styles/cf.errors.css HTTP/1.1 20:16:11.644406 IP 10.32.75.177.34208 > 104.18.44.77.80: Flags [SEW], seq 1368472906, win 29200, options [mss 1460,nop,nop,sackOK,nop,wscale 9], length 0 20:16:11.644437 IP 104.18.44.77.80 > 10.32.75.177.34208: Flags [S.], seq 31494, ack 1368472907, win 5840, options [mss 1460], length 0 20:16:11.644458 IP 10.32.75.177.34208 > 104.18.44.77.80: Flags [.], ack 1, win 29200, length 0 20:16:11.644609 IP 10.32.75.177.34208 > 104.18.44.77.80: Flags [P.], seq 1:478, ack 1, win 29200, length 477: HTTP: GET /cdn-cgi/scripts/zepto.min.js HTTP/1.1 20:16:11.659409 IP 10.32.75.177.34212 > 104.18.44.77.80: Flags [SEW], seq 2218674855, win 29200, options [mss 1460,nop,nop,sackOK,nop,wscale 9], length 0 20:16:11.659472 IP 104.18.44.77.80 > 10.32.75.177.34212: Flags [S.], seq 37422, ack 2218674856, win 5840, options [mss 1460], length 0 20:16:11.659518 IP 10.32.75.177.34212 > 104.18.44.77.80: Flags [.], ack 1, win 29200, length 0 20:16:11.659744 IP 10.32.75.177.34212 > 104.18.44.77.80: Flags [P.], seq 1:478, ack 1, win 29200, length 477: HTTP: GET /cdn-cgi/scripts/cf.common.js HTTP/1.1 20:16:11.837011 IP 104.18.44.77.80 > 10.32.75.177.34212: Flags [.], ack 478, win 5363, length 0 20:16:11.837054 IP 104.18.44.77.80 > 10.32.75.177.34208: Flags [.], ack 478, win 5363, length 0 20:16:11.837062 IP 104.18.44.77.80 > 10.32.75.177.34204: Flags [.], ack 493, win 5348, length 0 20:16:12.046699 IP 104.18.44.77.80 > 10.32.75.177.34208: Flags [.], seq 1:1461, ack 478, win 5363, length 1460: HTTP: HTTP/1.1 200 OK 20:16:12.046754 IP 10.32.75.177.34208 > 104.18.44.77.80: Flags [.], ack 1461, win 32120, length 0 20:16:12.046763 IP 104.18.44.77.80 > 10.32.75.177.34208: Flags [.], seq 1461:2921, ack 478, win 5363, length 1460: HTTP 20:16:12.046806 IP 10.32.75.177.34208 > 104.18.44.77.80: Flags [.], ack 2921, win 35040, length 0 20:16:12.046904 IP 104.18.44.77.80 > 10.32.75.177.34208: Flags [P.], seq 2921:3487, ack 478, win 5363, length 566: HTTP 20:16:12.046957 IP 10.32.75.177.34208 > 104.18.44.77.80: Flags [.], ack 3487, win 37960, length 0 20:16:12.094814 IP 104.18.44.77.80 > 10.32.75.177.34208: Flags [.], seq 3487:4947, ack 478, win 5363, length 1460: HTTP 20:16:12.094856 IP 10.32.75.177.34208 > 104.18.44.77.80: Flags [.], ack 4947, win 40880, length 0 20:16:12.094880 IP 104.18.44.77.80 > 10.32.75.177.34208: Flags [.], seq 4947:6407, ack 478, win 5363, length 1460: HTTP 20:16:12.094890 IP 10.32.75.177.34208 > 104.18.44.77.80: Flags [.], ack 6407, win 43800, length 0 20:16:12.094919 IP 104.18.44.77.80 > 10.32.75.177.34208: Flags [P.], seq 6407:7471, ack 478, win 5363, length 1064: HTTP 20:16:12.094946 IP 10.32.75.177.34208 > 104.18.44.77.80: Flags [.], ack 7471, win 46720, length 0 20:16:12.107706 IP 104.18.44.77.80 > 10.32.75.177.34208: Flags [.], seq 7471:8931, ack 478, win 5363, length 1460: HTTP 20:16:12.107759 IP 10.32.75.177.34208 > 104.18.44.77.80: Flags [.], ack 8931, win 49640, length 0 20:16:12.107920 IP 104.18.44.77.80 > 10.32.75.177.34208: Flags [P.], seq 8931:9793, ack 478, win 5363, length 862: HTTP 20:16:12.107950 IP 10.32.75.177.34208 > 104.18.44.77.80: Flags [.], ack 9793, win 52560, length 0 20:16:12.178175 IP 104.18.44.77.80 > 10.32.75.177.34204: Flags [.], seq 1:1461, ack 493, win 5348, length 1460: HTTP: HTTP/1.1 200 OK 20:16:12.178214 IP 10.32.75.177.34204 > 104.18.44.77.80: Flags [.], ack 1461, win 32120, length 0 20:16:12.178221 IP 104.18.44.77.80 > 10.32.75.177.34204: Flags [.], seq 1461:2921, ack 493, win 5348, length 1460: HTTP 20:16:12.178231 IP 10.32.75.177.34204 > 104.18.44.77.80: Flags [.], ack 2921, win 35040, length 0 20:16:12.178250 IP 104.18.44.77.80 > 10.32.75.177.34204: Flags [P.], seq 2921:3487, ack 493, win 5348, length 566: HTTP 20:16:12.178261 IP 10.32.75.177.34204 > 104.18.44.77.80: Flags [.], ack 3487, win 37960, length 0 20:16:12.215356 IP 104.18.44.77.80 > 10.32.75.177.34204: Flags [.], seq 3487:4947, ack 493, win 5348, length 1460: HTTP 20:16:12.215385 IP 10.32.75.177.34204 > 104.18.44.77.80: Flags [.], ack 4947, win 40880, length 0 20:16:12.215461 IP 104.18.44.77.80 > 10.32.75.177.34204: Flags [P.], seq 4947:5319, ack 493, win 5348, length 372: HTTP 20:16:12.215478 IP 10.32.75.177.34204 > 104.18.44.77.80: Flags [.], ack 5319, win 43800, length 0 20:16:12.276385 IP 104.18.44.77.80 > 10.32.75.177.34212: Flags [.], seq 1:1461, ack 478, win 5363, length 1460: HTTP: HTTP/1.1 200 OK 20:16:12.276422 IP 10.32.75.177.34212 > 104.18.44.77.80: Flags [.], ack 1461, win 32120, length 0 20:16:12.276474 IP 104.18.44.77.80 > 10.32.75.177.34212: Flags [P.], seq 1461:2441, ack 478, win 5363, length 980: HTTP 20:16:12.276489 IP 10.32.75.177.34212 > 104.18.44.77.80: Flags [.], ack 2441, win 35040, length 0 20:16:12.587898 IP 104.18.44.77.80 > 10.32.75.177.34212: Flags [F.], seq 2441, ack 478, win 5363, length 0 20:16:12.587947 IP 104.18.44.77.80 > 10.32.75.177.34204: Flags [F.], seq 5319, ack 493, win 5348, length 0 20:16:12.587963 IP 104.18.44.77.80 > 10.32.75.177.34208: Flags [F.], seq 9793, ack 478, win 5363, length 0 20:16:12.590500 IP 10.32.75.177.34212 > 104.18.44.77.80: Flags [F.], seq 478, ack 2442, win 35040, length 0 20:16:12.590563 IP 104.18.44.77.80 > 10.32.75.177.34212: Flags [.], ack 479, win 5362, length 0 20:16:12.590690 IP 10.32.75.177.34204 > 104.18.44.77.80: Flags [F.], seq 493, ack 5320, win 43800, length 0 20:16:12.590715 IP 104.18.44.77.80 > 10.32.75.177.34204: Flags [.], ack 494, win 5347, length 0 20:16:12.598426 IP 10.32.75.177.34208 > 104.18.44.77.80: Flags [F.], seq 478, ack 9794, win 52560, length 0 20:16:12.598485 IP 104.18.44.77.80 > 10.32.75.177.34208: Flags [.], ack 479, win 5362, length 0 ^C 66 packets captured 66 packets received by filter 0 packets dropped by kernel ┌────[root@srv: 2018-07-26 20:16:16 ~] └─>#
Это я вбил 104.18.44.77 в адресную строку бравзера - фсе работает😊 Оказалось это адрес одной из нод Cloudflare и получается заблокировали всех кто на нее попадет😊 Впринципе мэппинг зоны .onion в Tor тоже должен работать, если прописать днс сервером 127.0.0.2 в /etc/resolv.conf то можно проверить вот так к примеру:
┌────[root@srv: 2018-07-26 21:00:41 ~] └─># host 3g2upl4pq6kufc4m.onion 3g2upl4pq6kufc4m.onion has address 169.254.211.122 ┌────[root@srv: 2018-07-26 21:01:11 ~] └─>#
Тоесть нам выдали ip для 3g2upl4pq6kufc4m.onion из диапазона для мэппинга в Tor 169.254.0.0/16, вбиваем в браузер https://3g2upl4pq6kufc4m.onion/ и наблюдаем следующее на tun2socks интерфейсе:
┌────[root@srv: 2018-07-26 21:13:34 ~] └─># tcpdump -n -i tun2sock0 dropped privs to tcpdump tcpdump: verbose output suppressed, use -v or -vv for full protocol decode listening on tun2sock0, link-type RAW (Raw IP), capture size 262144 bytes 21:13:38.143806 IP 100.64.0.1.22306 > 169.254.211.122.443: Flags [SEW], seq 3827395173, win 29200, options [mss 1460,nop,nop,sackOK,nop,wscale 9], length 0 21:13:38.143860 IP 169.254.211.122.443 > 100.64.0.1.22306: Flags [S.], seq 395346, ack 3827395174, win 5840, options [mss 1460], length 0 21:13:38.143940 IP 100.64.0.1.22306 > 169.254.211.122.443: Flags [.], ack 1, win 29200, length 0 21:13:38.144127 IP 100.64.0.1.22306 > 169.254.211.122.443: Flags [P.], seq 1:270, ack 1, win 29200, length 269 21:13:38.214322 IP 169.254.211.122.443 > 100.64.0.1.22306: Flags [.], ack 270, win 5571, length 0 21:13:41.510642 IP 169.254.211.122.443 > 100.64.0.1.22306: Flags [.], seq 1:1461, ack 270, win 5571, length 1460 21:13:41.510708 IP 100.64.0.1.22306 > 169.254.211.122.443: Flags [.], ack 1461, win 32120, length 0 21:13:41.510719 IP 169.254.211.122.443 > 100.64.0.1.22306: Flags [.], seq 1461:2921, ack 270, win 5571, length 1460 21:13:41.510738 IP 100.64.0.1.22306 > 169.254.211.122.443: Flags [.], ack 2921, win 35040, length 0 21:13:41.510772 IP 169.254.211.122.443 > 100.64.0.1.22306: Flags [P.], seq 2921:3487, ack 270, win 5571, length 566 21:13:41.510787 IP 100.64.0.1.22306 > 169.254.211.122.443: Flags [.], ack 3487, win 37960, length 0 21:13:41.574820 IP 169.254.211.122.443 > 100.64.0.1.22306: Flags [P.], seq 3487:4256, ack 270, win 5571, length 769 21:13:41.574878 IP 100.64.0.1.22306 > 169.254.211.122.443: Flags [.], ack 4256, win 40880, length 0 21:13:41.576256 IP 100.64.0.1.22306 > 169.254.211.122.443: Flags [P.], seq 270:345, ack 4256, win 40880, length 75 21:13:41.717564 IP 169.254.211.122.443 > 100.64.0.1.22306: Flags [.], ack 345, win 5496, length 0 21:13:41.717648 IP 100.64.0.1.22306 > 169.254.211.122.443: Flags [P.], seq 345:396, ack 4256, win 40880, length 51 21:13:41.954137 IP 100.64.0.1.22306 > 169.254.211.122.443: Flags [P.], seq 345:396, ack 4256, win 40880, length 51 21:13:41.954235 IP 169.254.211.122.443 > 100.64.0.1.22306: Flags [.], ack 396, win 5445, length 0 21:13:42.087069 IP 169.254.211.122.443 > 100.64.0.1.22306: Flags [P.], seq 4256:4530, ack 396, win 5445, length 274 21:13:42.088590 IP 100.64.0.1.22306 > 169.254.211.122.443: Flags [P.], seq 396:865, ack 4530, win 43800, length 469 21:13:42.217913 IP 169.254.211.122.443 > 100.64.0.1.22306: Flags [.], ack 865, win 4976, length 0 21:13:42.566856 IP 169.254.211.122.443 > 100.64.0.1.22306: Flags [.], seq 4530:5990, ack 865, win 4976, length 1460 21:13:42.614098 IP 100.64.0.1.22306 > 169.254.211.122.443: Flags [.], ack 5990, win 46720, length 0 21:13:42.614148 IP 169.254.211.122.443 > 100.64.0.1.22306: Flags [P.], seq 5990:7423, ack 865, win 4976, length 1433 21:13:42.614163 IP 100.64.0.1.22306 > 169.254.211.122.443: Flags [.], ack 7423, win 49640, length 0 21:13:42.626013 IP 100.64.0.1.22306 > 169.254.211.122.443: Flags [P.], seq 865:896, ack 7423, win 49640, length 31 21:13:42.626060 IP 169.254.211.122.443 > 100.64.0.1.22306: Flags [R.], seq 7423, ack 896, win 5840, length 0 21:13:43.153681 IP 100.64.0.1.22334 > 169.254.211.122.443: Flags [SEW], seq 1831618165, win 29200, options [mss 1460,nop,nop,sackOK,nop,wscale 9], length 0 21:13:43.153773 IP 169.254.211.122.443 > 100.64.0.1.22334: Flags [S.], seq 408169, ack 1831618166, win 5840, options [mss 1460], length 0 21:13:43.153858 IP 100.64.0.1.22334 > 169.254.211.122.443: Flags [.], ack 1, win 29200, length 0 21:13:43.154077 IP 100.64.0.1.22334 > 169.254.211.122.443: Flags [P.], seq 1:270, ack 1, win 29200, length 269 21:13:43.218258 IP 169.254.211.122.443 > 100.64.0.1.22334: Flags [.], ack 270, win 5571, length 0 21:13:43.935375 IP 169.254.211.122.443 > 100.64.0.1.22334: Flags [.], seq 1:1461, ack 270, win 5571, length 1460 21:13:43.935413 IP 100.64.0.1.22334 > 169.254.211.122.443: Flags [.], ack 1461, win 32120, length 0 21:13:43.935420 IP 169.254.211.122.443 > 100.64.0.1.22334: Flags [.], seq 1461:2921, ack 270, win 5571, length 1460 21:13:43.935456 IP 100.64.0.1.22334 > 169.254.211.122.443: Flags [.], ack 2921, win 35040, length 0 21:13:43.935504 IP 169.254.211.122.443 > 100.64.0.1.22334: Flags [P.], seq 2921:3487, ack 270, win 5571, length 566 21:13:43.935525 IP 100.64.0.1.22334 > 169.254.211.122.443: Flags [.], ack 3487, win 37960, length 0 21:13:44.037489 IP 169.254.211.122.443 > 100.64.0.1.22334: Flags [P.], seq 3487:4256, ack 270, win 5571, length 769 21:13:44.037520 IP 100.64.0.1.22334 > 169.254.211.122.443: Flags [.], ack 4256, win 40880, length 0 21:13:44.038769 IP 100.64.0.1.22334 > 169.254.211.122.443: Flags [P.], seq 270:345, ack 4256, win 40880, length 75 21:13:44.219077 IP 169.254.211.122.443 > 100.64.0.1.22334: Flags [.], ack 345, win 5496, length 0 21:13:44.219117 IP 100.64.0.1.22334 > 169.254.211.122.443: Flags [P.], seq 345:396, ack 4256, win 40880, length 51 21:13:44.469480 IP 169.254.211.122.443 > 100.64.0.1.22334: Flags [.], ack 396, win 5445, length 0 21:13:44.652660 IP 169.254.211.122.443 > 100.64.0.1.22334: Flags [P.], seq 4256:4530, ack 396, win 5445, length 274 21:13:44.654222 IP 100.64.0.1.22334 > 169.254.211.122.443: Flags [P.], seq 396:1048, ack 4530, win 43800, length 652 21:13:44.719427 IP 169.254.211.122.443 > 100.64.0.1.22334: Flags [.], ack 1048, win 4793, length 0 21:13:45.056474 IP 169.254.211.122.443 > 100.64.0.1.22334: Flags [P.], seq 4530:5197, ack 1048, win 4793, length 667 21:13:45.056831 IP 100.64.0.1.22334 > 169.254.211.122.443: Flags [P.], seq 1048:1079, ack 5197, win 46720, length 31 21:13:45.056888 IP 169.254.211.122.443 > 100.64.0.1.22334: Flags [R.], seq 5197, ack 1079, win 5840, length 0 21:13:45.056907 IP 100.64.0.1.22334 > 169.254.211.122.443: Flags [F.], seq 1079, ack 5197, win 46720, length 0 21:13:45.056928 IP 169.254.211.122.443 > 100.64.0.1.22334: Flags [.], ack 1079, win 4762, length 0 21:13:45.056964 IP 100.64.0.1.22334 > 169.254.211.122.443: Flags [R], seq 1831619244, win 0, length 0 ^C 53 packets captured 53 packets received by filter 0 packets dropped by kernel ┌────[root@srv: 2018-07-26 21:13:49 ~] └─>#
И поисковик DockDuckGo в браузере - опять фсе работает, кстати через церочку прокси тоже будет работать😊 Если не работает, попробуйте другие адреса, к примеру http://zqktlwi4fecvo6ri.onion/wiki/index.php/Main_Page, Tor штука не совсем стабильная - бывает чтото конкретное не работает, бывает иногда совсем ниче не работает а надо просто подождать😊
Осталось дело за малым - поднять свой днс рекурсор, хотя впринципе это не обязательно, но система блокировки у провайдера может подменять днс ответы, а благодаря dnssec у нас есть шанс узнать об этом, и если он таки так делает то на этом же рекурсоре мы можем сделать форвардинг запросов на dns сервер tor, можно его и на прямую прописать - впринципе работать скорее всего будет, но с рекурсором как то больше возможностей для маневров, и вдобавок получим кеширование что несколько ускорит загрузку страниц в любом случае, а в случае форварда на tor сервер ускорит существенно ибо он нихрена не быстрый и вообще кривой😊 Да и вообще я всю жизнь так делаю😊 В качестве dns сервера на данный момент у меня bind, а по сему:
Bind у меня немного патченный, на предмет оверврайта min-ttl в определении зоны дабы можно было кешировать некешируемое, и можно было самостоятельно определять на какой промежуток времени кешировать, это наруешает rfc но на локальной машине не страшно - в редких ситуациях когда перестарались вегда под рукой есть rndc flushname/flushtree.
Patch_bind-min-ttl-override-9.12.2_p2-r1.patch.bz2 - патч для этого, вводит 2 новые директивы - min-cache-ttl и override-cache-ttl.
Настройки bind собсно находяца в /etc/bind - логично😊
/etc/bind/named.conf:
acl "xfer" {
none;
};
acl "trusted" {
127.0.0.0/8;
192.168.3.0/30;
10.32.18.176/28;
100.64.64.0/30;
10.32.75.176/28;
100.64.65.0/24;
100.64.5.8/30;
};
acl "icf_masters" {
91.193.237.1;
91.193.236.10;
};
masters "icf_masters" {
91.193.237.1;
91.193.236.10;
};
server 127.0.0.2 {
bogus no;
edns no;
request-nsid no;
send-cookie no;
};
#dnssec managed-keys-zone
include "/etc/bind/bind.keys";
options {
directory "/var/bind";
pid-file "/run/named/named.pid";
version "ohuenny servir Made in USSR";
hostname none;
server-id none;
statistics-file "/var/log/named/named_stats.txt";
memstatistics-file "/var/log/named/named_mem_stats.txt";
dump-file "/var/log/named/named_cache_dump.txt";
zone-statistics yes;
empty-zones-enable yes;
interface-interval 0;
recursion yes;
check-names master warn;
check-names slave warn;
check-names response ignore;
minimal-responses no;
message-compression no;
trust-anchor-telemetry no;
transfer-format many-answers;
max-cache-size 512M;
max-ncache-ttl 32400;
max-cache-ttl 3600000;
min-cache-ttl 1036800;
override-cache-ttl 1;
prefetch 10;
lame-ttl 1800;
servfail-ttl 30;
cleaning-interval 120;
min-refresh-time 600;
max-zone-ttl 3600000;
clients-per-query 32;
max-clients-per-query 128;
recursive-clients 512;
tcp-clients 256;
max-recursion-depth 16;
files 65535;
dnssec-enable yes;
dnssec-validation auto;
listen-on { 127.0.0.1; 10.32.75.177; };
listen-on-v6 { none; };
query-source 10.32.75.177;
transfer-source 10.32.75.177;
notify-source 10.32.75.177;
edns-udp-size 1432;
max-udp-size 1432;
allow-new-zones no;
notify no;
allow-query {
trusted;
};
allow-query-cache {
trusted;
};
allow-recursion {
trusted;
};
allow-transfer {
none;
};
allow-update {
none;
};
rate-limit {
ipv4-prefix-length 32;
window 10;
responses-per-second 20;
errors-per-second 5;
nxdomains-per-second 5;
log-only yes;
exempt-clients {
trusted;
};
};
rrset-order {
order fixed;
};
filter-aaaa-on-v4 yes;
filter-aaaa-on-v6 yes;
filter-aaaa {
trusted;
};
};
logging {
channel default_log {
file "/var/log/named/named.log" versions 5 size 5M;
print-time yes;
print-severity yes;
print-category yes;
buffered no;
};
channel security_log {
file "/var/log/named/named_security.log" versions 5 size 64M;
print-time yes;
print-severity yes;
print-category yes;
buffered no;
};
channel dnssec_log {
file "/var/log/named/named_dnssec.log" versions 5 size 64M;
print-time yes;
print-severity yes;
print-category yes;
buffered no;
};
channel lame_log {
file "/var/log/named/named_lame.log" versions 5 size 64M;
print-time yes;
print-severity yes;
print-category yes;
buffered yes;
};
channel xfer_log {
file "/var/log/named/named_xfer.log" versions 5 size 64M;
print-time yes;
print-severity yes;
print-category yes;
buffered no;
};
channel edns-disabled_log {
file "/var/log/named/named_edns-disabled.log" versions 5 size 64M;
print-time yes;
print-severity yes;
print-category yes;
buffered no;
};
channel rate-limit_log {
file "/var/log/named/rate-limit.log" versions 5 size 64M;
print-time yes;
print-severity yes;
print-category yes;
buffered no;
};
category default { default_log; };
category general { default_log; };
category security { security_log; };
category update-security { security_log; };
category dnssec { dnssec_log; };
category lame-servers { lame_log; };
category cname { lame_log; };
category xfer-in { xfer_log; };
category xfer-out { xfer_log; };
category notify { xfer_log; };
category edns-disabled { edns-disabled_log; };
category rate-limit { rate-limit_log; };
};
include "/etc/bind/rndc.key";
controls {
inet 127.0.0.1 port 953 allow { 127.0.0.1/32; } keys { "rndc-key"; };
};
zone "lan." IN {
type master;
file "pri/db.lan";
notify yes;
allow-query { trusted; icf_masters; };
also-notify { icf_masters; };
allow-transfer { icf_masters; };
};
include "/etc/bind/loopback.conf";
include "/etc/bind/zones_slave.conf";
include "/etc/bind/zones_forward.conf";
include "/etc/bind/zones_root.conf";
Впринципе тут ничего особенного нет:
дальше наиболее интересное в нашей задаче:
/etc/bind/zones_forward.conf
// tor onion. zone forward to tor internal dns server
zone "onion." {
type static-stub;
server-addresses { 127.0.0.2; };
};
zone "retre.org" {
type forward;
forward only;
forwarders { 127.0.0.2; };
};
zone "tracktor.in" {
type forward;
forward only;
forwarders { 127.0.0.2; };
};
Тут какрас происходит форвардинг запросов для зоны onion. на резольвер tor, который как ранее описано выдает фейковые ip из определенного диапазона для этой зоны и ассоциирует их с нодами внутри tor сети - таким образом это и работает без прямого socks подключения к tor. Так же здесь форврадинг для зон retre.org и tracktor.in - видать при их блокировке накрыли и ихние днс сервера тоже так как на данный момент они напрямую не резольвяца, но при этом резольвяца через tor сеть - пришлось прописать вручную. И тут еще нужен финт ушами - так как onion. типа корневой домен - просто так форвардинг не сработает ибо корневая зона подписана и у нас включен dnssec - будет вякать что подписи нет и резольвить откажеца, workaround - выставить для зоны так называемый nta - negative trust anchor, при этом dnssec для такой зоны будет отключен и все заработает, делаетя это с помощью rndc, и перманентно так сделать нельзя - запись добавляетя на определенное время так как предназначение этой фичи - временно отключить dnssec для зоны в случае если админ зоны сотворил какой либо фейл с dnsec а резольвить ее все же нада пока он не исправил. поэтому добавляем в крон чтото типа такого:
@daily rndc nta -l 1w -f onion. &>>/dev/null
это выставляет nta для зоны рас в день сроком на неделю, таким образом оно будет выставлено всегда, ну если машина не выключается наночь😊
Ну и на последок самое главное:
/etc/bind/zones_root.conf
//zone "." in { type hint; file "/var/bind/named.cache"; }; #The traditional root hints mechanism.
masters "root_xfr_masters" {
199.9.14.201; # b.root-servers.net.
192.33.4.12; # c.root-servers.net.
199.7.91.13; # d.root-servers.net.
192.203.230.10; # e.root-servers.net.
192.5.5.241; # f.root-servers.net.
198.97.190.53; # h.root-servers.net.
192.36.148.17; # i.root-servers.net.
192.58.128.30; # j.root-servers.net.
193.0.14.129; # k.root-servers.net.
};
// http://www.dns.icann.org/services/axfr/
masters "icann_xfr" {
192.0.32.132; // lax.xfr.dns.icann.org
192.0.47.132; // iad.xfr.dns.icann.org
192.0.47.132; // xfr.cjr.dns.icann.org
};
// the slave root zones according rfc7706
zone "." in {
type slave;
file "sec/root-slave.db";
masters { root_xfr_masters; icann_xfr; };
notify no;
};
zone "root-servers.net." in {
type slave;
file "sec/root-slave.root-servers.net.db";
masters { root_xfr_masters; icann_xfr; };
notify no;
};
zone "mcast.net." in {
type slave;
file "sec/root-slave.mcast.net.db";
masters { icann_xfr; };
notify no;
};
zone "arpa." {
type slave;
file "sec/root-slave.arpa.db";
masters { root_xfr_masters; icann_xfr; };
notify no;
};
zone "in-addr.arpa." {
type slave;
file "sec/root-slave.in-addr.arpa.db";
masters { icann_xfr; };
notify no;
};
zone "224.in-addr.arpa." {
type slave;
file "sec/root-slave.224.in-addr.arpa.db";
masters { icann_xfr; };
notify no;
};
zone "225.in-addr.arpa." {
type slave;
file "sec/root-slave.225.in-addr.arpa.db";
masters { icann_xfr; };
notify no;
};
zone "226.in-addr.arpa." {
type slave;
file "sec/root-slave.226.in-addr.arpa.db";
masters { icann_xfr; };
notify no;
};
zone "227.in-addr.arpa." {
type slave;
file "sec/root-slave.227.in-addr.arpa.db";
masters { icann_xfr; };
notify no;
};
zone "228.in-addr.arpa." {
type slave;
file "sec/root-slave.228.in-addr.arpa.db";
masters { icann_xfr; };
notify no;
};
zone "229.in-addr.arpa." {
type slave;
file "sec/root-slave.229.in-addr.arpa.db";
masters { icann_xfr; };
notify no;
};
zone "230.in-addr.arpa." {
type slave;
file "sec/root-slave.230.in-addr.arpa.db";
masters { icann_xfr; };
notify no;
};
zone "231.in-addr.arpa." {
type slave;
file "sec/root-slave.231.in-addr.arpa.db";
masters { icann_xfr; };
notify no;
};
zone "232.in-addr.arpa." {
type slave;
file "sec/root-slave.232.in-addr.arpa.db";
masters { icann_xfr; };
notify no;
};
zone "233.in-addr.arpa." {
type slave;
file "sec/root-slave.233.in-addr.arpa.db";
masters { icann_xfr; };
notify no;
};
zone "234.in-addr.arpa." {
type slave;
file "sec/root-slave.234.in-addr.arpa.db";
masters { icann_xfr; };
notify no;
};
zone "235.in-addr.arpa." {
type slave;
file "sec/root-slave.235.in-addr.arpa.db";
masters { icann_xfr; };
notify no;
};
zone "236.in-addr.arpa." {
type slave;
file "sec/root-slave.236.in-addr.arpa.db";
masters { icann_xfr; };
notify no;
};
zone "237.in-addr.arpa." {
type slave;
file "sec/root-slave.237.in-addr.arpa.db";
masters { icann_xfr; };
notify no;
};
zone "238.in-addr.arpa." {
type slave;
file "sec/root-slave.238.in-addr.arpa.db";
masters { icann_xfr; };
notify no;
};
zone "239.in-addr.arpa." {
type slave;
file "sec/root-slave.239.in-addr.arpa.db";
masters { icann_xfr; };
notify no;
};
Тут тоже присутствует некоторый финт ушами, хотя для бсдэшников это почти штатно, но тем не менее - кто работал с bind наверное заметил что у меня нет root hints - стандартного механизма получения адресов корневых серверов, его нет потому что я его не использую, вместо этого я делаю transfer корневых зон с корневых серверов к себе, что уменьшает как нагрузку на корневые сервера так и время отклика ибо это убирает необходимость запросов к ним от слова совсем при резольвинге, делается только периодический transfer с них.
Вдобавок я тяну не только корневые зоны, но и обратку и обратки для подсетей, часть из этого доступно как с корневых так и с icann серверов, часть только с icann, поэтому разные значения в masters для зон.
На этом пожалуй наверное все😊 не прошло и полгода как я доваял эту портянку😊 хотя точнее судя по всему прошло - ну да ладно, как могу так и пишу - выж мне за эту хуйню не платите😊
Blog Docs WWW Proxy Caching wwwoffle 3proxy patch Network Linux Unix-Way Bind