Лайфхаки

Маленькие, полезные хитрости

Запросы с кэшированием

Чтобы использовать прокси в Python, сначала импортируйте пакет requests.Далее создайте словарьproxies, определяющий HTTP и HTTPS соединения. Эта переменная должна быть словарем, который сопоставляет протокол с URL прокси. Кроме того, создайте переменную url, содержащую веб-страницу, с которой вы собираетесь делать скрейпинг.

Обратите внимание, что в приведенном ниже примере словарь определяет URL прокси для двух отдельных протоколов: HTTP и HTTPS. Каждое соединение соответствует отдельному URL и порту, но это не означает, что они не могут быть одинаковыми

Наконец, создайте переменную ответа, которая использует любой из методов запроса. Метод будет принимать два аргумента: созданную вами переменную URL и определенный словарь с proxy.

Простой парсер прокси на питоне.. Настройка

Для успешной разработки парсинг-агента на прокси-сервере нужно установить Linux с такими инструментами:

TOR: распределенная, анонимная и зашифрованная сеть, в которой данные пользователей и сами пользователи никогда не будут раскрыты.Stem: контроллер Python для TOR.Privoxy: не кеширующий веб-прокси с фильтрацией, повышенной конфиденциальностью и возможностью изменения данных веб-страниц и заголовков HTTP.TOR (установка и настройка)

Установи TOR через терминал:

sudo apt-get update sudo apt-get install tor sudo /etc/init.d/tor restart

Далее:

Последние обновления на сайте:

1. Поссорились с женой.
2. Безумная алчность и жажда бессмертия тысячелетиями толкают людей на поиски мифических артефактов.
3. Хозяйки ахнут, когда разрежут этот пирог: внутри почти нет теста, зато груши лежат десятками тонких слоёв.
4. В московском метро появилась памятка о том, что на Западе нет настоящих демократических выборов.
5. Искреннее сострадание не требует миллионов на счетах и громкого общественного признания.
6. Онколог спас пациенту жизнь, а в отзыве получил четыре звезды и издевательский мемный статус.
7. Два мягких помидора уже никто не хотел есть, а выбрасывать было жалко.
8. Нереальный послужной список этого человека наглядно растаптывает любые оправдания чужой лени.
9. После уборки чеснока всегда остаются повреждённые головки.
10. С мужем поженились рано, родили дочку.
11. Еда - это язык, который понимают все без единого слова.
12. Уволенная сотрудница изощренно отомстила боссу перед своим уходом.
13. Твоё тело работает 24 часа в сутки без твоего участия.
14. Мы с мужем очень сильно поругались, решили разводиться.
15. Из мягких груш красивого варенья дольками не получится.
16. Уже нет сил постоянно ругаться со свекровью.
17. Академик ран Онищенко призвал россиян не ездить отдыхать за границу: "Зачем Ездить в Турцию, Когда у нас в Стране Есть Практически все".
18. Хожу второй день вокруг лука и не могу решить, убирать его или ещё пусть сидит.
19. Дeлaю yжe втopую нeдeлю.
20. Мой муж в течение четырёх лет не подозревал, что это аджика из кабачков, он с удовольствием её ел, хотя кабачки обычно не любит!
21. Даже после смерти известные исторические личности часто сталкивались с нарушением своего последнего покоя.
22. За долгое время наш мир сталкивался с невероятно странными событиями.
23. Эти города не просто "Потерялись" - некоторые из них исчезли всего за одну ночь.
24. Сервис такси Bolt уволил всех кадровиков ради эффективности.
25. При знакомстве с новыми людьми всегда стараюсь мягко обкатать какие-то жесткие для него темы.
26. Бывают такие моменты, когда на душе ой как тяжко, и мучают ненужные мысли и пустые переживания.
27. Мой личный лайфхак относительно учёбы.
28. История любви из разных миров покорила интернет.
29. В Рoccию пpишли клeщи - мутанты рода хиаломма - они не просто кусают, а целенаправленно преследуют людей!
30. Гигантский астероид скоро рядом с землёй пройдёт.
31. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
32. Клещи - мутанты из Африки атакуют россиян.
33. Жeлаете, чтобы роза из полюбившегося букета цвела у вас на даче?
34. Все лето держу окна в доме отрытыми и не боюсь комаров.
35. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
36. Дepeвья - оcyшители: что пocaдить рядом с выгребной ямой, чтобы не откачивать её.
37. Нашатырь можно как хорошую подкормку для лука использовать.
38. Самый богатый бомж в мире!
39. Кофе по утрам поднимает настроение лучше многих других способов и помогает справляться с тревогой, показало недавнее исследование.
40. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
41. Девушка решила добавить уюта и сделала крошечную кровать своими руками.
42. Разбираемся как бороться с червяками на малине.
43. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
44. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
45. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
46. Клубника на подоконнике - аромат лета круглый год!
47. Полезная свекольная аджика на зиму.
48. С утра иногда так хочется выпить ароматного бодрящего кофе.
49. Как ухаживать за астрами для пышного цветения.
50. Маленькая шпаргалка по томатам.