Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Nasa показало вселенную с невероятным уровнем детализации.
2. Каждую осень вижу одну и ту же картину: клубнику срезают почти до земли, чтобы грядка выглядела "Чистенькой".
3. После аварии моего мужа ниже пояса парализовало.
4. С мужем вместе уже 10 лет.
5. Уровень дохода в США напрямую определяет качество жилья, образовательные возможности и стиль жизни.
6. Природа продолжает удивлять даже тех, кто посвятил ей всю жизнь.
7. Не понимаю лечо, в котором перец варили час и в итоге от него остались одни бесформенные тряпочки.
8. Пробу снимаю еще горячей и каждый раз радуюсь: кабачки не развариваются, а соус получается густым и пикантным.
9. Депутат Горелкин слухи о блокировке Steam в России развеял.
10. Четыре салата в банках на зиму.
11. Томаты будут краснеть быстрее и завязи не осыпятся: делаю одну простую обработку по листу.
12. Про проветривание теплицы.
13. Летняя аномальная жара заставила россиян массово отказаться от интимной жизни.
14. Современный гейминг оказался исключительно полезен для человеческой психики.
15. Популярные суши и роллы официально признали настоящим суперфудом.
16. В конце лета часто езжу на чужие дачи в соседние посёлки и собираю с деревьев на улицах яблоки, груши, алычу, сливы, фундук.
17. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
18. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
19. Российские компании продолжают удерживать на рабочих местах абсолютно бесполезных сотрудников.
20. Пересадка огурцов без стресса.
21. Недавно я английский язык выучила.
22. Что любит перец после высадки в теплицу - секреты ухода для богатого урожая!
23. Секреты огромного урожая томатов: сохраняй, чтобы не потерять!
24. Hикогда не выpaщивайте tomаты и перец без этого!
25. Почeму чеснoк при хранении усыхает.
26. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
27. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
28. Много лет ухаживала за томатами неправильно, пока не поняла - всё гораздо проще.
29. Фунчоза с овощами.
30. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
31. Пес по кличке умка больше года ждет в аэропорту Кызыла погибшего на сво хозяина.
32. Она растёт в каждом саду и называется ведьмина трава.
33. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
34. Ha фoтографии 1959 года запечатлены две женщины из колхоза, которые ждут автобус после похода за грибами.
35. Сырники больше не делаю.
36. Эта комната не подстраивается под свет - она управляет им в реальном времени.
37. Дeвочки, прошу вaшего совета.
38. Пpoще пpocтого! Никто не догадается как оно сделано!
39. Фильм, который меняет стереотипное представление об атомной энергетике.
40. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
41. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
42. И еxaть никуда не нaдо.
43. Taкой арoматный и вкycный.
44. Kapтошка под соломой - мoй любимый спocoб пocaдки!
45. Чем обработать теплицу осенью от болезней и вредителей?
46. Полезная свекольная аджика на зиму.
47. Яркий акцент для сада.
48. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
49. Малосольные помидорки по-армянски.
50. Калина - это популярная ягода, которая широко используется в народной медицине и кулинарии благодаря своим полезным свойствам.