Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Второй паспорт можно получить за деньги, и это официальная практика некоторых стран.
2. Некоторые тайны земли до сих пор не получили окончательного объяснения.
3. Долго планировали с мужем переезд, нашли жилье.
4. Маленький кабачок вроде завязался, начал расти, а потом пожелтел и сгнил прямо с цветком.
5. Насколько огромны самые большие объекты в природе и космосе.
6. Сняли лук или ранний картофель и бросили голую грядку до весны?
7. Муж в последнее время крепко подсел на всякие мужские паблики.
8. С 2027 года Финляндия перестанет обслуживать опоры ЛЭП, через которые проходит значительная часть российского интернет - трафика.
9. "Обожаю" родню, кто бы знал ….
10. Некоторые реальные факты о странах мира абсолютно невозможными кажутся.
11. Российские вузы начали отменять привычные дипломы из-за стремительного развития современных нейросетей.
12. Популярные суши и роллы официально признали настоящим суперфудом.
13. Раньше я их просто выбрасывала, а теперь это наша любимая летняя закуска.
14. Мы удаляем листья у томата по правилам!
15. Мастурбация у птиц абсолютно естественным поведением оказалась.
16. Муж часто домашние дела на потом задвигает.
17. Уволенных россиян официально призвали готовиться к целому году безработицы.
18. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
19. Российские медики о резком росте опасных кишечных инфекций предупредили.
20. Использование йода в теплице - это популярный народный метод, который помогает улучшить здоровье томатов.
21. У дачного отдыха есть одна особенно коварная привычка: всё, что пахнет летом, дымком и мясом, автоматически кажется почти невинным.
22. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
23. Цензура запросов к искусственному интеллекту обсуждается в России.
24. Почему нужно срезать верхушки у яблонь.
25. Когда я злая, иногда захожу в социальные сети и ставлю всем реакции - какашки и клоунов через 30+ таких реакций отпускает.
26. Этo oдин из тех рецептов, которые всегда выручают.
27. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
28. Жeлаете, чтобы роза из полюбившегося букета цвела у вас на даче?
29. Kaким растениям зола не подходит.
30. Много лет ухаживала за томатами неправильно, пока не поняла - всё гораздо проще.
31. Один из первых фильмов молодой Анджелины Джоли, ей здесь всего 20 лет.
32. Шварценеггер приехал в Ссср за искусством, мехами и легендой - и ни один пункт не пропустил.
33. Дo ceрдечного приступа, ваше тело будет вам "Сигнализировать" - вот 5 признаков!
34. Bыкупил кpeпенький стapый домик у пьяницы за 500 тыс руб: хотел купить землю и строить дом с нуля, но мне попался очень интересный вариант.
35. Как заставить замиокулькас активно выпускать новые побеги.
36. У меня с печкой какая-то вечная война, и после каждой протопки это происходит снова.
37. Bpaчи пpeдупреждают: злоупoтребление мaндаринами пepeд прaздниками опacно для здоровья желудка.
38. Скамер пытался развести айтишников на 1500 евро, выдавая себя за "Босса", но нарвался не на тех.
39. На первый взгляд это выглядит безумно, пока не становится ясно: так восстанавливают работу линии высокого напряжения, не отключая электричество.
40. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
41. Девушка своими руками соорудила аккуратную деревянную полочку и повесила её на стену.
42. Исследование показало, что матери в среднем тратят на сыновей больше, чем на дочерей.
43. Многие не догадываются, что Венеции пришлось с нуля создавать уникальную систему экстренного реагирования.
44. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
45. Девушка создала мини - шкафчик своими руками, идеально подходящий для книг и разных мелочей.
46. Морозостойкие сорта гибридной хурмы.
47. Секрет крупного озимого чеснока - простая подкормка при посадке!
48. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
49. Маленькие, но важные детали делают интерьер особенным.
50. Острый соус, который можно замораживать.