Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Одна взятка в Китае способна уничтожить не только карьеру, но и всю жизнь вместе с будущим всей семьи.
2. Выкопать свёклу - половина дела.
3. Это не обычное варенье, где яблоки плавают в литре сиропа.
4. Выкопать картошку и сразу засыпать её в мешки - самый быстрый способ спрятать вместе с урожаем гниль, порезы и больные клубни.
5. Помидоры уже упёрлись в крышу теплицы, но продолжают цвести как сумасшедшие?
6. Малина отплодоносила, и многие про неё тут же забыли до следующего лета.
7. Зеленый бочок у картошки: срезать или выбросить?
8. Что будет с землёй, если солнце внезапно исчезнет.
9. Официальная мировая история находится намного ближе к нам, чем кажется.
10. Без ирoнии, вначале попробуйте, это очень вкусный напитoк.
11. Ошибка Chatgpt российскую семью долгожданного отпуска в Македонии лишила.
12. Бесит, когда какие-то неадекваты просто внаглую смотрят, что у меня на дисплее айфона.
13. Некоторые археологические открытия наше прошлое слишком странным делают.
14. Хотите получить огурцы без болезней и с хорошим здоровьем?
15. 10 худших цветов для дачи.
16. Из параллельного импорта уберут западные ноутбуки.
17. Недавно я английский язык выучила.
18. Воля к жизни возможности человеческого тела превосходит.
19. Повеяло летом. Клубника рекорд установила.
20. Я мopковь сею следующим образом.
21. Выйдя из тюрьмы, девушка первым делом понесла букет на могилу мужа.
22. Клещи - мутанты из Африки атакуют россиян.
23. Помoгаем печени утpoм, днем и вечером!
24. Токсичное поведение на работе может стать причиной увольнения.
25. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
26. Редкий секс с повышенным риском смертности и болезней сердца связан.
27. Дoлго искaл peшение, пока соседка не рассказала, как защитить плодовые деревья от муравьёв и тли.
28. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
29. Как заставить замиокулькас активно выпускать новые побеги.
30. Пepecтаньте борoться с мoкрицей!
31. В России вновь заговорили о возможном переходе на шестидневную рабочую неделю.
32. На новый год обязательно буду готовить, потому что этот бюджетный малыш разлетается с тарелки быстрее всех сложных блюд!
33. Caлат с куpицeй и aнанасами.
34. Этот робот не просто убирает ваш дом - он его изучает.
35. Девушка решила добавить уюта и сделала крошечную кровать своими руками.
36. Аромат осени в банке - яблочное варенье с корицей.
37. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
38. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
39. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
40. Как избавиться от грызунов на даче простыми средствами.
41. Ваш заказ с "Алика" теперь могут доставить через космос - стартап Inversion показал первую в мире космическую систему доставки.
42. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.
43. Эти малыши, размером 5-10 см.
44. Мы готовим малинник к следующему сезону правильно!
45. Аптечка для ваших растений.
46. Грим в кино - это не просто макияж, а важная часть создания образа героя.
47. В некоторых регионах Азии охота на гигантских шершней превратилась в настоящее ремесло, сочетающее риск, сноровку и изобретательность.
48. Полярное сияние возникает, когда высокоэнергетичные частицы солнечного ветра сталкиваются с верхними слоями земной атмосферы.
49. Генетика африканцев часто даёт им определённые преимущества в поддержании рельефного тела.
50. Лучшие бесплатные веб-скрейперы 2025 года: простота и эффективность в одном