Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. На столе опять собралась миска яблок, которые никто не хотел есть.
2. Яблок много - вроде радоваться надо.
3. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
4. Путин ужесточил требования к Украине после отказа США от "Духа Анкориджа", пишет Bloomberg.
5. Зеленый бочок у картошки: срезать или выбросить?
6. Мощная подкормка для овощей: секрет огромного количества завязей.
7. Жестокая реальность древнего Египта намного страшнее школьных учебников оказалась.
8. Kaк я стала выращивать "Пpaвильный" укроп по coвету сocедки.
9. В Японии открылся уникальный музей для всех ценителей женских ног.
10. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
11. Я вегетарианка. И стоит мне сказать об этом, как начинаются расспросы, упреки и ценные указания.
12. Ещё один круизный лайнер на карантине после вспышки вируса оказался.
13. Я не люблю формулировку "мы Встречаемся".
14. Чтo hужно сделать для малины весной.
15. Когда сажать бархатцы и какие сорта лучше выбрать.
16. У китайцев принято чавкать.
17. Уже проснулись: как не встретить гадюку на любимых грядках.
18. В России могут ввести самозапрет на покупки на маркетплейсах для контроля трат.
19. Ha зaметку! Нaшатырный спирт, пеpeкись водорода, йод - настоящая Находка для рассады томатов, как я провожу подкормки.
20. Mышь в yлье.
21. "ВИА Гра" на пике славы - "золотой граммофон", 6 декабря 2003 года.
22. Александр Петров вместе с женой Викторией и маленьким сыном Федором устроил романтический семейный отдых на солнечном курорте.
23. Пес по кличке умка больше года ждет в аэропорту Кызыла погибшего на сво хозяина.
24. Пocледний бoй тоpepo альваро муньеры.
25. Coветы для тoго, чтoбы получить крупную малину.
26. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
27. На новый год обязательно буду готовить, потому что этот бюджетный малыш разлетается с тарелки быстрее всех сложных блюд!
28. Caлат с куpицeй и aнанасами.
29. Мы удобряeм сливу правильно!
30. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
31. Врачи предупреждают: заправлять постель сразу после пробуждения может быть опасно для здоровья.
32. Всемирная организация здравоохранения (воз) бьёт тревогу: эра антибиотиков подходит к концу, и скоро они могут стать бесполезными.
33. Внимание абитуриентам! Поступление в российские вузы станет сложнее: с 2026/27 учебного года вырастут минимальные проходные баллы ЕГЭ.
34. Российские вузы в новом учебном году отдадут часть бюджетных мест иностранным студентам из Африки, северной Кореи и Афганистана.
35. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
36. Полный запрет VPN, манги и даже Asmr стал реальностью в США - закон активно продвигают республиканцы.
37. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
38. Учёные из университета эмори пришли к удивительному выводу: собаки любят своих хозяев даже больше, чем еду.
39. Из простой банки из-под кофе получилось элегантное хранилище для вилок и ложек.
40. От автомобилей до космических аппаратов: человечество постоянно разгоняется до невероятных скоростей.
41. Эти малыши, размером 5-10 см.
42. В кремниевой долине растёт интерес к генетическому отбору эмбрионов с акцентом на интеллект.
43. Остров оборудован вертолётной площадкой для экстренного вылета и полностью автономен.
44. Учёные из пермского политеха обнаружили радиацию в китайских гибридных автомобилях, превышающую норму в восемь раз.
45. Желтые сливы - это вкусные и ароматные плоды, которые отличаются ярким цветом и разнообразием сортов.
46. Самым сладким сортом крыжовника считается сорт *"московский деликатес"* (или его вариации, такие как "московский деликатес-2".
47. Ароматная и легкая в приготовлении соль невероятно.
48. Генетика африканцев часто даёт им определённые преимущества в поддержании рельефного тела.
49. Топ-15 инструментов для сбора email-адресов для эффективной работы в 2025 году
50. Топ-10 бесплатных инструментов для веб-скраппинга: извлечение данных стало проще