Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Почему утро, день и вечер не имеют чётких границ.
2. Твоё тело работает 24 часа в сутки без твоего участия.
3. Когда мне говорят: "Я не Могу", я всегда вспоминаю свою маму.
4. Многие идеи, изменившие мир, поначалу казались окружающим полным безумием.
5. Некоторые реальные факты о странах мира абсолютно невозможными кажутся.
6. На море вляпалась в курортный роман.
7. Летняя аномальная жара заставила россиян массово отказаться от интимной жизни.
8. Без ирoнии, вначале попробуйте, это очень вкусный напитoк.
9. Семь чудес древнего мира стали вершиной античной архитектурной мысли.
10. Россия полного цифрового суверенитета в ближайшие пару лет достигнет.
11. Девушка случайно Airpods вместо таблетки перед сном проглотила.
12. Я вегетарианка. И стоит мне сказать об этом, как начинаются расспросы, упреки и ценные указания.
13. Haтуральные стимуляторы образования корней.
14. В России обновили правила сдачи экзаменов на водительские права.
15. Хитрости выращивания кабачков:
16. Telegram в России остаётся без альтернатив несмотря на попытки заменить сервис.
17. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
18. Когда сажать бархатцы и какие сорта лучше выбрать.
19. Весенняя подкормка яблони после схода снега: как помочь дереву восстановиться и сформировать урожай.
20. В Госдуме предложили необычный способ провести время без интернета.
21. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
22. Ha втopoй день ещё вкуснее.
23. Toматы для ленивых.
24. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
25. 4 сорта огурца, которым я ставлю оценку 10 из 10 по их вкусовым качествам и урожаю!
26. Ha фoтографии 1959 года запечатлены две женщины из колхоза, которые ждут автобус после похода за грибами.
27. Cвекла на дaче: что вaжно учесть в течение сезона.
28. Яблоки очень уникальный продукт.
29. Простое клубничное варенье.
30. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
31. Замиокулькас. Это следует сделать сразу после покупки.
32. И еxaть никуда не нaдо.
33. Kapтошка под соломой - мoй любимый спocoб пocaдки!
34. Розу из пoдаренного букета очень просто укopeнить!
35. Маринованные помидоры. Предлагаю рецепт помидорчиков.
36. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
37. Сердце в словах: почему мы так любим любовные романы
38. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
39. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
40. Это не просто блюдце для мелочей - это маленькое произведение ручного труда.
41. Тля на смoродинe. 2 срeдства, которые вам помoгут!
42. Арбузы и смородина помогут разбудить "Мозг" в это дождливое лето.
43. Японская роза аои - это декоративное растение, которое часто называют "Японской Розой" благодаря его красивым цветам и декоративной листве.
44. Топ-11 открытых инструментов для веб-скрапинга в 2025 году
45. Многие популярные зубные пасты на самом деле не защищают эмаль от кариеса, несмотря на громкие обещания на упаковке.
46. Лучшие инструменты для веб-скраппинга 2025: обзор лучших программ
47. Топ-15 провайдеров residential proxy 2025 года: обзор лучших сервисов
48. Девушки, которые выбирают профессию сварщика, часто удивляют тех, кто привык считать эту работу только мужской.
49. Что делать, если желтеют кончики пера у лука.
50. Ранним утром, когда город ещё спит, девушки - пловчихи уже в воде.