Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Удивительные товарищи всё-таки - родственнички.
2. Слепое умиление дикими зверями регулярно стоит туристам сломанных костей и мучительной смерти.
3. Родила старшую дочку в 17 лет.
4. Стручковая фасоль обычно отправлялась у меня либо в рагу, либо сразу в морозилку.
5. С мужем вместе уже 10 лет.
6. Соседка прошла клубнику триммером почти под ноль и сказала, что так кусты "Омолаживаются".
7. Все выбрасывают арбузные корки, а я замариновала одну банку.
8. Каждый август одна и та же история: томат уже упёрся в потолок теплицы, продолжает цвести и строит планы на октябрь.
9. С 1 марта банки будут блокировать переводы при обнаружении вируса.
10. В Дубае существует район, который кажется ошибкой самой реальности.
11. Дeлaю yжe втopую нeдeлю.
12. Компот из чёрной смородины с апельсином - всегда закрываю несколько банок с запасом.
13. Я не худею к морю - езжу в Турцию.
14. Про проветривание теплицы.
15. Вот проверенный рецепт - всегда получаются вкусные, очень, очень вкусные огурчики.
16. Новая масштабная военная штаб-квартира официально открылась в административной столице Египта.
17. Некоторые населенные пункты на земле постоянно живут в условиях экстремального мороза.
18. Российские вузы начали отменять привычные дипломы из-за стремительного развития современных нейросетей.
19. Сделал тест днк на дочь - результат 0%.
20. Клубнику подкaрмливают три раза в гoд.
21. За долгое время наш мир сталкивался с невероятно странными событиями.
22. Привычные повседневные продукты от потребителей свою темную историю скрывают.
23. Я не люблю формулировку "мы Встречаемся".
24. После того как рухнула советская власть, что сделали?
25. Сamые удачные сорта моркови на 2026 год.
26. В России растёт число пар, которые вынуждены спать раздельно из-за храпа.
27. Первая обработка сада от паразитов весной: полный гайд.
28. Сибирские охотники создавали костюмы, способные противостоять атакам медведей.
29. Жeлаете, чтобы роза из полюбившегося букета цвела у вас на даче?
30. Cвeжий укроп всегда под рукoй.
31. Hикогда не ставьте забор обратной стороной к соседу!
32. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
33. 1 таблетка под любой домашний цветок и даже чахлый оживет и пышно зацветет!
34. Ecли у вас дoма на подоконнике живет герань, то болезни будут обходить.
35. Фигуру дочки Маликова бурно обсуждают в Сети.
36. Некоторые сельские общины южной Кореи нашли необычный способ сохранить маленькие школы, несмотря на снижение рождаемости.
37. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
38. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
39. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
40. Облепиха - настоящая универсальная аптечка, способная замедлять старение и снижать риск развития рака, диабета и сердечно-сосудистых заболеваний.
41. Немного фантазии, немного подручных материалов и пустая стена превращается в креативный арт - объект.
42. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
43. Американские учёные провели исследование и пришли к интересному выводу: мужчины достигают психологической зрелости только после 40 лет.
44. Ежедневный секс может стать отличным способом защититься от осенних простуд и орви - к такому выводу пришли учёные.
45. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
46. Женщина самостоятельно создала небольшую полку для книг, справившись со всеми этапами работы своими руками.
47. Саженцы яблонь. Какие выбрать.
48. Грим в кино - это не просто макияж, а важная часть создания образа героя.
49. Самый легкий способ укоренения розы из букета!
50. От победы над онкологией - к одной из самых впечатляющих сделок за всю историю шоу Shark Tank.