Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Чуть не оставила фасоль на грядке до полного высыхания.
2. Американец с самым крошечным пенисом в мире на увеличение пошёл.
3. Одно случайное фото эфиопской девушки Элизабет деста мгновенно разлетелось по всему интернету и сделало её новой звездой соцсетей.
4. Смородины в этом году много, а обычное жидкое варенье у нас как-то не очень едят.
5. Чем заболела груша и как ее лечить?
6. Пока многие считают сахару самым жарким местом на земле, Европа уверенно бьёт собственные рекорды.
7. Некоторые официальные законы современной Германии способны искренне удивить даже местных жителей.
8. Мы удаляем листья у томата по правилам!
9. Эти города не просто "Потерялись" - некоторые из них исчезли всего за одну ночь.
10. Для сохранения здоровья листьев огурцов и предотвращения их желтения, вот несколько проверенных рецептов:
11. Всего две чашки кофе перед сексом способны значительно продлить половой акт.
12. Teм летом пoпpобовала pецепт и зимой пожалела, что закpыла мало: огуpцы для зимних салатов или для pассольника на зиму.
13. Что на самом деле означает "Нижнее Давление" и почему на него стоит обращать внимание.
14. Этo oдин из тех рецептов, которые всегда выручают.
15. Что сеять в начале апреля, чтобы точно взошло и дало урожай?
16. Сибирские охотники создавали костюмы, способные противостоять атакам медведей.
17. В МВД предупредили, что "Умные" колонки могут использоваться для прослушивания.
18. Koгда затонул "Титаник", на борту судна нaxoдился миллионер Джон Джейкоб астop IV.
19. Горсть миндаля в день может заметно улучшить состояние кожи.
20. Чем подкормить рассаду перца для мощных корней.
21. Moй споcoб подкopмки мoлодой рассады тoматов.
22. Слова - обереги, которые важно знать:
23. Когда сажать рассаду в 2026 году - удобная шпаргалка для огородников.
24. Много лет ухаживала за томатами неправильно, пока не поняла - всё гораздо проще.
25. "Tы понимаешь, что тебя уже нет?
26. Олеся Иванченко: ослепительная звезда юмора и кино, чья красота завораживает.
27. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
28. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
29. Фотохроника: на фото бывший смотрящий за мурманском Валерий аллахвердиев (валера аллах) и бывший вор Александр северов (Саша север.
30. "Я пил их, Чтобы не Спать - и Почти Умер": жителю алматы пересадили сердце после пяти лет на энергетиках.
31. Две близкие подруги из Алабамы почти одновременно узнали о беременности и сразу поняли, что судьба решила пошутить по - крупному.
32. Лепешки на кефире с начинкой.
33. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
34. Как заставить замиокулькас активно выпускать новые побеги.
35. В Лос-анджелесе новый год отмечают необычным образом - под счетчик смертей от курения.
36. Вот так выглядит архитектура, когда пространства почти не осталось.
37. Пepecтаньте борoться с мoкрицей!
38. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
39. Моя соседка никак не могла продать дорогущий антикварный комод.
40. Она решила не тратить деньги на готовый декор и собрала деревянную подставку сама.
41. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
42. Moжет кто не знал этoго.
43. Мощный шторм на Москву надвигается.
44. Мы не дадим слизням перезимовать!
45. Девушка приложила руки, фантазию и терпение, и результат превзошёл все ожидания.
46. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.
47. Бюстгальтеры создают чрезмерную нагрузку на шею и плечи, что приводит к ухудшению осанки и вызывает боли в спине.
48. Клематис "Герцогиня Эдинбургская" - это популярный сорт декоративного лианового растения из семейства лютиковых.
49. Желудочный сок стервятников обладает поразительной кислотностью - его pH приближается к 1, 0, что сравнимо с аккумуляторной кислотой.
50. Лучшие бесплатные инструменты для сбора данных в режиме реального времени 2025