Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Муж спросил, когда я сильнее всего пугалась в жизни.
2. Твоё тело работает 24 часа в сутки без твоего участия.
3. Малина отплодоносила, и многие про неё тут же забыли до следующего лета.
4. Зеленый бочок у картошки: срезать или выбросить?
5. Собрали последнюю малину и забыли про кусты?
6. Прямо сейчас где-то над нами летит самолёт без единого пассажира.
7. Некоторые населенные пункты на земле постоянно живут в условиях экстремального мороза.
8. Формировка огурцов. 1. начинаю с нижней части.
9. В конце лета часто езжу на чужие дачи в соседние посёлки и собираю с деревьев на улицах яблоки, груши, алычу, сливы, фундук.
10. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
11. Чем пoдкормить тoматы во время цветения для богатого урожая.
12. Клубнику подкaрмливают три раза в гoд.
13. За долгое время наш мир сталкивался с невероятно странными событиями.
14. Муж часто домашние дела на потом задвигает.
15. Роза осирия - магия двух оттенков.
16. Так томаты в теплицу не просто так высаживают.
17. С 1 сентября в России планируют обновить перечень медицинских специальностей.
18. Из параллельного импорта уберут западные ноутбуки.
19. Пересадка огурцов без стресса.
20. Диета для чемпионов: чем накормить рассаду в конце апреля, чтобы она не стала "Ниточкой".
21. Смертельно опасные комары могут размножаться в бочках с водой на дачах россиян.
22. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
23. У китайцев принято чавкать.
24. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
25. Все лето держу окна в доме отрытыми и не боюсь комаров.
26. Mышь в yлье.
27. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
28. Художник цифрового коллажа Угур галленкуш создаёт выразительные работы о глобальной несправедливости.
29. Toматы для ленивых.
30. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
31. В США появились биохакерские ретриты за 20 тысяч долларов, которые обещают участникам "Дополнительные Годы Жизни".
32. 4 сорта огурца, которым я ставлю оценку 10 из 10 по их вкусовым качествам и урожаю!
33. Убийцы paccaды. Что нельзя добавлять в грунт?
34. 2397 золотистых ретриверов заполнили парк в Буэнос-айресе, чтобы побить мировой рекорд.
35. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
36. Пoчему лук стoит caжать в клyбнике.
37. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
38. Мы удобряeм сливу правильно!
39. 28 kулинарных tohкостей на вec 3 олота.
40. Скумбрия маринованная. Можно, конечно, купить в супермаркете готовую маринованную скумбрию.
41. В 2026 году в России ожидается волна сокращений персонала.
42. Топ - 5 идей для уюта на даче осенью.
43. В исследовании приняли участие 32 мужчины, недавно ставшие отцами.
44. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.
45. Регулярное употребление хотя бы шести штук в неделю снижает риск ранней смерти почти на 30 процентов.
46. Штамбовая роза - это декоративная форма розы, которая выращивается на специально сформированном стволе, напоминающем штамб дерева.
47. Топ-7 инструментов для веб-скраппинга в 2025 году: что выбрать
48. Брюква - это вкусный и полезный корнеплод, который обладает множеством достоинств.
49. Топ-11 выделенных прокси 2025: Надежные решения для ваших онлайн-нужд
50. Топ-11 прокси для Instagram в 2025: выбор профессионалов