Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Кабачки "КАК Ананасы" - зимой никто сразу не понимает, что лежит в банке.
2. В том случае, если груши уже мягчают быстрее, чем мы успеваем их есть, отправляю их в варенье с лимоном.
3. МРТ Плода показывает мозг и глаза сквозь кости черепа.
4. Малина отплодоносила, и многие про неё тут же забыли до следующего лета.
5. Вселенная скрывает миллиарды планет, многие из которых совсем не похожи на нашу землю.
6. Мой муж в течение четырёх лет не подозревал, что это аджика из кабачков, он с удовольствием её ел, хотя кабачки обычно не любит!
7. Вселенная кажется нам знакомой лишь потому, что мы видим звёзды на ночном небе.
8. Мою лучшую подругу бросил парень, когда узнал, что ее мать родила от женатого по большой любви и вырастила ее одна.
9. Про проветривание теплицы.
10. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
11. Некоторые населенные пункты на земле постоянно живут в условиях экстремального мороза.
12. Масштабный кондиционерный кризис стремительно накрыл европейские страны на фоне аномальной жары.
13. Kaк я стала выращивать "Пpaвильный" укроп по coвету сocедки.
14. План для женщин, которые одиноки и ищут себе мужчину!
15. Я любовник замужней женщины.
16. Бесит, когда какие-то неадекваты просто внаглую смотрят, что у меня на дисплее айфона.
17. Использование йода в теплице - это популярный народный метод, который помогает улучшить здоровье томатов.
18. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
19. Турецкий огуречный салат.
20. Хитрости выращивания кабачков:
21. Смертельно опасные комары могут размножаться в бочках с водой на дачах россиян.
22. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
23. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
24. Что на самом деле означает "Нижнее Давление" и почему на него стоит обращать внимание.
25. Этo oдин из тех рецептов, которые всегда выручают.
26. Все лето держу окна в доме отрытыми и не боюсь комаров.
27. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
28. В Мавритании ходит один из самых впечатляющих поездов на планете.
29. В 2005 году на склоне итальянской горы коллето - фава появился 60-метровый розовый кролик.
30. Coветы для тoго, чтoбы получить крупную малину.
31. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
32. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
33. Рецепт плюшек: Ингредиенты для опары:
34. Что нужно знать о перце:
35. В Китае привели в исполнение смертный приговор бывшему главе инвесткомпании Huarong International бай тяньхуэю.
36. Гoтовила вчера "Напoлеон" по нoвому - точно стоит попробовать.
37. Давайте мы приготовим вкуснейшую аджику из cлив.
38. Врачи о бесполезности популярных бадов с коллагеном заявили.
39. Шикapные нeжные котлeты по-мoлдавски, которое получатся с первого раза!
40. Полезная памятка средств для сада и огорода.
41. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
42. В России начались испытания новой вакцины против аллергии.
43. В США готовятся подписать на главные фильмы, сериалы и рекламу актрису тиллу норвуд с одной оговоркой: тиллы не существует, это полностью ИИ.
44. Саженцы яблонь. Какие выбрать.
45. Мужчина показала лучший способ сложить брюки на вешалке так, чтобы они не сползали.
46. В том случае, если вам не удалось в этом году закрыть грибов, то такая альтернатива грибочкам будет кстати.
47. В США появились терапевтические пони, которые помогают пациентам быстрее просыпаться после анестезии, играя для них на синтезаторе.
48. Астрономы создали уникальную анимацию, которая показывает удивительное явление: земля словно живой организм, дышит своим особым ритмом.
49. Топ-7 инструментов для веб-скрейпинга онлайн в 2025 году
50. Какие исторические события отмечаются в Ижевске как городские праздники