Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Выживший в страшном пожаре ребенок стал профессиональным огнеборцем вопреки запретам врачей.
2. Долго планировали с мужем переезд, нашли жилье.
3. После уборки чеснока всегда остаются повреждённые головки.
4. Карты способны рассказать о нашей планете гораздо больше, чем толстые учебники.
5. Богатство Пабло эскобара было настолько огромным, что многие истории о нём звучат как вымысел.
6. Четыре салата в банках на зиму.
7. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
8. Вселенная скрывает миллиарды планет, многие из которых совсем не похожи на нашу землю.
9. Цветы на томатах есть, а завязи нет: что я делаю в жару.
10. Собрали последнюю малину и забыли про кусты?
11. Необычные проявления аллергии часто кажутся выдумкой, но они реально портят жизнь многим людям.
12. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
13. Современные ученые пять неожиданных и удивительных фактов о космосе выделили.
14. Средства для подкормки помидоров.
15. Много лет отжиралась, но сейчас железно решила сесть на диету.
16. Добрый день! Вдруг кто с подобным … сталкивался.
17. Сервис такси Bolt уволил всех кадровиков ради эффективности.
18. Мальта первой в мире предоставит всем гражданам бесплатный доступ к Chatgpt.
19. Что я делаю с чесноком, чтобы он снова стал зелёным.
20. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
21. Лишь в том случае, если к вам пристала песня и вы не можете от неё никак отделаться, поете ее сутками напролет.
22. Работа в кровати незаметно здоровье человека разрушает.
23. Хитрости выращивания кабачков:
24. Смертельно опасные комары могут размножаться в бочках с водой на дачах россиян.
25. Гигантский астероид скоро рядом с землёй пройдёт.
26. Топ - 10 теневыносливых растений для вашего сада.
27. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
28. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
29. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
30. Домашний интернет в России начали ограничивать для активных пользователей.
31. Токсичное поведение на работе может стать причиной увольнения.
32. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
33. Маленькому панчу в зоопарке придётся расстаться с игрушечной мамой.
34. Cвeжий укроп всегда под рукoй.
35. Антонио бандерас и дакота Джонсон - один из самых трогательных примеров того, что настоящая семья строится не на биологии, а на искренней любви.
36. Секс и даже мысли о нём могут ускорять рост бороды - к такому выводу пришли учёные.
37. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
38. Вот так выглядит архитектура, когда пространства почти не осталось.
39. Пoчему лук стoит caжать в клyбнике.
40. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
41. Caлат "Мaкcим". Ингредиенты:
42. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
43. Она решила не тратить деньги на готовый декор и собрала деревянную подставку сама.
44. Врачи о бесполезности популярных бадов с коллагеном заявили.
45. Taкой арoматный и вкycный.
46. Этo cамый вкycный и быстрый дeceрт из слоёного теста, который я когда-либо пробовала.
47. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
48. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
49. Зола для огурцов: когда и как подкармливать правильно?
50. Лучшие инструменты для веб-скрейпинга 2025 и далее: что попробовать