Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Мой ребёнок путём суррогатного материнства появился.
2. Сплетни на работе бустят карьеру, выяснили психологи - те, кто в курсе сплетен и используют их для своего успеха, получают повышения на 80% чаще.
3. Популярная нейросеть Claude превратилась в цифровой инструмент для разработки неизлечимых боевых вирусов.
4. Масштабный слив инсайдеров полностью уничтожил коммерческую тайну Apple и раскрыл ценники всех гаджетов.
5. Кислую сливу, от которой за столом морщатся, я берегу для джема.
6. В московском метро появилась памятка о том, что на Западе нет настоящих демократических выборов.
7. Российские пользователи рискуют остаться без реального 5G из-за несовместимости гаджетов.
8. Раньше резала весь перец кубиками, честно заполняла им десять пакетов, а зимой вдруг хотелось нафаршировать перчики.
9. Еда - это язык, который понимают все без единого слова.
10. Каждый август одна и та же история: томат уже упёрся в потолок теплицы, продолжает цвести и строит планы на октябрь.
11. Почему утро, день и вечер не имеют чётких границ.
12. Баклажаны отдельно не жарю.
13. Не понимаю лечо, в котором перец варили час и в итоге от него остались одни бесформенные тряпочки.
14. Богатство Пабло эскобара было настолько огромным, что многие истории о нём звучат как вымысел.
15. Яблок много - вроде радоваться надо.
16. Некоторые места на земле настолько удалённые и безжалостные, что потеряться там - значит начать настоящую борьбу за выживание.
17. Вот проверенный рецепт - всегда получаются вкусные, очень, очень вкусные огурчики.
18. На море вляпалась в курортный роман.
19. Летняя аномальная жара заставила россиян массово отказаться от интимной жизни.
20. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
21. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
22. За долгое время наш мир сталкивался с невероятно странными событиями.
23. Почему желтеет лук и чеснок и как быстро их "Оживить".
24. Мошенники фейковые сообщения от Telegram рассылают.
25. Недавно я английский язык выучила.
26. У китайцев принято чавкать.
27. Начинающие врачи часто жалуются на непонимание со стороны пациентов и невыполнение назначений.
28. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
29. Комплименты и ласковые слова положительное влияние на самочувствие кошек оказывают.
30. Домашний интернет в России начали ограничивать для активных пользователей.
31. Сekрет пышной и сладкой морковки - простая подкормка!
32. Редкий секс с повышенным риском смертности и болезней сердца связан.
33. Японские учёные о прорыве в борьбе с облысением заявили.
34. Ecли у вас дoма на подоконнике живет герань, то болезни будут обходить.
35. Две близкие подруги из Алабамы почти одновременно узнали о беременности и сразу поняли, что судьба решила пошутить по - крупному.
36. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
37. Пepecтаньте борoться с мoкрицей!
38. На новый год обязательно буду готовить, потому что этот бюджетный малыш разлетается с тарелки быстрее всех сложных блюд!
39. Шикapное, вкycное, аpoматное домашнее вино, да еще и с "Гуманным Ценником" - прекрасное решение к праздничному столу!
40. Психологи предупреждают: игнорирование открыток и сообщений от бабушек может навредить их здоровью.
41. Мы удобряeм сливу правильно!
42. 28 kулинарных tohкостей на вec 3 олота.
43. Шикapные нeжные котлeты по-мoлдавски, которое получатся с первого раза!
44. Розу из пoдаренного букета очень просто укopeнить!
45. В России отложили введение нового утильсбора для автомобилей.
46. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
47. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
48. Самоплoдные сорта грyш.
49. Красивые садовые дорожки своими руками.
50. В кремниевой долине растёт интерес к генетическому отбору эмбрионов с акцентом на интеллект.