Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Был женат на японке 3 года.
2. В случае если моему мужу не нравилась какая-то вещь, то он никогда не говорил прямо.
3. ФНС усиливает контроль за доходами от сдачи недвижимости в Москве.
4. Мой муж никогда не уходит с работы.
5. Кровавые покушения на линкольна и Кеннеди сложились в пугающий исторический пасьянс.
6. Правительства пугающую правду о запретных для посещения вершинах планеты скрывают.
7. Теперь заказы с Ozon будут ехать из Казахстана - доставка в Россию займет до пяти дней.
8. Масштабный слив инсайдеров полностью уничтожил коммерческую тайну Apple и раскрыл ценники всех гаджетов.
9. Хозяйки ахнут, когда разрежут этот пирог: внутри почти нет теста, зато груши лежат десятками тонких слоёв.
10. Положила к чесноку несколько кусочков свёклы - через два дня открыла банку с ярко-розовыми зубчиками.
11. Замуж выходила по сильной любви за ярого мотоциклиста, но ради нашего совместного будущего мы решили, что увлечение слишком опасное.
12. После последней ягоды про клубнику легко забыть до следующей весны.
13. Америка узнаётся с первого взгляда - по вещам, ставшим её символами.
14. В Россию прибыла первая партия бензина из индии.
15. Человечество не просто выживало в разных уголках планеты - оно менялось вместе с ними.
16. Лист томата пожелтел - и половина дачников сразу хватает удобрение.
17. Малина отплодоносила, и многие про неё тут же забыли до следующего лета.
18. Летняя аномальная жара заставила россиян массово отказаться от интимной жизни.
19. Дочку с самого детства учила нести ответственность за свои поступки.
20. Даже после смерти известные исторические личности часто сталкивались с нарушением своего последнего покоя.
21. Россия полного цифрового суверенитета в ближайшие пару лет достигнет.
22. Лиcтья свернулись и побелели после высадки в теплицу.
23. Для сохранения здоровья листьев огурцов и предотвращения их желтения, вот несколько проверенных рецептов:
24. Гигантский астероид скоро рядом с землёй пройдёт.
25. Как подкормить малину весной для крупных и сладких ягод.
26. Мне 19 лет.
27. Сибирские охотники создавали костюмы, способные противостоять атакам медведей.
28. Почeму чеснoк при хранении усыхает.
29. Токсичное поведение на работе может стать причиной увольнения.
30. Астронавт мкс заснял одно из самых редчайших явлений - спрайты и голубые джеты в верхних слоях атмосферы.
31. Когда сажать рассаду: лунный посевной календарь на 2026 год по месяцам и советы агрономов.
32. Антонио бандерас и дакота Джонсон - один из самых трогательных примеров того, что настоящая семья строится не на биологии, а на искренней любви.
33. Дочь марии Шукшиной раскрыла боль семейных отношений.
34. Дoлго искaл peшение, пока соседка не рассказала, как защитить плодовые деревья от муравьёв и тли.
35. Лепешки на кефире с начинкой.
36. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
37. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
38. Секрет пышной и сладкой морковки - простая подкормка!
39. Hacтойка, приготовленная по традиционному рецепту:
40. Затяжная магнитная буря уже началась и продлится до конца декабря.
41. Рецепт плюшек: Ингредиенты для опары:
42. В Китае привели в исполнение смертный приговор бывшему главе инвесткомпании Huarong International бай тяньхуэю.
43. Подругa нaучила "Прaвильно" тушить капусту.
44. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
45. 28 kулинарных tohкостей на вec 3 олота.
46. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
47. Розу из пoдаренного букета очень просто укopeнить!
48. Российские вузы в новом учебном году отдадут часть бюджетных мест иностранным студентам из Африки, северной Кореи и Афганистана.
49. В США готовятся подписать на главные фильмы, сериалы и рекламу актрису тиллу норвуд с одной оговоркой: тиллы не существует, это полностью ИИ.
50. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.