Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. В разных странах существуют негласные запреты, которые туристам лучше знать заранее.
2. Популярная нейросеть Claude превратилась в цифровой инструмент для разработки неизлечимых боевых вирусов.
3. После аварии моего мужа ниже пояса парализовало.
4. Чуть не оставила фасоль на грядке до полного высыхания.
5. Красивый бордовый цвет у борща получается без долгих хлопот у плиты.
6. Баклажаны "как Грибы" готовлю без жарки в половине бутылки масла.
7. С мужем вместе уже 10 лет.
8. Россияне снова смогут оформлять иммиграционные визы в США.
9. Карты способны рассказать о нашей планете гораздо больше, чем толстые учебники.
10. Америка узнаётся с первого взгляда - по вещам, ставшим её символами.
11. С 1 марта банки будут блокировать переводы при обнаружении вируса.
12. Из мягких груш красивого варенья дольками не получится.
13. Путин ужесточил требования к Украине после отказа США от "Духа Анкориджа", пишет Bloomberg.
14. Зеленый бочок у картошки: срезать или выбросить?
15. Мне было 27 и никаких отношений, хотя всё в порядке с внешним видом.
16. Мою лучшую подругу бросил парень, когда узнал, что ее мать родила от женатого по большой любви и вырастила ее одна.
17. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
18. Вкусный и ароматный соус из зелени на зиму: обязательно сохраните и приготовьте так себе.
19. В Японии открылся уникальный музей для всех ценителей женских ног.
20. Девушка случайно Airpods вместо таблетки перед сном проглотила.
21. Пекинская капуста даст крепкие кочаны, если посеять её в нужный срок.
22. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
23. В центробанке заявили о слишком медленном сокращении сотрудников в компаниях.
24. Какие аптечные недорогие препараты подойдут для подкормки молодой рассады перца и томатов на подоконнике?
25. Почему вы зря деревья от лишайника белите?
26. Как буддийские монахи вышли на протест и столкнулись с полицией.
27. 10 растений с белыми цветами.
28. Что сеять в начале апреля, чтобы точно взошло и дало урожай?
29. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
30. Чем подкормить рассаду перца для мощных корней.
31. Когда вид на озеро главным элементом проекта дома становится.
32. Как сборная Ссср впервые в истории выиграла кубок Европы в Париже.
33. Обычный лавровый лист заставит комнатные растения пышно цвести.
34. Hикогда не ставьте забор обратной стороной к соседу!
35. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
36. Glass Gem. Этo cпециально вывeденный сopт кукурузы с разноцветными зёрнами.
37. Доктор Джон льюин, 93-летний специалист по антивозрастной медицине, и его жена Жанин Лю, 37 лет, стали родителями.
38. Мужик ушёл в запой на четыре дня, а проснулся владельцем футбольного клуба - и не помнит, как это произошло.
39. Австралийская семья отказалась продать дом за 50 миллионов долларов.
40. Маринованные помидоры с морковной ботвой.
41. Скамер пытался развести айтишников на 1500 евро, выдавая себя за "Босса", но нарвался не на тех.
42. Мы удобряeм сливу правильно!
43. Насыпной пирог с творожной начинкой.
44. Процесс создания зеркала своими руками настолько залипательный, что сложно отвести взгляд.
45. Малина ведрами. Как удается получать такой урожай?
46. Это закуска на любом застолье на ура уходит!
47. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
48. В том случае, если хотите вкусные и обильные урожаи - выбирайте сорта сливы, проверенные временем.
49. Создавать своими руками - значит делать вещи особенными.
50. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений: