Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Популярная нейросеть Claude превратилась в цифровой инструмент для разработки неизлечимых боевых вирусов.
2. Депутаты госдумы выступили с инициативой "Тотального Запрета на Использование Матов в Общественных Местах".
3. Стручковая фасоль обычно отправлялась у меня либо в рагу, либо сразу в морозилку.
4. Кабачки "КАК Ананасы" - зимой никто сразу не понимает, что лежит в банке.
5. Еда - это язык, который понимают все без единого слова.
6. Один день в больнице может стоить совершенно по-разному в зависимости от страны.
7. С 1 марта банки будут блокировать переводы при обнаружении вируса.
8. Пробу снимаю еще горячей и каждый раз радуюсь: кабачки не развариваются, а соус получается густым и пикантным.
9. В том случае, если баклажаны стоят красивой зелёной стеной, а плодов почти не видно - радоваться тут нечему.
10. Лист томата пожелтел - и половина дачников сразу хватает удобрение.
11. Помидоры уже упёрлись в крышу теплицы, но продолжают цвести как сумасшедшие?
12. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
13. В нашей семье все склонны к полноте.
14. Работаю в банке.
15. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
16. Так случилось, что подругам не везёт с парнями в одном аспекте - им не только изменяют, но ещё и дарят прощальный венерический букет.
17. Когда-то давно у меня был кот с сумасшедшим характером.
18. Плитка из ведерка от майонеза: дачный шик своими руками.
19. Бывают такие моменты, когда на душе ой как тяжко, и мучают ненужные мысли и пустые переживания.
20. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
21. Мой личный лайфхак относительно учёбы.
22. Почему вы зря деревья от лишайника белите?
23. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
24. Топ - 10 теневыносливых растений для вашего сада.
25. Эти плoды содержат вещества, которые вызывают восстановление тканей, составляющих межпозвонковые мягкие диски.
26. Kaким рacтениям зoла не подходит.
27. Tpи весенних опрыскивания сада: сроки и средства.
28. В России могут ввести самозапрет на покупки на маркетплейсах для контроля трат.
29. Слова - обереги, которые важно знать:
30. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
31. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
32. Магия пандоры. Аватары и актёры, которые воплотили их образы.
33. Убийцы paccaды. Что нельзя добавлять в грунт?
34. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
35. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
36. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
37. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
38. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
39. Российские вузы в новом учебном году отдадут часть бюджетных мест иностранным студентам из Африки, северной Кореи и Афганистана.
40. Оcнoвнaя рaбoтa oceнью - избaвитьcя oт зимующих cтaдий врeдных насекомых и болезней.
41. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
42. Создавать уют своими руками - значит делать интерьер уникальным.
43. Шиловидный флокс - это декоративное многолетнее растение из семейства флоксовых (Saxifragaceae), известное своей яркой и пышной цветочной кистью.
44. Подготовка почвы к новому сезону: без перекопки, но с пользой.
45. Научные исследования подтверждают: мужчины чаще находят женщин более привлекательными, когда те используют умеренное количество косметики.
46. Остров оборудован вертолётной площадкой для экстренного вылета и полностью автономен.
47. Не люблю отдых дальше своего города.
48. Защита от муравьев.
49. Днём у светофора возле заправки женщина ударила по автомобилю, после чего залезла на его капот и крышу.
50. Чтобы доски для нарезки не темнели и сохраняли свой внешний вид, можно использовать несколько простых способов: