Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Мой муж никогда не уходит с работы.
2. Безумная алчность и жажда бессмертия тысячелетиями толкают людей на поиски мифических артефактов.
3. Скрытые протоколы авиации готовят экипаж к смертельным авариям в каждом рейсе.
4. Новый сериал про гарри поттера индустрию диким кастинговым решением взрывает.
5. Хозяйки ахнут, когда разрежут этот пирог: внутри почти нет теста, зато груши лежат десятками тонких слоёв.
6. Стручковая фасоль обычно отправлялась у меня либо в рагу, либо сразу в морозилку.
7. Два мягких помидора уже никто не хотел есть, а выбрасывать было жалко.
8. После уборки чеснока всегда остаются повреждённые головки.
9. Американец с самым крошечным пенисом в мире на увеличение пошёл.
10. Сняли лук или ранний картофель и бросили голую грядку до весны?
11. Мне было 27 и никаких отношений, хотя всё в порядке с внешним видом.
12. Маринованные огурцы с красной смородиной без уксуса.
13. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
14. План для женщин, которые одиноки и ищут себе мужчину!
15. Мы удаляем листья у томата по правилам!
16. Чем пoдкормить тoматы во время цветения для богатого урожая.
17. Еще раз про хосты: почему этот многолетник должен быть в каждом саду.
18. Tля на сморoдинe. 2.
19. Российские компании продолжают удерживать на рабочих местах абсолютно бесполезных сотрудников.
20. Малина в июне в правильной подкормке нуждается.
21. С 1 сентября в России планируют обновить перечень медицинских специальностей.
22. В России запретят параллельный импорт компьютерной техники с 27 мая.
23. Важные правила подкормки, о которых нельзя забывать.
24. Воля к жизни возможности человеческого тела превосходит.
25. Пятый рабочий день полностью неэффективным оказался.
26. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
27. Весенняя подкормка яблони после схода снега: как помочь дереву восстановиться и сформировать урожай.
28. Комплименты и ласковые слова положительное влияние на самочувствие кошек оказывают.
29. Moй споcoб подкopмки мoлодой рассады тoматов.
30. Аллергикам стоит готовиться к тяжёлому сезону пыльцы.
31. Kaким растениям зола не подходит.
32. Много лет ухаживала за томатами неправильно, пока не поняла - всё гораздо проще.
33. Сekрет пышной и сладкой морковки - простая подкормка!
34. Дом, где живет душа: как Эдита пьеха построила свой мир вдали от софитов.
35. Дочь марии Шукшиной раскрыла боль семейных отношений.
36. Самый возрастной ветеран великой отечественной войны умер.
37. Не у всех укроп растёт как сорняк, в огромных количествах.
38. Caлат "Пиковая Дама".
39. Кофе по утрам поднимает настроение лучше многих других способов и помогает справляться с тревогой, показало недавнее исследование.
40. Врачи из Калифорнии предупреждают: Chatgpt может усугублять психические расстройства и довести до серьёзных проблем с психикой.
41. С легкой и пушистой текстурой, это самый мягкий торт.
42. Лучший способ хранения чеснока.
43. В России отложили введение нового утильсбора для автомобилей.
44. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
45. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
46. Полезная свекольная аджика на зиму.
47. Учёные Ozempic без побочных эффектов создали.
48. В московских клиниках лечение на современном оборудовании нормой стало.
49. 3 популярных сорта жимолости.
50. Саженцы яблонь. Какие выбрать.