Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Американская фирма случайно потратила огромные деньги на токены для популярной нейросети.
2. Российские власти введение дополнительной платы за VPN отложили.
3. Российские компании продолжают удерживать на рабочих местах абсолютно бесполезных сотрудников.
4. Урологи из сша новую технологию увеличения разработали.
5. Бывают такие моменты, когда на душе ой как тяжко, и мучают ненужные мысли и пустые переживания.
6. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
7. Хитрости выращивания кабачков:
8. Kpaxмал и зола для смородины - секрет сладких ягод.
9. Hикогда не выpaщивайте tomаты и перец без этого!
10. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
11. Комплименты и ласковые слова положительное влияние на самочувствие кошек оказывают.
12. В России могут ввести самозапрет на покупки на маркетплейсах для контроля трат.
13. Горсть миндаля в день может заметно улучшить состояние кожи.
14. Маленькому панчу в зоопарке придётся расстаться с игрушечной мамой.
15. Обычный школьник сумел привлечь более 2 млн долларов инвестиций для своего ИИ - стартапа.
16. Когда сажать рассаду: лунный посевной календарь на 2026 год по месяцам и советы агрономов.
17. Пpичины, пoчему уcыхает чеснок при хранении.
18. Шварценеггер приехал в Ссср за искусством, мехами и легендой - и ни один пункт не пропустил.
19. Ecли розы чахнут и перестают цвести, можно использовать простой раствор на основе пищевой соды для их омоложения.
20. Исследование показало, что всего 24 минуты ритмичной музыки в день способны полностью убрать мыслительный шум и снять депрессию.
21. Их форма, цвет и даже расположение никогда не бывают случайными.
22. Врачи из Калифорнии предупреждают: Chatgpt может усугублять психические расстройства и довести до серьёзных проблем с психикой.
23. Многие не догадываются, что Венеции пришлось с нуля создавать уникальную систему экстренного реагирования.
24. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
25. Врачи предупреждают: заправлять постель сразу после пробуждения может быть опасно для здоровья.
26. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
27. Формировать смородиновый куст можно как весной, так и осенью.
28. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
29. Как избавиться от грызунов на даче простыми средствами.
30. Как ухаживать за астрами для пышного цветения.
31. Самодельный светильник - маленькое чудо для спальни.
32. Самоплoдные сорта грyш.
33. Вот он - пример того, как из идеи рождается практичная и красивая вещь.
34. Создать овальные подносы можно легко, используя только свои руки.
35. Учёные выяснили, что качки сильнее других страдают от укусов комаров.
36. Калина с медом.
37. Как насчет вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком?
38. Когда на рану попадает перекись водорода, она начинает пузыриться и становится белой.
39. Колоновидные деревья - это разновидность деревьев, характеризующихся узким, вертикальным и стройным силуэтом, напоминающим колонну.
40. В некоторых регионах Азии охота на гигантских шершней превратилась в настоящее ремесло, сочетающее риск, сноровку и изобретательность.
41. Самым сладким сортом крыжовника считается сорт *"московский деликатес"* (или его вариации, такие как "московский деликатес-2".
42. Автоматический полив огорода - это система, которая позволяет удобно и эффективно орошать растения без постоянного ручного вмешательства.
43. Генетика африканцев часто даёт им определённые преимущества в поддержании рельефного тела.
44. Какие исторические события отмечаются в Ижевске как городские праздники
45. Исследование подчёркивает влияние социальных стереотипов на профессиональную реализацию россиян с лишним весом.
46. Как заказать товары с Amazon в Россию: полное руководство
47. Народные методы избавления от травы на садовых дорожках:
48. Как заказать товары на Amazon в Россию: полное руководство
49. Какие улицы и площади Ростова-на-Дону считаются самыми красивыми и насыщенными историей
50. Расскажите о истории Красной площади и её значении для России