Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Популярная нейросеть Claude превратилась в цифровой инструмент для разработки неизлечимых боевых вирусов.
2. У нас с мужем был маленький бизнес и собака ещё до рождения ребёнка.
3. Адам Сандлер превратил свою жену в обязательный элемент почти всех своих фильмов.
4. Америка узнаётся с первого взгляда - по вещам, ставшим её символами.
5. Грядку под озимый чеснок готовлю не в ДЕНЬ посадки.
6. С мужем поженились рано, родили дочку.
7. Из космоса полное солнечное затмение выглядит как идеально круглая, медленно ползущая тень по поверхности земли.
8. У моего отца дочь от первого брака была.
9. В нашей семье все склонны к полноте.
10. Про проветривание теплицы.
11. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
12. Некоторые реальные факты о странах мира абсолютно невозможными кажутся.
13. Подкормка капусты в июне: мы выбираем лучшее для крепких кочанов.
14. У меня есть лишний вес, пытаюсь как-то двигаться и есть поменьше, но за зиму всё равно набрала больше обычного.
15. Смертельно опасные комары могут размножаться в бочках с водой на дачах россиян.
16. Кейсы в CS2 и паки Fifa предложили запретить в России.
17. Одни из первых протезов использовали ещё в эпоху древнего Рима.
18. Выйдя из тюрьмы, девушка первым делом понесла букет на могилу мужа.
19. Легенды мирового рока украсили фасады домов в елизаветино.
20. Картофельные ростки: золотой актив, который вы зря выбрасывали!
21. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
22. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
23. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
24. Рецепт меренгового рулета.
25. Дом, где живет душа: как Эдита пьеха построила свой мир вдали от софитов.
26. Самый возрастной ветеран великой отечественной войны умер.
27. Ли польза в кoмпоте ecть?
28. В Лос-анджелесе новый год отмечают необычным образом - под счетчик смертей от курения.
29. Стильное оформление квартиры.
30. Caлат "Пиковая Дама".
31. В России вновь заговорили о возможном переходе на шестидневную рабочую неделю.
32. Затяжная магнитная буря уже началась и продлится до конца декабря.
33. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
34. Пpoще пpocтого! Никто не догадается как оно сделано!
35. Мы применяем просроченные лекарства.
36. Корейцы представили свой ответ Audi RS6 - эффектный универсал G90 Wingback Magma "Dr.
37. Врачи о бесполезности популярных бадов с коллагеном заявили.
38. Это закуска на любом застолье на ура уходит!
39. Уже давно делаю по этому рецепту!
40. Россиян ожидает резкое повышение тарифов на электроэнергию.
41. Внимание абитуриентам! Поступление в российские вузы станет сложнее: с 2026/27 учебного года вырастут минимальные проходные баллы ЕГЭ.
42. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
43. В России начались испытания новой вакцины против аллергии.
44. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
45. Подставки для вещей, сделанные своими руками, могут быть не только полезными, но и красивыми.
46. Кто сказал, что шестиугольники только у пчёл?
47. 5 секретов обильного урожая огурцов.
48. Эти малыши, размером 5-10 см.
49. Выбор беседки для дачи - важное решение, которое зависит от ваших потребностей, стиля участка и бюджета.
50. Желтые сливы - это вкусные и ароматные плоды, которые отличаются ярким цветом и разнообразием сортов.