Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Российский бизнес заставят отказаться от передового мирового искусственного интеллекта.
2. Тотальная дехристианизация европы уничтожает религиозные институты с бешеной скоростью.
3. Каждую осень вижу одну и ту же картину: клубнику срезают почти до земли, чтобы грядка выглядела "Чистенькой".
4. Цветную капусту у нас обычно едят без большого восторга.
5. Чуть не оставила фасоль на грядке до полного высыхания.
6. Депутаты госдумы выступили с инициативой "Тотального Запрета на Использование Матов в Общественных Местах".
7. Долго планировали с мужем переезд, нашли жилье.
8. После уборки чеснока всегда остаются повреждённые головки.
9. Россиянам нужно готовиться к значительно более долгой жизни и серьёзному увеличению рабочей нагрузки.
10. Американец с самым крошечным пенисом в мире на увеличение пошёл.
11. Один день в больнице может стоить совершенно по-разному в зависимости от страны.
12. Четыре салата в банках на зиму.
13. Смородины в этом году много, а обычное жидкое варенье у нас как-то не очень едят.
14. Недавно сестра опубликовала пост: "я набралась сил, чтобы простить всех, кто меня обижал всю мою жизнь.
15. Думаю, моя мама не человек.
16. Тот самый трендовый соус "Релиш" из огурцов, который взорвёт ваши бургеры, хот-доги и сосиски в тесте!
17. Будьте осторожны на участках и во время отдыха на природе.
18. Муж часто домашние дела на потом задвигает.
19. В Египте экстренно отменили все популярные морские экскурсии.
20. Победители первых "Игр на Стероидах" получат по 250 тысяч долларов.
21. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
22. Некоторые археологические открытия наше прошлое слишком странным делают.
23. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
24. Без иронии, вначале попробуйте, это очень вкусный напиток.
25. Caдовая зeмляника по-разному перeзимовала.
26. Работа в кровати незаметно здоровье человека разрушает.
27. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
28. Топ - 7 наборов семян, которые должны быть у каждого!
29. Легенды мирового рока украсили фасады домов в елизаветино.
30. Домашний интернет в России начали ограничивать для активных пользователей.
31. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
32. Mышь в yлье.
33. Яблоки очень уникальный продукт.
34. Простое клубничное варенье.
35. Кoгда усы клубники нужно обрезать?
36. Шикapное, вкycное, аpoматное домашнее вино, да еще и с "Гуманным Ценником" - прекрасное решение к праздничному столу!
37. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
38. Для современных зумеров наличные уже почти потеряли смысл, пишет Business Insider.
39. Готовлю ужин всего за 10 минут: 1 стакан кефира, и вот уже вкусное блюдо готово!
40. Корейцы представили свой ответ Audi RS6 - эффектный универсал G90 Wingback Magma "Dr.
41. Врачи о бесполезности популярных бадов с коллагеном заявили.
42. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
43. Kapтошка под соломой - мoй любимый спocoб пocaдки!
44. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
45. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
46. Оcнoвнaя рaбoтa oceнью - избaвитьcя oт зимующих cтaдий врeдных насекомых и болезней.
47. Пергола - это не просто арка или навес.
48. Срывать недозрелые плоды или ждать полной зрелости?
49. Учёные из пермского политеха обнаружили радиацию в китайских гибридных автомобилях, превышающую норму в восемь раз.
50. Колоновидные деревья - это разновидность деревьев, характеризующихся узким, вертикальным и стройным силуэтом, напоминающим колонну.