У многих, кто сталкивается с поиском достаточно большого списка прокси серверов, возникает вопрос, а собственно где их брать? Есть два варианта - купить, или подключить свои очумелые ручки. Будем рассматривать только второй вариант, т.к. это абсолютно бесплатно. Далее алгоритм наших действий:
1. Берем одну любую рабочую http или socks проксю. Пусть это будет http прокся 133.11.240.57:3124. Копируем ее адрес без порта и добавляем слово proxy. Смотрим результаты в гугле по нашему запросу. Находим среди всего этого хлама списки, которые обновляются достаточно часто, т.е. не реже одного раза в день. Во многих листах пишется дата последнего обновления и частота обновлений. Сразу лучше исключать списки, публикуемые на форумах. Поверьте, так будет лучше. Листов в интернете море. Просматривайте выдачу гугла как можно глубже, там тоже много вкусного.
2. Далее, берем ОДИН найденный проксилист и вставляем его адрес в файл list.txt в папке proxyc. Тестим этот лист в хрефере. Многие листы могут не парситься или могут не открываться из-за большого числа обращений к ним и т.д. и т.п.
3. Допустим, лист удачно спарсился и в нем есть рабочие прокси. Еще одним критерием того, что мы будем считать этот лист хорошим, станет процент рабочих проксей от общего числа проксей в списке. Я для себя решил, что если от общего числа проксей в листе примерно 20% будут рабочими, то это гуд.
4. Записываем адрес найденного хорошего листа в отдельный файл. Копируем найденные в нем рабочие прокси в куда нибудь, чтобы потом продолжить поиск листов по их адресам. Очищаем файл xproxy.txt в папке с хрефером, чтобы они нам в дальнейшем не мешали искать новые. Удаляем адрес прокси листа из файла list.txt в папке proxyc.
5. Далее по кругу начиная с первого пункта.
Очень важно, чтобы при чеке проксей интернет-канал был максимально свободен. Также важна скорость отклика вашего сервера, на котором лежит папка proxyc. Ставьте таймаут чека проксей не больше 3 секунд.
Итог: За 3-4 часа так можно собрать очень большой список листов с хорошими прокси абсолютно БЕСПЛАТНО. Пользуйтесь и экономьте деньги. :)
Комментариев нет:
Отправить комментарий