	Покупка	Продажа	Межбанк	НБУ
USD	41.775	41.822	41.610 / 41.650	41.732
EUR	43.779	43.944	43.550 / 43.600	43.551
GBP	52.758	52.817	---	52.586

FAQ по добыче прокси

АНОНИМНОСТЬ

ПОМОЩЬ

БЕСПЛАТНЫЕ PROXY

В этой статье мы рассмотрим следующие способы добычи прокси: Сканирование, Сёрчинг, Личинг, Граббинг.

Так же рассмотрим некоторые методы проверки, сортировки, фильтрации, определения страны и т.д.

Я не буду здесь описывать, что такое прокси сервер, для чего они нужны, об этом можно почитать в нашей базе знаний.

Сканирование ip адресов и последующая их проверка (чек) на прокси

Диапазоны

Диапазоны стран можно взять на сайтах:

Весь диапазон ip адресов: 0.0.0.0-255.255.255.255

Сканировать можно по стране или по определенному диапазону на определённые порты.

Порты

Мы будем сканировать на основные порты:

Http: 80, 8080, 3128
Socks4 и Socks5: 1080

Весь диапазон портов: 0-65535.

Есть очень много других хороших портов, на которых есть http прокси, например: 81, 82, 6855, 8000, 8082, 8090, 8888 и т. д.

Как же узнать, на какие порты сканировать?

Есть много способов, я предложу один из простых и верных.

Регистрируемся на нескольких прокси форумах:

Собираем все прокси, что там выкладывают за сегодня, удаляем дубликаты (как их удалить читайте ниже) и чекаем оставшиеся (как прочекать прокси - читайте ниже).

Proxyfire

Качаем Proxyfire Master Suite Free 1.22 или покупаем ProxyFire Master Suite Professional 1.22($29).

Можно найти крякнутую версию, Google в помощь.

Proxyfire - это целая лаборатория для работы с прокси. Можно выкидывать весь старый софт! Вам больше не нужны: сканнеры, грабберы, личеры, сёрчеры, чеккеры, бат-криейдеры, фильтры, дубликат-ремоуторы, парсеры отчётов сканнера и прочий мусор. Proxyfire объединяет все эти утилиты в одной компактной программе, поэтому мы будем работать с ним. Proxyfire не требует установки и с ним очень удобно работать на дедике. Есть скрытый режим.

Вкладка: Settings

Здесь есть окно редактирование прокси судей (Proxy Judges).Их можно нагуглить, а можно сделать свои, надёжные.Для этого вам понадобиться зарегистрировать несколько хостингов и разместить там скрипт azenv.php:


            <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">

            <html xmlns="http://www.w3.org/1999/xhtml" xml:lang="en" lang="en">

            <head>

            <title>AZ Environment variables 1.04</title>

            </head>

            <body>

            <pre>

            <?php

            foreach ($_SERVER as $header => $value ) {

                if(strpos($header , 'REMOTE')!== false || strpos($header , 'HTTP')!== false || strpos($header , 'REQUEST')!== false) {

                echo $header.' = '.$value."\n";

                }

            }

            ?>

            </pre>

            </body>

            </html>

В программе указать путь к этому файлу, нажмите "Add" и пропишите как на скриншоте выше.

На самом деле легче это сделать вручную, заходим в папку с программой, открываем файл check.ini и пишем в нём:

	[0]
	Status=BAD
	Verify_http=1
	Verify_tunnel=1
	Verify_ssl=0
	Deleted=0
	Url=http://jerry4.freehostia.com/judges/azenv.php
	azenv=1
	custom=0
	UrlCustom=http://www.google.com/intl/zh-CN/
	StrLevel1=<title>Google
	StrLevel2=<title>Google
	StrLevel3=<title>Google
	StrIP=
	TunnelHost=www.google.com
	TunnelPort=443
	SSLUrl=https://www.google.com/accounts/ManageAccount
	SSLKeyword=<title>Google
	Checked=1
	[1]
	Status=OK
	Verify_http=1
	Verify_tunnel=1
	Verify_ssl=1
	Deleted=0
	Url=http://joshua2.freehostia.com/judges/azenv.php
	azenv=1
	custom=0
	UrlCustom=http://www.google.com/intl/zh-CN/
	StrLevel1=<title>Google
	StrLevel2=<title>Google
	StrLevel3=<title>Google
	StrIP=
	TunnelHost=www.google.com
	TunnelPort=443
	SSLUrl=https://www.google.com/accounts/ManageAccount
	SSLKeyword=<title>Google
	Checked=1
	[2]
	Status=OK
	Verify_http=1
	Verify_tunnel=1
	Verify_ssl=1
	Deleted=0
	Url=http://leroy2.freehostia.com/judges/azenv.php
	azenv=1
	custom=0
	UrlCustom=http://www.google.com/intl/zh-CN/
	StrLevel1=<title>Google
	StrLevel2=<title>Google
	StrLevel3=<title>Google
	StrIP=
	TunnelHost=www.google.com
	TunnelPort=443
	SSLUrl=https://www.google.com/accounts/ManageAccount
	SSLKeyword=<title>Google
	Checked=1

и т.д. Потом сохраняем и перезагружаем программу, заходим во вкладку Settings и видим наши пути к прокси судьям: 10 будет достаточно, подходящий хостинг из бесплатных freehostia.com

Вкладка: Proxy Filter

Все мы знаем, что прокси могут иметь разный вид, к порту приписывают различную информацию, порт 8080 и 808 (это одно и то же), переодически нужно удалять дубликаты, перемешивать прокси листы, удалять прокси с ненужными портами и т.д.

Современнее и новороченнее фильтра-парсера, чем в Proxyfire я не встречал - это машина для работы с прокси листами.

В окно "In" можно пихать любой мусор, Proxyfire вытащит из него прокси.

Вкладка: P-Scan

Вкладка "Scanner". Здесь можно включить "Auto Check", задать приоритет "Scan process Priority". Устанавливаем количество потоков "Threads". Если у вас интернет канал 6 метров и более ставим 3000 потоков. Проверить скорость интернет соединения можно здесь: http://2ip.ru

Таймаут "Timeout(s)" ставим от 5 до 20. Выбираем метод сканирования "TCP" (метод "SYN" сейчас не работает, на сколько мне известно). Далее вбиваем диапазоны, которые будем сканировать, диапазоны должны быть вида:

xxx.xxx.xxx.xxx xxx.xxx.xxx.xxx

Можно сканировать диапазоны определённой страны, можно сканировать просто свои диапазоны, а можно создать диапазоны из хороших прокси.

Для этого переходим на вкладку "Make IP Ranges", вбиваем хорошие прокси в окно "Input proxies here", выставляем на сколько расширять диапазоны до и после "Up Expand" и "Down Expand" 1000 - оптимальное число. Можно отсеять по странам, жмём кнопку "Sel..." и выбираем страны. Далее жмём "Go" видим в соседнем окне сгенерированные диапазоны и ниже порты.

Жмём "Copy to Scanner" и мы опять во вкладке "Scanner".

Proxyfire сканирует на 1 порт, на тот, что первый прописан в списке.

Вкладка: P-Search

Очень эффективный способ поиска прокси. Если вам нужно быстро найти рабочие прокси - это то что вам нужно.

Здесь всё просто, выбираем поисковый движок: Google, Baidu, Yahoo! или MSN. Далее меняем код, жмём "Edit" напротив интересующего нас поисковика.

Google


            [search]

            name=Google

            engine=http://www.google.com/search?hl=en&lr=&as_epq=%KEYWORD%&start=%PAGE%

            link_start=<li class=g>

            link_end=</a>

Baidu


            [search]

            name=Baidu

            engine=http://www.baidu.com/s?wd=%22%KEYWORD%%22&cl=3&pn=%PAGE%

            link_start=<td class=f>

            link_end=target="_blank"

Yahoo!


            [search]

            name=Yahoo!

            engine=http://search.yahoo.com/search?p=%22%KEYWORD%%22&ei=UTF-8&b=%PAGE%

            link_start=<a class=

            link_end=</a>

MSN


            [search]

            name=MSN

            engine=http://search.msn.com/results.aspx?q=%22%KEYWORD%%22&first=%PAGE%

            link_start=<h3>

            link_end=onmousedown

После выбора поисковика устанавливаем количество потоков "Serch Threads:" (в free версии оно ограниченно пятью!).

Можно так же включить "Auto Check" проверка прокси после достижения установленного вами количества найденных прокси.

Жмём "Keywords" и пишем там хорошие прокси с портами, их и будем искать + то, что вместе с ними выкладывают. Жмём "Go".

Вкладка: P-Leecher

Другими словами граббер прокси. Тут так же всё просто, устанавливаем "Loop" и "Auto Check" если надо. Указываем количество потоков и количество тем. Жмём "Edit Forum List" вбиваем туда наши прокси листы.

Прокси листы можно легко нагуглить