使用Go语言通过API获取代理IP并使用获取到的代理IP

目录

前言

【步骤一：获取代理IP列表】

【步骤二：使用代理IP发送请求】

【完整代码】

【总结】

前言

在网络爬虫、数据抓取等场景中，经常需要使用代理IP来隐藏真实的IP地址，以及增加请求的稳定性和安全性。本文将介绍如何使用Go语言通过API获取代理IP，并使用获取到的代理IP，带有完整代码。

【步骤一：获取代理IP列表】

首先，我们需要找到一个可靠的代理IP提供商，提供API接口来获取代理IP列表。这里以“快代理”为例，其提供了免费的代理IP列表API，可以通过以下代码获取代理IP列表：

package main

import (
? ? "fmt"
? ? "net/http"
? ? "io/ioutil"
)

const proxyAPI = "https://www.zdaye.com"

func getProxyIPList() ([]string, error) {
? ? resp, err := http.Get(proxyAPI)
? ? if err != nil {
? ? ? ? return nil, err
? ? }
? ? defer resp.Body.Close()

? ? body, err := ioutil.ReadAll(resp.Body)
? ? if err != nil {
? ? ? ? return nil, err
? ? }

? ? // 解析HTML获取代理IP列表
? ? // ...

? ? // 返回代理IP列表
? ? proxyIPList := []string{"1.1.1.1:8888", "2.2.2.2:8888", "3.3.3.3:8888"} // 假设获取到了3个代理IP
? ? return proxyIPList, nil
}

func main() {
? ? proxyIPList, err := getProxyIPList()
? ? if err != nil {
? ? ? ? fmt.Println("获取代理IP列表失败：", err)
? ? ? ? return
? ? }

? ? fmt.Println("获取到的代理IP列表：")
? ? for _, ip := range proxyIPList {
? ? ? ? fmt.Println(ip)
? ? }
}

以上代码通过调用`http.Get()`方法请求代理IP列表的API接口，并获取到接口返回的HTML页面内容。然后，我们可以解析HTML页面获取到代理IP列表。这里为了简化流程，我们假设获取到了3个代理IP。

【步骤二：使用代理IP发送请求】

接下来，我们需要使用获取到的代理IP来发送HTTP请求。Go语言官方库`net/http`提供了`Transport`结构体可以方便地设置代理。

package main

import (
? ? "fmt"
? ? "net/http"
? ? "net/url"
)

const targetURL = "http://httpbin.org/ip"

func main() {
? ? proxyIPList := []string{"1.1.1.1:8888", "2.2.2.2:8888", "3.3.3.3:8888"} // 假设获取到了3个代理IP

? ? for _, proxyIP := range proxyIPList {
? ? ? ? proxyURL, _ := url.Parse("http://" + proxyIP)
? ? ? ? httpClient := &http.Client{
? ? ? ? ? ? Transport: &http.Transport{
? ? ? ? ? ? ? ? Proxy: http.ProxyURL(proxyURL),
? ? ? ? ? ? },
? ? ? ? }

? ? ? ? req, _ := http.NewRequest("GET", targetURL, nil)
? ? ? ? resp, err := httpClient.Do(req)
? ? ? ? if err != nil {
? ? ? ? ? ? fmt.Printf("使用代理IP %s 发送请求失败：%v\n", proxyIP, err)
? ? ? ? ? ? continue
? ? ? ? }

? ? ? ? // 处理响应
? ? ? ? // ...

? ? ? ? resp.Body.Close()
? ? }
}

以上代码通过循环遍历代理IP列表，每次使用一个代理IP发送HTTP请求。我们需要使用`url.Parse()`方法将代理IP转换为`url.URL`类型，并设置给`http.Client`的`Transport`属性。然后，通过`http.Client`发送请求并获取响应。

【完整代码】

以下是上述两个步骤的完整代码：

package main

import (
? ? "fmt"
? ? "net/http"
? ? "io/ioutil"
? ? "net/url"
)

const proxyAPI = "https://www.zdaye.com/"
const targetURL = "http://httpbin.org/ip"

func getProxyIPList() ([]string, error) {
? ? resp, err := http.Get(proxyAPI)
? ? if err != nil {
? ? ? ? return nil, err
? ? }
? ? defer resp.Body.Close()

? ? body, err := ioutil.ReadAll(resp.Body)
? ? if err != nil {
? ? ? ? return nil, err
? ? }

? ? // 解析HTML获取代理IP列表
? ? // ...

? ? // 返回代理IP列表
? ? proxyIPList := []string{"1.1.1.1:8888", "2.2.2.2:8888", "3.3.3.3:8888"} // 假设获取到了3个代理IP
? ? return proxyIPList, nil
}

func main() {
? ? proxyIPList, err := getProxyIPList()
? ? if err != nil {
? ? ? ? fmt.Println("获取代理IP列表失败：", err)
? ? ? ? return
? ? }

? ? fmt.Println("获取到的代理IP列表：")
? ? for _, ip := range proxyIPList {
? ? ? ? fmt.Println(ip)
? ? }

? ? for _, proxyIP := range proxyIPList {
? ? ? ? proxyURL, _ := url.Parse("http://" + proxyIP)
? ? ? ? httpClient := &http.Client{
? ? ? ? ? ? Transport: &http.Transport{
? ? ? ? ? ? ? ? Proxy: http.ProxyURL(proxyURL),
? ? ? ? ? ? },
? ? ? ? }

? ? ? ? req, _ := http.NewRequest("GET", targetURL, nil)
? ? ? ? resp, err := httpClient.Do(req)
? ? ? ? if err != nil {
? ? ? ? ? ? fmt.Printf("使用代理IP %s 发送请求失败：%v\n", proxyIP, err)
? ? ? ? ? ? continue
? ? ? ? }

? ? ? ? // 处理响应
? ? ? ? // ...

? ? ? ? resp.Body.Close()
? ? }
}

【总结】

通过以上步骤，我们可以使用Go语言通过API获取代理IP，并使用获取到的代理IP发送HTTP请求。需要注意的是，不同的代理IP提供商可能有不同的API接口和代理IP格式，需要根据实际情况进行调整。