随着元旦小长假的临近,大家都在策划如何度过这个难得的假期。在选择旅游目的地时,厦门作为一个热门的旅游城市自然是不错的选择。因此,J哥利用Python技术,从去哪儿网上抓取了厦门的旅游景点数据,包括景点名称、所在地区、评分、销售量、价格和坐标等信息,并对这些数据进行了详细的可视化分析,目的是帮助大家找到性价比高的景点。
从去哪儿网获取数据的过程比较直观。首先确定网站的真实URL,然后拼接参数并使用Python的requests库请求JSON数据。获取的数据以CSV格式保存。
# 导入必要的库
import requests
import random
from time import sleep
import csv
import pandas as pd
from fake_useragent import UserAgent
# 数据抓取函数
def get_data(keyword, page):
ua = UserAgent(verify_ssl=False)
headers = {"User-Agent": ua.random}
url = f'http://piao.qunar.com/ticket/list.json?keyword={keyword}®ion=&from=mpl_search_suggest&page={page}'
res = requests.get(url, headers=headers)
sleep(random.uniform(1, 2))
try:
res_json = res.json()
sight_List = res_json['data']['sightList']
print(sight_List)
except:
pass
# 抓取数据
if __name__ == '__main__':
keyword = "厦门"
for page in range(1, 100):
print(f"正在提取第{page}页")
sleep(random.uniform(1, 2))
get_data(keyword, page)
使用Python的Pandas库读取CSV文件,对数据进行初步处理,如删除重复数据,检查字段类型和缺失值等。接着,通过描述性统计了解数据的基本情况。
使用Matplotlib和Seaborn等可视化工具,结合词云图、饼图和柱状图等形式,深入分析厦门旅游景点的特点。例如,通过词云图可以看出厦门的海滨特色;通过地图分布分析,可以发现景点主要集中在特定区域;通过评分和月销量数据,可以找出最受欢迎的景点。
综合分析后,得出厦门旅游的一些关键信息:厦门是一个海滨休闲城市,主要景点集中在思明区,厦门大学和鼓浪屿是最受欢迎的景点。此外,针对不同预算的旅游者,还可以选择消费水平较高的景点,如帆船和游艇。
旅游时请注意疫情防控,避免前往疫情风险区域,保障自己和他人的安全。
这样的分析不仅有助于规划元旦假期的行程,还能让你体验数据分析的乐趣,为你的旅行提供更科学的决策支持。"