“你又买周黑鸭！”我女朋友跟我说。好吧好吧，我好像是有点爱吃周黑鸭的。并且一直想不到为什么会有人喜欢吃绝味。
这样一想，我就很抽风，我一定要弄明白爱吃周黑鸭的和爱吃的绝味的究竟都是一些什么人？这样岂不是我就找到我得同党了，我暂时称他叫做“黑鸭党”。另外一群爱吃绝味的人我暂时把他们称为”绝味党“。
有了这个念头，刚买了周黑鸭的我，就匆匆忙忙的赶回家打开电脑开始策划起来了。为了分析这两大吃货团体，首先我要拿到他们的评价。然后对他们的评价进行分析，对群体的个人资料抓取进行分析。
正文开始
1、首先我要确定一个网站作为我此次分析的获取资料以及评论数据的来源。
第一步我找了网页版美团，经过两三次搜索发现，美团上基本上没有入驻的鸭脖店。
第二步我找了网页版支付宝，我惊讶的发现，网页版支付宝上并没有商店。
第三步经过以上两次，这一次我直接打开了大众点评，果然还是大众点评靠谱。
2、再者我要确定一个城市作为我这一次研究的目标城市。
这一点我的想法是：找出一个入驻大众点评的绝味和周黑鸭最多商家的城市，以这个城市作为一个特征城市（数据多比较有代表性），对几大热门城市的鸭脖店做了统计如下图。（凭什么？我的周黑鸭你怎么可以这样，你明明比绝味好吃。）
在这个图表出来之前，我是想以南京作为研究城市的，看来要被我pass了。看图表，武汉其实是可以作为最具有代表的城市的。遗憾的是周黑鸭起源武汉，为了避免这一尴尬，于是我跳过武汉，选择另一个相对具有代表兴的城市北京。
3、（这一步其实是没必要，但是我想写一下）先统计一下北京周黑鸭和绝味的总的口味评分统计的规则是：所有的店铺按照评论的数量进行排序，各选择最前面的60家店铺查看评论数量、总体口味评价、服务评级、环境评价、人均价（这里只需要简单的爬虫就可以搞定）。左侧已经对一大部分数据进行折叠。
我们可以对上面的评论数据做一个图表查看（两点：评论数量项的满分为150评价，人均价格项的最高价为40元，其余各项都是10为满分）。
可以看出，在价格方面周黑鸭的价格人均比绝味高9元左右，这九元产生的效应是：
（1）评论数量来看，周黑鸭的点评数量是绝味的6倍之多。
（2）无论从口味、服务、以及环境周黑鸭的评分都比绝味高出百分之十左右。
现在我知道我为什么爱吃周黑鸭了对！（哈哈哈！）
上述的实例代码为（由于本人实在是太随便了，没有写成函数，还请谅解）：
for pageNumber in range(1,4):
pageUrl = BASE_URL + str(pageNumber)
pageSoup = BeautifulSoup(_session.get(pageUrl).content)
urlList = pageSoup.findAll('a',attrs = {'data-hippo-type':'shop'})
for shop in urlList:
shopUrl = 'http://www.dianping.com' + shop['href']
shopSoup = BeautifulSoup(_session.get(shopUrl).content)
itemList = shopSoup.findAll('span',attrs={'class':'item'})
for item in itemList[:5]:
print item.text,
如果抛去口味不谈，价格方面可能是一个主要因素（即绝味店铺远远多于周黑鸭），所有这里强烈建议周黑鸭降价降价啊。
4、当然，到这里还没有结束。我还要分析这两部分消费人群到底是怎样的人群呢？设想也是很简单。抓取上面所提及的店铺中的评价的人的个人信息（大众点评这一块还是不错的，我还可以读取到用户的个人资料，开心）
上述周黑鸭以及绝味各取出了具有代表性的45家店铺，下面要做的是抓取这共计90家店铺的评论中用户的个人资料进行分析。（请注意：这里的用户是选取的口味给出了4-5分的用户，不是所有用户）。
首先看以下年龄分布（人数少于100的没有统计）：
这部分数据发现的是：
（1）、评论的人大部分是生日在1981-1993，难道我们95后都不爱评论，不爱给高分评论。
（2）、两大吃货团体人群还是相对比较集中的。
（3）、看来吃货还都是一样哟，同在1986即30岁年龄的达到一个峰值，这就很尴尬了。
（4）、特别爱吃鸭脖并且喜欢点评的集中在25-35年龄段。
5、最后的最后我们看看周黑鸭党的爱好词云：
电影我很喜欢看，也很喜欢听音乐，但是这都是很大中的标识啊！所以自认为这一次并没有能分析出很明确的数据。怎么能少了编程呢？？？噢！我知道了，在写代码呢。
好了没时间写绝味的评论词云了，快上车。
6、其实到最后当初的目的并没有查的水落石出，但是倒是给了我另一些想去探究的东西：
（1）全国各个地区的口味与鸭脖店分布的关系。
（2）周黑鸭与绝味的发展以及最后市场份额悬殊巨大的原因。
预知后事如何， 欢迎关注专栏：学习编程 |
