当前位置: 首页 > 科技观察

爬了知乎的“沙雕题”,笑死了!

时间:2023-03-17 21:18:29 科技观察

这两天偶然上网的时候,被知乎上一个叫“玉皇大帝住在平流层还是对流层”的问题吸引住了。图片来自Pexels。本以为只是一件小事,却不知道这个问题在知乎上引起了强烈的共鸣。浏览量500W+,7000+。Python爬取这些题目的内容,浏览量,关注人数,总结出一份权威(搞笑)的“沙雕”题榜单!数据源知乎很“贴心”,有一个特别的问题可以满足我们的需求,没想到这个问题居然有243个答案,陶飞得到了3W+的点赞。我们爬取了所有出现在答案中的问题链接,分享了400多个问题,其中陶飞提供了200+个。感谢陶飞帮助我们建立“沙雕资料库”。这部分代码如下:importreimportseleniumfromseleniumimportwebdriverimportrequestsfrombs4importBeautifulSoupimportpandasaspdimporttimedriver=webdriver.Chrome()driver.maximize_window()url='https://www.zhihu.com/question/37453271'js='window.open("'+url+'")'driver.execute_script(js)driver.close()driver.switch_to_window(driver.window_handles[0])foriinrange(100):js="varq=document.documentElement.scrollTop=10000000"driver.execute_script(js)all_html=[k.get_property('innerHTML')forkindriver.find_elements_by_class_name('AnswerItem')]all_text=''.join(all_html)#all_text=all_text.replace('\u002F','/')all_text=all_text.replace('问题','question')pat='question/\d+'questions=list(set([kforkinre.findall(pat,all_text)]))得到问题对应的编号后,就可以去各自的页面得到对应的每道题的题数、浏览量等信息,如下图:这部分代码如下:header={'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win32;x32;rv:54.0)Gecko/20100101Firefox/54.0','Connection':'keep-alive'}cookies='v=3;iuuid=1A6E888B4A4B29B16FBA1299108DBE9CDCB327A9713C232B36E4DB4FF222CF03;webp=true;ci=1%2C%E5%8C%97%E4%BA%AC;__guid=26581345.3954606544145667000.1530879049181.8303;_lxsdk_cuid=1646f808301c8-0a4e19f5421593-5d4e211f-100200-1646f808302c8;_lxsdk=1A6E888B4A4B29B16FBA1299108DBE9CDCB327A9713C232B36E4DB4FF222CF03;monitor_count=1;_lxsdk_s=16472ee89ec-de2-f91-ed0%7C%7C5;__mta=189118996.1530879050545.1530936763555.1530937843742.18'cookie={}forlineincookies.split(';'):name,value'=cookies.strip(),1)cookie[name]=valuequestions_df=pd.DataFrame(columns=['title','visit','follower','answer','is_open'])foriinrange(len(questions)):try:url='https://www.zhihu.com/'+questions[i]html=requests.get(url,cookies=cookie,headers=header).contentbsObj=BeautifulSoup(html.decode('utf-8'),"html.parser")text=str(bsObj)title=bsObj.find('h1',attrs={'class':'QuestionHeader-title'}).textvisit=int(re.findall('"visitCount":\d+',text)[0].replace('"visitCount":',''))follower=int(re.findall('"followerCount":\d+',text)[0].replace('"followerCount":',''))answer=int(re.findall('"answerCount":\d+',text)[0]。replace('"answerCount":',''))is_open=int(len(re.findall('Questionsareclosed',text))==0)questions_df=questions_df.append({'title':title,'visit':visit,'follower':follower,'answer':answer,'is_open':is_open},ignore_index=True)time.sleep(2)print(i)except:print('error'+str(i))数据分析在分享最终的“沙雕排行榜”之前,我们先来一波认真的(lixinggongshi)分析,主要是看题中的关键词。首先是所有词云的词云:貌似最这些问题的产生源于每个人对生活的探索,不然也不会有那么多“为什么”“如果”“怎么办”。令人惊讶的是,“体验”知乎专属标签并不多,大概是因为尊重知乎,和“经验”相关的问题不会这么“沙雕”,我们去掉这些颗粒,看结果lts:从这张图来看,读者的顾虑还是很极端的:一方面,在关注男女朋友“你冷,你狠,你不讲理”的问题;另一方面,他们关注宇宙、地球等与全人类相关的问题。认为。这两张图其实是根据一个表情来的。不知道你看不看得出来:嗯,看不出来是正常的。如果能看到的话,现在可以在知乎上提问,下一期会列出来最后把部分问题做个词云:不知道大家看清楚没有。说实话,我自己看不清楚,也不会让大家看清楚。目的是引出下面的真实排名。沙雕题榜是根据浏览量、关注人数、回答人数、关注比例、回答比例、流量指数、新奇指数综合得出问题浏览量、关注人数、答案数量,最后是总分。如下图:是不是听起来很复杂?其实是用10%的数据+90%的主观来进行排名,为大家挑选了15道最“沙雕”的题目。我也挑选了一些网友的回答。提问的操作确实很骚。面对这些“沙雕”问题,认真回答的绝对是风骚PLUS。在此声明以下回答均来自知乎网友。No.15李白写了那么多诗,他自己能背出来吗?原题链接:https://www.zhihu.com/question/276876453总结:自己写诗让别人朗诵真的是人生的最高境界No.14猪八戒是黑猪还是白猪?原题链接:https://www.zhihu.com/question/37160000总结:经过多方考证,猪八戒黑猪身份得到证实。这里说:黑猪白猪,不涨价的猪就是好猪。No.13邹市明能不能一拳打晕自己?原题链接:https://www.zhihu.com/question/36805199总结:关于邹市明在知乎上能打多少人的问题层出不穷,没想到最后还得自己动手!No.12生蚝煮熟后还能叫生蚝吗?原题链接:https://www.zhihu.com/question/25016659帅的人,不管他长什么样,别人都会说他帅!No.11被袋鼠打是一种怎样的体验?原题链接:https://www.zhihu.com/question/27387052总结:珍惜生命,远离袋鼠,不要为了高赞回答而与袋鼠斗嘴,否则你可能没时间分享“刚编故事》...No.10秃顶的人洗头应该用洗发水还是洗面奶?原题链接:https://www.zhihu.com/question/48119206总结:希望程序员朋友们保护好自己的头发,不要哪天被请来回答这个问题!No.9如果地球上的每个人同时用激光笔指向月亮,月亮会变色吗?原题链接:https://www.zhihu.com/question/48119206总结:会不会变色不得而知,但在月亮变色之前,我的眼睛一定要蒙住!No.8玉皇大帝住在平流层还是对流层?原题链接:https://www.zhihu.com/question/304133742/总结:这个问题应该是“正经废话”的高手,评论区也有很多相关领域的人给出了认真的回答,但是他们不知道住在哪里。或许只有孙悟空知道答案吧!No.7如果把变色龙绑在不断变色的灯上,它会累死吗?原题链接:https://www.zhihu.com/question/32052499总结:变色龙是国家保护动物,估计还没看到结果,先带走教育一下!No.6如果把皮卡丘的耳朵塞进插座里,皮卡丘会不会触电?原题链接:https://www.zhihu.com/question/52083864总结:皮卡丘会不会触电不好说,但你会不会触电是很清楚的!No.5西瓜除了被吃还有什么意义?原始问题提问链接:https://www.zhihu.com/question/24393996总结:提问之前,最好想一想,除了吃饭,人生还有什么意义!No.4为什么国外的超级英雄是趴着飞,而中国的神是直立飞翔?原题链接:https://www.zhihu.com/question/26992616总结:这是什么神仙读者,居然问出这种“惊天地泣鬼神”的问题,想必各位大神也是我跃跃欲试,准备拉他过来当场讲解!No.3向日葵晚上在干什么,是在追月亮吗?原题链接:https://www.zhihu.com/question/21370688/总结:自产自销,够了Great,不要用人类的“996”思维求向日葵。人们在太阳下山时下班。话不多说,已经泪流满面了!No.2苍蝇被带到异地怎么办?它的家人和孩子呢?原问题链接:https://www.zhihu.com/question/20831390/总结:这位朋友很担心苍蝇的生活,为什么不让他们的大家庭住进自己的家和体会重逢Ending的美好!No.1女朋友生气不高兴喜欢爬树怎么办?原题链接:https://www.zhihu.com/question/30914451/总结:你确定你们两个不是猴子发来的搞笑对比?写在最后这篇文章主要是想通过这些问题让大家开心一下。只要您在阅读文章时笑了,我们的目的就达到了。其实知乎上还有很多有价值的问题,即使是这些“沙雕”问题,也有一些很有意思的回答。您可以更多地了解它们并开阔您的视野。