项目地址:https://github.com/daweilang/...刚开始抓取微博数据的时候,只想获取一条热门微博因为里面有很多图片广告,想看看能不能分析出热门微博评论中的异常用户。在使用PHP的Laravel框架后,通过队列、命令等各种功能,最终搭建了一个完整的微博用户数据抓取平台。经过一段时间的运行,积累了大量的数据,那么这些数据能做什么呢?有些人长期从事微博数据分析。网上收集分析工具好像很多。搜索找到一些微博数据分析的具体解决方案。世界在变,发现很多几年前的微博数据分析平台已经不可用了。可能微博数据分析和微博一样,商业上还是没有更好的盈利模式。..根据之前的在线微博数据分析方案,微博传播力是数据分析的一个方向。热门微博转发传播可用于广告营销分析。数据基础是微博内容和传播路径的收集,和我的数据获取方式不一样。用户数据分析没有解决方案,也没有数据挖掘相关知识的基础,所以我们从程序员的角度来谈谈微博用户数据的使用思路。使用Laravel框架搭建的平台是一种基于微博用户的数据抓取模式,可以获取某条微博下的所有评论、转发、点赞。更进一步,获取一个微博用户的所有微博后,可以获取该用户发送的微博的所有数据,包括评论、转发、点赞等。从微博用户的完整数据中可以得到什么?1.通过微博点赞积累微博用户微博不能被重复点赞,所以一个百万点赞的微博可以得到百万用户的基本信息。这是一种比较高效的微博用户池积累方式,但是随着积累量的增加,重复数据会越来越多,效率会降低。同样,评论和转发也可以积累用户信息,但重复导致数据获取效率低下。2、通过数据建立用户的数学模型。数学模型早就还给大学老师了,这东西当年也没学好。但我还是明白,对于一个用户来说,粉丝数、微博数、转发数、评论数、点赞数之间应该存在一定的数学模型关系。具体来说,对于数百万微博用户来说,微博的平均转发量、评论量和点赞量应该在一定范围内。可以基于大量的微博用户数据建立数据模型。该模型可用于评估微博用户的健康状况。3.通过数据获取用户的活跃粉丝。通过交叉比对,可以得到一个微博用户的完整数据,从而得到粉丝的活跃度。目前在微博上,除了用户本人,没有其他人可以查看该用户的所有粉丝数据。但是通过“共同关注”关系,可以判断是否是用户的粉丝。理论上,如果微博用户数据全部有几十亿条,一个一个对比,是可以得到某个用户的所有粉丝的,但这只是理论上的解决方案。可以通过在用户微博下转发、评论、点赞等方式缩小对比范围。虽然不能获取到该用户的所有粉丝,但是可以分析出所有与微博用户有过互动的粉丝。这些粉丝的比例可以用来评价微博用户的粉丝质量。以上是关于通过微博用户数据抓取平台获取的数据的一些使用假设。作为程序员,还是不适合写这种理论性的东西。自己也看不懂,还是好好写程序吧。..
