昨日、togetterユーザ動向調査なるものをtogetterまとめとして作成しました。
「togetterユーザ動向をちょっと調べてみた」をトゥギャりました。 https://t.co/kQkzp6nUw2
— kampfer (@kampfer2009) March 11, 2018
内容は上記まとめを読んでいただくとして、「この人のまとめよく見るな」「この人ドコ行ってもコメントしてるよなあ」という体感を具体的な数値にできたのが、個人的に満足でした。
集計してみた感じは、まあだいたい体感通り。
もっと「タグ」とか「カテゴリ」なんかも調べてユーザとの関係性や属性を視覚化できたら面白かったかもとは思うのだけど、良いやり方が思いつかなかったのと、視覚化してもやっぱり面白くないかもと感じ、それ以上やるモチベーションがわかなかった。
データの取得は python で取得scriptを組んで、MongoDBにデータをぶち込み、html解析した結果をEXCELで仕上げる流れでした。
pythonで主に使ったモジュールは、「requests」「pymongo」「lxml.html」「BeautifulSoup」あたり。
こういうのは余程その集計内容が有用でも無い限り、定期的にやっても同じような結果が出るだけで面白みもないので次回予定はないです。
まあ、webスクレイピングは割と簡単にできるので、何か面白そうなネタ・集計に適してそうなサイトがあればやってみようと思います。
