wikipediaのダンプファイルをダウンロード とてつもなく時間がかかります！（約13G） 以下をターミナル上で実行。 wget http://dumps.wikimedia.org/enwiki/latest/enwiki-latest-pages-articles.xml.bz2 wget http://www.cs.princeton.edu/~blei/lda-c/ap.t…

まずはツイートデータを取得します。 しかし、ここでつまずきました...いろいろ調べてツイートをダウンロードするコードを書きました。 tweepyというモジュールをダウンロードします。 以下のサイトが参考になりました statsbeginner.hatenablog.com しかし…

本書では37GBのデータをダウンロードするなどと言っていますが、サイズデカすぎです。 なので、今回は"unix.stackexchange.com"のデータだけを使用することにします。データダウンロードダウンロードしたデータを回答するとPost.xmlというファイルが出てくる…

アイリスデータセット データの中身はアイリスという花に関するもの。 アイリスデータセットは３つの種類の品種のデータに分類されます。 がく片の長さ（Sepal length） がく片の幅（Sepal width） 花弁の長さ（Petal length） 花弁の幅（Petal width） とい…

前処理（preprocessing）過程 共通する単語の出現回数を類似度として計算する テキストデータをトークン化する 頻出もしくはその逆の単語を除く 残りの単語について出現回数をカウント 単語の出現回数からTF-IDFを計算する 本書で与えられているデータセット…

まずはデータを読み込みます。 自分の場合は、'BMLS/ch01/data/web_traffic.tsv'にデータファイルを保存しています。 適宜ファイルパスは変更してください。 import numpy as np import scipy as sp import matplotlib.pyplot as plt data = sp.genfromtxt('…