python

ダウンサンプリングによる予測確率のバイアス

機械学習(二値分類問題を考えます)において不均衡なデータセット(クラス間でサンプルサイズが大きく異なる)を扱う場合、多数派のクラスのサンプルに対してサンプリング行い均衡なデータセットに変換するダウンサンプリングが良く行われます。 この不均衡…

カテゴリ変数の分散表現を学習するEntity Embeddingの実装

機械学習においてカテゴリ変数を扱うとき、何らかの変換を施して任意の数値で表現しなければなりません。 今回はWord2Vecのように任意のカテゴリ変数の分散表現を学習する、Entity Embeddingの紹介とそのPythonの実装をライブラリとして公開したので紹介しま…

PyData.tokyo One-day Conference 2018に参加した

PyData.tokyo One-day Conference 2018に参加したので、メモ書きを記載する。 pydatatokyo.connpass.com なお自分の記憶のためのメモなので、内容の正確さは保証できません。 PyData.Tokyo データ分析のための Python パフォーマンスチューニングテクニック …

NumPyでmatrixなら行列の積を*演算子で書けるしPython3.5以上なら@演算子で書ける

Pythonの数値計算ライブラリであるNumPyについて、2014年くらいからちゃんと調査せずに使っていたが、@演算子で行列の積を計算できることを知って色々調べてみた。 そもそも、影響を受けてるはずのMATLABでも*演算子は行列の積だし、C++のEigenでも*演算子は…

回帰分析と機械学習で中央線の高コスパ物件を探す(コスパ高物件導出)

前回は、家賃予測モデルの生成を行いました。 pompom168.hatenablog.com 今回は、Random Forestで生成した家賃予測モデルを使って、コスパ高物件を見つけます。 予測された家賃より実際の家賃が安いほうが、コスパが高いとします。 結果 1位〜5位を掲載しま…

回帰分析と機械学習で中央線の高コスパ物件を探す(家賃予測モデル生成)

前回は、データの可視化と変数選択を行いました。 pompom168.hatenablog.com 今回は、本格的に家賃予測モデルを生成します。 スクレイピングした物件の、8割を学習に、2割を評価のテスト用に使用することにします。 使用する変数 説明変数 部屋数、間取りK有…

回帰分析と機械学習で中央線の高コスパ物件を探す(データ可視化+変数選択)

前回の記事の続きです。 pompom168.hatenablog.com 今回は、具体的にデータの中身を見ていくために可視化を行います。 また、主に多重共線性をなくすために変数選択を行います。 データの可視化 物件数 まずは、各駅ごとの物件数を見ます。 なんとなく納得す…

回帰分析と機械学習で中央線の高コスパ物件を探す(スクレイピング+前処理)

みんなが大好き中央線沿いで、コスパ高い物件を探してみます。 完全に以下のブログに触発されたものです。 www.analyze-world.com やったこと webから中央線沿いの物件情報をスクレイピング モデルへの入力のため前処理 データの可視化と変数選択 家賃予測モ…