機械学習（二値分類問題を考えます）において不均衡なデータセット（クラス間でサンプルサイズが大きく異なる）を扱う場合、多数派のクラスのサンプルに対してサンプリング行い均衡なデータセットに変換するダウンサンプリングが良く行われます。 この不均衡…

滝沢カレン（以下、敬称略）をご存知でしょうか。ファッション雑誌『JJ』専属モデルであり、モデルやタレントとして活躍されています。*1 そんな彼女の書く文章は非常に豊かな表現で構成されており、一部では純文学とも評されています。 近年、彼女の文章を…

今回は、KDD 2018で発表されたCTR (Click Through Rate) 予測に関する論文 Deep Interest Network for Click-Through Rate Prediction を紹介したいと思います。CTR予測は、広義では注目している行動を起こす確率予測であるので、レコメンドに関する論文と捉…

kaggleのTalkingData AdTracking Fraud Detection Challengeで1位になったチームの解法の1つである、トピックモデルを用いたカテゴリからの特徴抽出を試してみたので紹介します。 Pythonでの実装はこちらです。 github.com 概要 参考にしたのは、kaggleでの…

機械学習の評価値として、Accuracy/Precision/Recall/F1などが教科書にも載っており、最も有名な評価値だと思います。 ただ実産業への応用において、これらの評価値では正しくモデルの性能を評価できないことが多く、多くの機械学習エンジニアやデータサイエ…

機械学習においてカテゴリ変数を扱うとき、何らかの変換を施して任意の数値で表現しなければなりません。 今回はWord2Vecのように任意のカテゴリ変数の分散表現を学習する、Entity Embeddingの紹介とそのPythonの実装をライブラリとして公開したので紹介しま…

PyData.tokyo One-day Conference 2018に参加したので、メモ書きを記載する。 pydatatokyo.connpass.com なお自分の記憶のためのメモなので、内容の正確さは保証できません。 PyData.Tokyo データ分析のための Python パフォーマンスチューニングテクニック …

前回は、家賃予測モデルの生成を行いました。 pompom168.hatenablog.com 今回は、Random Forestで生成した家賃予測モデルを使って、コスパ高物件を見つけます。 予測された家賃より実際の家賃が安いほうが、コスパが高いとします。 結果 1位〜5位を掲載しま…

前回は、データの可視化と変数選択を行いました。 pompom168.hatenablog.com 今回は、本格的に家賃予測モデルを生成します。 スクレイピングした物件の、8割を学習に、2割を評価のテスト用に使用することにします。 使用する変数 説明変数 部屋数、間取りK有…

みんなが大好き中央線沿いで、コスパ高い物件を探してみます。 完全に以下のブログに触発されたものです。 www.analyze-world.com やったこと webから中央線沿いの物件情報をスクレイピング モデルへの入力のため前処理 データの可視化と変数選択 家賃予測モ…