えんじにあのじゆうちょう

勉強したことを中心にアウトプットしていきます。

機械学習

SIGNATEの【第2回_Beginner限定コンペ】健診データによる肝疾患判定をやってみた

はじめに SIGNATEさんは去年こちらの講座でお世話になった以来放置していたので、相変わらずBeginnerだったのですが、Beginner限定コンペであるラインを超えればIntermediateに昇格ということだったのでやってみることにしました。 せっかくなのでそのログと…

tensorflow.jsでposenetを使ってみる

はじめに ふと思い立って、tensorflow.jsを使ってみることにしました。 最終的にはUIつけてアプリにしたいですが、まずはローカルに保存した画像をposenetで姿勢情報を抽出し、肘の角度を算出する、ということをやってみます

ServerlessなKubernetes上で機械学習タスクを実行してみる

はじめに だいぶ間が空いてしまいました。(コロナとかではなく、ネタ切れです) 今回はAlibabaCloudのServerless k8sサービスでGPUが使えるっぽいというのをドキュメント上確認したので試してみた、ということを書きます。 Serverless k8sを使うメリット Serv…

コードで理解する回帰木

はじめに 回帰木って実は使ったことなくて、理屈は決定木と同じだと知っていてもまぁやってみないことには、と思ったのでやってみることにしました。

コードで理解するAutoEncoder

はじめに 前回はPCAについて書きました。 PCAは比較的レガシーなやり方だと思いますが、非常に強力な手法で応用範囲が広いということは、色々なところの記載や実際に試してみてある程度わかった気がします。 では次にということでNeuralNetworkを活用した次…

コードで理解するPCAを用いた異常検知

はじめに お仕事の都合もあり、O'Reilly Japan - Pythonではじめる教師なし学習をちょっと読んでいるのですが、PCAで異常検知ができるというところに興味を持ちました。 確かに、他の異常検知も基本は潜在表現を得て(例えばその自称が従う分布のパラメータ…

コードで理解するVARモデル

はじめに VARモデルのとりあえず推定までをやってみることで、どういうモデルなのか、ということの理解を試みます。今回も経済・ファイナンスデータの軽量時系列分析を勉強しながら書いたものなので、数式などの詳細はそちらを読むこと。

コードで理解するARモデルの最尤推定

はじめに 前回に引き続き、ARモデルについて書きます。 t.marufeuille.dev今回は最尤推定でのモデルのfitingを試していきます。今回も経済・ファイナンスデータの軽量時系列分析を勉強しながら書いたものなので、数式などの詳細はそちらを読むこと。

コードで理解するAutoRegressive モデル

はじめに 以前k-meansをnumpyで実装するということをやりましたが、今回は時系列モデルの基礎としてARモデルを実装してみることにします。以前一度やっているのですが、中途半端極まりなかったのでやり直し、というところです。ちなみに今回は経済・ファイナ…

autoencoderを理解する

はじめに E資格対として、今回はautoencoderについて考えてみます。 実装については以下のKeras Blogをそのまま使います。 blog.keras.ioちなみに前回はこちら。 t.marufeuille.dev

畳み込みの処理を理解する

はじめに 超個人的な話題ですが、もう少しでE資格の受験日です。 そこで一通りのアルゴリズムの実装を見直していこうと思います。 特にディープ系はあまり自信がないので、コアになりそうなところを中心にしっかりやっていこうと思います。今回は畳み込みの…

MLflowのTracking機能を試してみた

はじめに 今回はMLflowを使って機械学習の実験管理について少し試したのでまとめてみました。 本当はこのエントリが新年一発目になる予定だったのですが、諸事情あって別のエントリになりました

【異常検知】lof法

はじめに 前回の最近傍法を使った方法では、「稀によくある」ようなものを異常としたくない場合をうまくハンドリングできないということを書きました。 https://t.marufeuille.dev/entory/nearest-neighbort.marufeuille.dev今回はlof法を用いた異常検知を解…

【異常検知】最近傍法を使った方法

はじめに 異常検知シリーズ第2段、ということで最近傍法を使った異常検知にチャレンジします。 例のごとく、Albert社のブログを大きく参考にさせていただいています。 www.albert2005.co.jp

【AlibabaCloud】LogServiceのML機能をJupyterNotebookから使ってみた

はじめに alibabacloud Advent Calendar 2019 - Qiita 18日目ということで、LogServiceというリアルタイムデータ収集&可視化&処理プロダクトの中でも、たぶんあまり使われていないだろうJupyter Notebookのextensionを利用して、LogServiceを操作する方法…

【異常検知】ホテリング理論による単純な実装

はじめに 異常検知はいろいろな方法がありますが、どれもよくわかっていませんでした。 まずは、調べた中で最も単純だと思われる「ホテリング理論」についてまとめてみます。

Bike Sharing Data Setを使って時系列データの予測をやってみた

はじめに 時系列データの回帰分析をする機会があったので、その練習がてら試したことをまとめました。

コードで理解するk-means

はじめに 今回はk-meansを自前実装することで、理解を深めてみようと思います。

単回帰/勾配降下法をコードで徹底的に理解する

はじめに 結局、使ってみたとしても、数式だけ読んだとしても、案外実際の動きを理解できないことは多いと思います。 これから、色々な機械学習モデルの学習についてコードをイチから書きながら考えてみようと思います。 (以前も少しやってますが、ちょっと…

眠れない夜にロジスティック回帰についてまとめてみた

はじめに 最近ロジスティック回帰について、少し悩むことが多いでのでちょっと自分なりにまとめてみることを試みました。

線形でないパラメータを線形回帰で扱う

はじめに 線形回帰は、端的に言えばあるデータを別のデータと重みトバイアスであるをこうy呂しての関係でデータを表現するということです。 では例えば、で表現されるようなデータは線形回帰で扱えないのでしょうか。僕にもそう考えていた時期がありました。…

線形回帰をコンピュータによる数値計算、機械学習で解いてみる

はじめに t.marufeuille.dev前回のエントリの実装編です。 あえて直接的な既存ライブラリは用いず、numpyくらいで実装してみます。

線形回帰で考える統計学、機械学習とニューラルネットワーク

統計学、機械学習、ニューラルネットワークの違いについて、自分なりの解釈でまとめてみました。