はじめに 今回はBigQuery UDFについて、少し調べてみたのでそれについて書いてみます。 cloud.google.com

はじめに 機械学習をプロダクションで行う場合、基本的にはMLOpsの枠組みに乗せてモデルを継続的に学習させ精度を向上、Keepしていくということが重要になるわけですが、一方であるときに使ったパラメータやデータセットの管理は結構手間です。 パラメータで…

はじめに SIGNATEさんは去年こちらの講座でお世話になった以来放置していたので、相変わらずBeginnerだったのですが、Beginner限定コンペであるラインを超えればIntermediateに昇格ということだったのでやってみることにしました。 せっかくなのでそのログと…

はじめに 今回も引き続き、スケーラブルデータサイエンスです。 今日は第6章。Dataprocです。ちなみに、第5章は個人的によく知っている話題が多かったので記事としては取り上げません。

はじめに 今回も引き続き、スケーラブルデータサイエンスです。 今日は第4章。Apache Beamについて中心的にさわってみました。

はじめに 今回も引き続き、スケーラブルデータサイエンスです。 今日は第3章

はじめに スケーラブルデータサイエンスを読み始めたので、読みつつ気になったところのまとめを実施していこうと思います。 まずは第2章のクラウドへのデータの取り込みです。

はじめに ふと思い立って、tensorflow.jsを使ってみることにしました。 最終的にはUIつけてアプリにしたいですが、まずはローカルに保存した画像をposenetで姿勢情報を抽出し、肘の角度を算出する、ということをやってみます

はじめに だいぶ間が空いてしまいました。(コロナとかではなく、ネタ切れです) 今回はAlibabaCloudのServerless k8sサービスでGPUが使えるっぽいというのをドキュメント上確認したので試してみた、ということを書きます。 Serverless k8sを使うメリット Serv…

はじめに 回帰木って実は使ったことなくて、理屈は決定木と同じだと知っていてもまぁやってみないことには、と思ったのでやってみることにしました。

はじめに 前回はPCAについて書きました。 PCAは比較的レガシーなやり方だと思いますが、非常に強力な手法で応用範囲が広いということは、色々なところの記載や実際に試してみてある程度わかった気がします。 では次にということでNeuralNetworkを活用した次…

はじめに お仕事の都合もあり、O'Reilly Japan - Pythonではじめる教師なし学習をちょっと読んでいるのですが、PCAで異常検知ができるというところに興味を持ちました。 確かに、他の異常検知も基本は潜在表現を得て（例えばその自称が従う分布のパラメータ…

はじめに 時系列データを扱っていると季節性変動を抽出することがよくでてくる割には、実際どうやってるんだ・・・と思うことが多かったです。 と、言うわけで今回は季節性変動をどのように抽出し、Seasonality, Trend, Residualを分解するかを試してみよう…

はじめに VARモデルのとりあえず推定までをやってみることで、どういうモデルなのか、ということの理解を試みます。今回も経済・ファイナンスデータの軽量時系列分析を勉強しながら書いたものなので、数式などの詳細はそちらを読むこと。

はじめに 前回に引き続き、ARモデルについて書きます。 t.marufeuille.dev今回は最尤推定でのモデルのfitingを試していきます。今回も経済・ファイナンスデータの軽量時系列分析を勉強しながら書いたものなので、数式などの詳細はそちらを読むこと。

はじめに 以前k-meansをnumpyで実装するということをやりましたが、今回は時系列モデルの基礎としてARモデルを実装してみることにします。以前一度やっているのですが、中途半端極まりなかったのでやり直し、というところです。ちなみに今回は経済・ファイナ…

はじめに 最近は確率統計が面白いなぁと思っているのですが、まだまだ素人で理解できないこともとても多いのですが、Gaussian Processのいい記事を読みまして、なんとなく雰囲気だけ掴めた気になったので、とりあえず一回自分で動かしてみるか、という感じで…

はじめに 開発環境なんてなんでも良いと言えばそのとおりなのですが、いつでもリセットできる方が何かと便利ですし、いくつか用途を分けて作りたくなることもあると思います。 個人的に気に入っている開発環境の作り方をせっかくなのでメモしておきます。ち…

はじめに 前回に引き続き、Kubeflow pipelineを使って機械学習パイプラインを組んで見る第2段です。今回は、pipeline処理を行うコンテナと処理を1つ作ってみて、雰囲気に触れてみようと思います。前回の記事はこちら t.marufeuille.dev

はじめに 2月は会社のブログ活動＆E資格受験があって、しばらく間が空いてしまいました（言い訳） さて、今回からは機械学習パイプラインの構築に向けての検証として、Kubeflowを試してみようと思います。ちょっと前にmlflowのtrackingだけ試しました（以下…

はじめに AJAXを使ったWebページのスクレイピングをするためには、単純にHTMLを取得するだけではなく、実際に描画、JSの実行等諸々の処理をしてレンダリングが完了した上で必要なものを取得していく必要があります。 今回諸事情により色々試すことになったの…

はじめに 会社の人にイケてそうな可視化ツールあるよーと教えてもらったので、そのテストついてにまとめてみます。 小さいデータ(Titanic)でしか試していませんが、実際触ってみると、サクサクといい感じの可視化ができるので、データの概要を掴むのに良さそ…

はじめに メモの管理は私の永遠の課題の1つです。 今回見つけたVSNotesがとても便利そうなので、使い方のメモを残します。VSNotes - Visual Studio Marketplace

はじめに E資格対として、今回はautoencoderについて考えてみます。 実装については以下のKeras Blogをそのまま使います。 blog.keras.ioちなみに前回はこちら。 t.marufeuille.dev

はじめに 超個人的な話題ですが、もう少しでE資格の受験日です。 そこで一通りのアルゴリズムの実装を見直していこうと思います。 特にディープ系はあまり自信がないので、コアになりそうなところを中心にしっかりやっていこうと思います。今回は畳み込みの…

はじめに 今回は以前解説した時系列モデルの1つであるARモデルを利用した異常検知についてまとめます。 ARモデルそのものについては、以下記事をご参照ください。t.marufeuille.dev

はじめに 今回はMLflowを使って機械学習の実験管理について少し試したのでまとめてみました。 本当はこのエントリが新年一発目になる予定だったのですが、諸事情あって別のエントリになりました

はじめに 今回は少し趣向を変えてスマホの話です。 先日Pixel4を購入して、元々契約していたauのSIMを入れましたが、どうしてもデータ通信の費用高いですよね。 この記事を書きはじめた日は実家に帰省しているのですが、なんと自分の寝室だとたまにwifiが切…