ディープラーニング向けの特徴量の寄与を求めるIntegrated Gradientsの解説

本記事はQrunchからの転載です。


機械学習のモデルの出力に対する入力された特徴量の寄与を求める手法の1つに、Integrated Gradientsというものがあります。 Integrated Gradientsはディープラーニング向けの手法ですが、他のディープラーニング向けの手法では満たしていない公理(性質)をいくつも満たしているという点で優れています。 今回はそんなIntegrated Gradientsを解説します。

CNNで画像中のピクセルの座標情報を考慮できるCoordConv

CNNで画像中のピクセルの座標情報を考慮できるCoordConv

本記事はQrunchからの転載です。


CNNの表現能力の高さはすばらしいものがありますが、何でもうまくいくわけではありません。例えば、画像中の位置情報を考慮しないと解けないような問題は、通常のCNNではうまく対応できません(具体的な例はこの後説明します)。
このような問題に対応した手法としてCoordConvというものがあります。CoordConvは座標情報をCNNのなかに組み込む手法で、これを使うことで解けるようになるケースや性能が大きく改善されるようなケースがあります。また「効くか分からないけど、とりあえず組み込む」ということをしても、デメリットはそれほどありません。

安易に逆行列を数値計算するのはやめよう

本記事はQrunchからの転載です。


逆行列を使った計算というのは機械学習ではそれなりに出てきます。 例えば、最小二乗法では $$ x = (X^T X) ^{-1} Xb$$ の形の式を計算する必要がありますし、正規分布の分散を扱うときにも逆行列が出てきます。 こういうときにnp.linalg.invを使って逆行列を求めて、その後にベクトルとの積を求めるは簡単にできますから、特に何も考えずにそういうふうにしたくなります。

MinIOでローカルにS3みたいなものを作って開発する

MinIOでローカルにS3みたいなものを作って開発する

本記事はQrunchからの転載です。


AWSのS3を使うようなシステムを開発するときに、S3と連携する部分だけAWSにつなぐより、ローカルにS3が欲しいなぁってふと思いました。でもそんな都合が良い話があるわけないよなぁ、なんて思ったら実はありました!その名もMinIO。 今回はMinIOの使い方を簡単にご紹介します。とても簡単です。

BERTでおこなうポケモンの説明文生成

本記事はQrunchからの転載です。


概要

自然言語界隈では非常によく話題になるBERTですが、BERTを使った文生成を実装してみたので今回はその話をします。BERTの事前学習モデルが文生成のタスクで使えたら、比較的少なめの学習データでもそれっぽく文生成できたりしないかなぁと思ってやってみました。