Oct 9, 2021

Weekly Machine Learning #249

By piqcy • Issue #250 • View online

News:

Googleからフェデレーションラーニングをシミュレートできるライブラリが公開されました。プライバシーの観点からも注目されている研究分野で、OSS公開により研究が進むのではないかと思います。ガートナーから2021年のハイプサイクルが公開されました。チャットボットや自動運転が幻滅期に入っています。個人的には幻滅というより現実的になってきた、期待値と実際できることのずれがなくなってきた印象です。

Articles:

Transformerが強いのではなくパッチ入力が強いのでは?この疑問を投げかけている論文は要チェックです。こんなカーネルサイズは設定したことないですが、これで精度が出るとは・・・久々に「DNN全然わからん」と声に出そうになった論文ですね。ICLR2022レビュー中の論文です。オプティマイザ用のメモリ削減は、目の付け所が素晴らしいと思いました。今まで意識したことがなかったですが、確かに勾配の統計量を取るために値をリザーブしているので、その分容量は食いますね。

Resources:

本番環境でのドリフト検知は要チェックです。MLOpsに始まり、運用段階で要求される機能がどんどんOSSで出てきた印象です。Feature StoreなどもOSSが出てきていますね。McKinseyの機械学習をビジネスに適用するためのステップは興味深いです。とてもよく分析されているので、厚めに紹介しています。実験から本番運用に持っていこうとすると必要な技術スタックが増え、効果を上回る投資が必要になり、導入が立ち消えする・・・というのはありそうです。

Listeners:

Twitterでのアンケート回答を頂きありがとうございました！すごくばらけましたね。いろんなステージのチームがそれぞれに課題を抱えているのかもしれないですね。課題を掘り下げていくべく、機械学習の提案シチュエーションを伺ってますのでよろしければご回答お願いいたします！

✉Weekly Machine Learningへのお便りはこちら

📻Weekly Machine Learning スポンサー申込みはこちら($5/月)

Twitterハッシュタグ: #weeklyml

Weekly Machine Learningは機械学習の開発者・研究者を応援するメディアを目指しています。掲載してほしいイベントや論文があればぜひご連絡ください！

News

Google AI Blog: FedJAX: Federated Learning Simulation with JAX

Googleがフェデレーションラーニングを実験できるFedJAXを公開。中央サーバーから複数端末にモデルを配信、端末側でユーザー入力をもとに学習、更新したパラメーターを中央サーバーに送り本体のモデルを更新、が基本の流れだが、これらの処理を実現する関数、また検証用データセットが提供されている。(from Google AI)

ai.googleblog.com • Share

The 4 Trends That Prevail on the Gartner Hype Cycle for AI, 2021

ガートナーが2021年AI領域のパイプサイクルを発表。MLOpsが上り坂、アノテーションが下り坂、自動運転車、チャットボットが幻滅期のど真ん中に。(from Gartner)

www.gartner.com • Share

ICCV 2021 網羅的サーベイ参加フォーム

ICCV 2021 網羅的サーベイの参加申し込みが開始。申し込み期限は10/10（日）まで！(from cvpaper.challenge)

docs.google.com • Share

RecSys2021論文読み会（オンライン） (2021/10/23 13:00〜)

10/23に、RecSys2021の論文読み会が開催。レコメンドの改善などに興味がある方はぜひ！(from RecSys2021)

connpass.com • Share

Articles

Patches Are All You Need?

画像にTransformerを適用した時の精度が、モデル構造ではなく入力をパッチにすることに起因するとした研究。カーネルサイズ9、ストライド7というかなり大きい値でパッチ入力を模倣し、Depthwise/Pointwiseでパッチ間のMixを行うConvMixerを提案。同パラメータ数でViTより高精度。 (from arXivTimes)

github.com • Share

Figure2. ConvMixer

8-bit Optimizers via Block-wise Quantization

Optimizerに必要なメモリを削減することで、モデル本体に計算リソースを割けるようにする研究。momentumなどの計算用に確保しておく値をブロックに分け、ブロックごとの統計量を用い8bit量子化する。特にTransformer系モデルでは2G~のメモリ削減ができ、GLUEの性能も通常32bitに比べやや優位な結果。(from arXivTimes)

github.com • Share

Resources

Background — alibi-detect 0.7.3dev documentation

SeldonのAlibi Detectが、どのようにテスト環境で発生するデータドリフトを検出するか解説した記事。ドリフトとはそもそも何か、から解説してくれている。入力の分布、出力の分布、入出力の関係それぞれが変化する可能性があり、基本は検定やデータを圧縮したベクトル間の距離で検出する。(from Alibi Detect)

docs.seldon.io • Share

実臨床・Webサービス領域での機械学習研究開発の標準化 - Speaker Deck

多数寄せられる機械学習検証案件を捌くための工夫を紹介した記事。共通処理のライブラリ化や学習/推論パラメータの外部化でモデル開発/実験実行を標準化し、gokartによるデータ処理結果のキャッシュやKubernetesによる並列処理で高速に実験実行できるようにしている。(from Daiki Ikeshima)

speakerdeck.com • Share

The potential of machine learning in services operations | McKinsey

機械学習で業務改善を行うための4ステップをまとめた記事。1.単一の業務ではなくプロセス全体をEnd2Endで改善する方法に焦点を当てる、2.その時に必要な技術要素を選定する、3.OJTのように実環境で検証する、4.機械学習導入プロセスの標準化、のステップとなっている。(from McKinsey & Company)

www.mckinsey.com • Share

Exhibit 1: 業務プロセスを5つのフェーズに分けた時、適用可能な機械学習技術郡

Exhibit 5: Pilot、PoC、本番運用になるにつれ必要な技術要素が増える

flax/examples/ogbg_molpcba at main · google/flax · GitHub

FlaxとJraphでGNNを実装したサンプルが公開。いずれもJAXベースのライブラリで、Jraphはグラフ構造を扱うデータ型などを提供してくれる。サンプルでは分子構造から生物活性を予測するタスクを行なっている。(from Google)

github.com • Share

The XPF Corpus

テキストを音韻表現に変換するための文法を収録したコーパス。異なる言語に共通する法則を、音韻方面から探るために開発された。 200言語分が集められており、Python/JavaScriptから使うことができる。(from The XPF Corpus)

cohenpr-xpf.github.io • Share

Listeners

先週はAI自動作曲が1位でしたが、全体的にclickは少なめでした。Music Maker 2022は、音楽同人サークルkakuyadepthさんが試してみた記事を書かれていました。xfeatは、xfeat/AutoGluonで簡単にベンチマークを作る記事をatfujitaさんが公開されていたので、興味がある方は要チェックです。