View profile

Weekly Machine Learning #232

Weekly Machine Learning #232
By piqcy • Issue #233 • View online
News:
OpenAIが少量サンプルで機械学習モデルのバイアスを矯正できる手法を発表しました。100サンプル以下の転移学習で効果が得られたとしています。事前学習済みの言語モデルはパラメーター数が非常に多いため、これだけ少ないデータ量で効果が得られるのは驚きです。
Articles:
テーブルデータにTransformer x 事前学習の仕組みを入れる研究は興味深いです。テーブルデータにも、膨大なデータを事前学習して転移学習するというパラダイムがやってくるかもしれません。実務での活用という点では、テーブルデータで活用が進むのはインパクトが大きいですね。Data Augmentationはどこまで有効化の研究は衝撃的です。NLPでも同様の結果が出るか気になります。テキスト分類のAugmentationは試したことがありますが、やりすぎると過学習してしまいましたね。
Resources:
TensorFlow Extendedを使った実験基盤の話は参考になります。今ちょうどTensorFlow Extendedに関する書籍のレビューをしているのでタイムリーでした(発売までお待ちください!)。Pythonでインタラクティブコンテンツを作る記事は目移りしてしまいますね。これだけライブラリが出ていたのかと驚くばかりです。Weekly Machine Learning読者の方でも多分知らないものがかなりあると思うので、ぜひ見てみてください!
Listeners:
先週ニューラルネットがが出てくる小説を紹介しましたが、他にそうした書籍が他にないか気になっています。AIが出てくるのは多いですが、例えば「畳み込み」とか「注意機構」が字面として出てくる書籍はまだあんまりないかと思います。ご存知でしたらぜひご連絡ください!
Weekly Machine Learningは機械学習の開発者・研究者を応援するメディアを目指しています。掲載記事の選択や記事執筆に興味がある方がいたら、ぜひご連絡いただければと思います。
Twitterハッシュタグ: #weeklyml

News
Improving Language Model Behavior by Training on a Curated Dataset
Articles
Resources
CyberAgent AI Labを支えるCloud実験環境 - Speaker Deck
Dynamic scientific visualizations in the browser for Python users – xcorr: comp neuro
Building Effective Data Science Teams | RStudio Blog
GitHub - jtpio/jupyterlite: Wasm powered Jupyter running in the browser 💡
Listeners
先週では流星画像の検出が1位でした。これからの季節にいいですね・・・と思いつつ、梅雨入りすらしていない事実に衝撃を受ける今日この頃です。Facebookのデータセット公開はあまりクリック数は伸びませんでしたね。多言語NLPはまだ注目度が低いのかも。気候変動のウェビナー紹介は5位にランクインしていたので、興味を持ってくれる方がもっと増えてくれるとよいな~と思っております。
  1. Python+OpenCVで流星群画像を仕分ける (77click)
  2. ZOZO研究所が実施する「検索/推薦技術に関する論文読み会」 (73click)
  3. 少量の計算資源でも利⽤可能な ⾃然⾔語処理モデルを⽬指して (40click)
Did you enjoy this issue?
Become a member for $5 per month
Don’t miss out on the other issues by piqcy
piqcy
By piqcy

make machine learning engineer and researcher more cheerful

You can manage your subscription here.
If you were forwarded this newsletter and you like it, you can subscribe here.
Powered by Revue