View profile

Weekly Machine Learning #219

Weekly Machine Learning #219
By piqcy • Issue #220 • View online
News:
契約書にアノテーションを行ったデータセットが公開されました。事前学習済みモデルから転移学習したモデルでは一定の精度はでるものの、まだまだ実用レベルではないとのことです。実応用のための「ラストワンマイル」を埋めるためのデータセットが公開されることはとても意義深いです。日本でも、また契約書以外のデータセットも公開されてほしいですね。PFNのアニメーションを効率化する応用は、日本の得意な職人芸と技術が合わさった良い試みだと思います。
Articles:
文字列をユニコード文字列として扱う研究は注目です。文字ベースのモデルでは入力長が長くなりすぎる、また単語/単語間の関係が取れないという弱点をSelf-Attention/CNNで克服しています。文字の連なりの意味をモデル内でとらえているため、形態素解析が組み込まれたモデルと見ることもできると思います、これでマルチリンガルなモデルができたらすごいでですね。グローバルワークスペースのアイデアをNNに応用する研究は興味深いです。ペア以上の関係をとらえる機構は今後いろいろ出てきそうです。
Resources:
Hugging Faceで音声認識の事前学習済みモデルが使えるようになりました。多言語版もあるのはアツいです。機械翻訳のコンペティションに参加した記事は、最先端モデルで一番必要なものを知ることができます。実際に額で出てくると問題の大きさを痛感します。研究の進め方のスライドは、研究者だけでなく社会人にも通じるノウハウが掲載されています。特に他社、大きい会社であれば他部門の人とつながりがあること、本業以外のプロジェクトに参加していることはメンタルキープに有効と思います。
Listeners:
先週頂いたお便りへの回答を頂いたのでご紹介します!
Twitterハッシュタグ: #weeklyml

News
GitHub - TheAtticusProject/cuad: CUAD
東映アニメーションとPFN、AI技術によるアニメ制作効率化の実験的取り組みを共同で実施 | 株式会社Preferred Networks
Articles
Resources
Fine-Tune XLSR-Wav2Vec2 for low-resource ASR with 🤗 Transformers
The Politics of Images in Machine Learning Training Sets
機械翻訳コンペティション参加報告 - Speaker Deck
Introduction to Hyperparameter Sweeps using W&B
2020.06.01 M1勉強会 論文の読み方・書き方・研究室の過ごし方 - Speaker Deck
Listeners
先週begin kaggleさんより頂いたお便り「MLの基礎学び直し」について、ご意見を募集したところ書籍などを教えて頂いたのでご紹介します。@yuki_pnnさんに教えて頂いた「プログラミングのための~」は中身を見てみましたが、直感的に解説されていてわかりやすかったです。
@simonritchie_sdさんに教えて頂いた「Doing Math with~」はGitHubにコードが公開されており、手を動かしながら学べます。
Doing Math with Python | No Starch Press
ミートアンドチップスさんから頂いたデータ量に対しモデルサイズをどう決めるか、というご質問ですがなかなかこれといった研究が見つけられませんでした。
@AkiraTOSEIさんからは、ドメイン固有の対策をしてからモデルサイズの異なるモデルをいろいろ試してみる(モデルサイズの調整は最後)というご意見を頂きました。
私自身は事前学習済みモデルや既存のモデルをカスタマイズして使うことが多いので、サイズを決める瞬間があまりないです。こうしてる~という方がいれば、ぜひ情報頂ければと思います。
Did you enjoy this issue?
Become a member for $5 per month
Don’t miss out on the other issues by piqcy
piqcy
By piqcy

make machine learning engineer and researcher more cheerful

You can manage your subscription here.
If you were forwarded this newsletter and you like it, you can subscribe here.
Powered by Revue