View profile

Weekly Machine Learning #221

Weekly Machine Learning #221
By piqcy • Issue #222 • View online
News:
PFNから、Pythonのフォーマットチェックを便利にしてくれるツールが公開されてました。個人的にはローカルでフォーマッタいずれかを実行し忘れてCIで止められるということがしばしばあったので、ありがたいです。PyTorchのプロファイラは便利そうです。特に、フレームワーク内でのボトルネックがわかるのはありがたいですね。GPT-3の応用が広がってきています。自然言語処理(というより事前学習済み言語モデル)の応用先とみると興味深いです。
Articles:
2Dからの3Dトラッキング予測はすごいです。2Dで行ける系の論文(Depth推定など)は多く発表されていますが、3Dトラッキングまで行くのはすごいですね(語彙が・・・)。久々にLSTMの活躍が見られたのも感慨深いです。データセットの品質は気になる研究です。マルチリンガル系の精度が低いのは、データセットの品質にも原因があるかもしれません。強化学習の報酬関数を置き換える話は面白いです。表現学習の流れを受け、明示的な関数デザインではなく状態の近さで報酬を組む研究はこれからも発表されそうです。内発報酬やカリキュラム学習での使用は既にあったと思います。
Resources:
深層学習の原理を明らかにする理論のスライドはとても分かりやすいです。わかりやすくするためにかなり思い切って詳細を省いていて、作成にはかなり苦心されたのではないかなと思います。有害コンテンツの検証に関する記事は、ここまでまとまったものは初めてでないかと思います。BERT以後の研究動向は良くまとめられている記事です。これまでの研究を知るだけでなく、今後の研究動向を整理するのにも役立つと思います。
Listeners:
引き続きお便りを募集しております。pysenやPyTorchのProfiler使ってみたぜ、という記事を書かれた方がいたら、ぜひ掲載させていただきたいのでご連絡ください!
Twitterハッシュタグ: #weeklyml
Improvement
Weekly Machine Learningは機械学習に関わる開発者/研究者の方を応援するメディアでありたいと考えています。
そんなわけで、紹介コンテンツに「from」の記載を始めました。記事やOSSだけでなく作成者の方へも注目が集まることで、活動している方が活動した分だけ評価されるようにしたいと考えています。論文まとめは、まとめた方をfromにしています。が、著者にするか著者とまとめた方を併記するか悩み中です。arxivtimesのタグが付いたリポジトリはWatchしてますので、まとめリポジトリを持っている方ぜひarxivtimesタグをつけて頂けるとうれしいです!
なおメールマガジンのフォーマットが変更になりました。メルマガを配信しているプラットフォームで以前のフォーマットが非推奨になったためです。ちょっとフォントがいけてない気がしますが、ご容赦ください。
新年度もWeekly Machine Learningをよろしくお願いいたします!

News
GitHub - pfnet/pysen: Python linting made easy. Also a casual yet honorific way to address individuals who have entered an organization prior to you.
Introducing PyTorch Profiler - the new and improved performance tool | PyTorch
GPT-3 Powers the Next Generation of Apps
Articles
Resources
深層学習の原理を明らかにする理論の試み
Recent Advances in Language Model Fine-tuning
Offline Reinforcement Learning - Speaker Deck
BERT以降の事前学習済みモデルのトレンドと主要モデルを紹介! Part 1 学習方法編 - ELYZA Tech Blog
新型コロナウイルス関連の不満アンケートデータを研究用データセットとして提供開始 - 国立情報学研究所 / National Institute of Informatics
NLP2021 スポンサー賞選考の報告 – Tech.D-ITlab | Denso IT Laboratory researcher's blog sites
Listeners
冒頭の通り、Weekly Machine Learningは機械学習に関わる開発者/研究者の方を応援するメディアでありたいと考えています。
論文・OSS・記事・イベント(学会含む)を多くの人に知ってもらいたい、こんな情報が欲しい、という場合はぜひListenersのお問い合わせよりご連絡ください。
Did you enjoy this issue?
Become a member for $5 per month
Don’t miss out on the other issues by piqcy
piqcy
By piqcy

make machine learning engineer and researcher more cheerful

You can manage your subscription here.
If you were forwarded this newsletter and you like it, you can subscribe here.
Powered by Revue