View profile

Weekly Machine Learning #223

Weekly Machine Learning #223
By piqcy • Issue #224 • View online
News:
Googleから自然言語処理のモデルを分析・可視化できるツールが公開されました。単純な表現の可視化だけでなく(この機能自体はTensorBoardにもあります)、性能が出ていないサンプルや判断根拠の可視化ができるようです。ぜひ使ってみたいですね。日本語版GPT-2の公開は朗報です。生成系のモデルはこれまでなかった?と思うので、公開にはとても意義があると思います。
Articles:
小リソースの場合に使える自然言語処理の手法のサーベイは要チェックです。体系的なまとめはこれまであまりなかったと思うので、貴重だと思います。生科学への言語モデルの応用はAlpha Fold2を始めとしてどんどん進んできていますね。系列を学習し未来を予測する、言語モデルのスタイルは学習の本質的な部分をついているのかもしれません。
Resources:
自然言語処理の表現学習の本はお勧めです。OpenAccessなのはありがたいですね。日本語版T5の公開はとてもありがたいです。記事を見ると学習にはGoogle Colabを駆使したようです。大規模だから~とあきらめずに、何でもチャレンジしてみるものだな思いました。
Listeners:
引き続きお便りを募集しております。桜はもう見納めでしょうか。まだ意外と寒い日があるので要注意ですね。
Twitterハッシュタグ: #weeklyml

News
rinna、日本語に特化した「GPT-2」の言語モデルをオープンソース化 学習済みモデルも公開 - ITmedia NEWS
Articles
Resources
Representation Learning and NLP | SpringerLink
GitHub - thunlp/OpenMatch: An Open-Source Package for Information Retrieval.
Listeners
先週のアクセスランキングは以下の通りでした。今週のGPT-2をはじめ、日本語リソースの提供はとてもありがたいですね。
  1. 日本語話し言葉BERTを作成、公開します!
  2. 検索技術の情報交換Slack
  3. PyTorch Profilerを使ってみた
Did you enjoy this issue?
Become a member for $5 per month
Don’t miss out on the other issues by piqcy
piqcy
By piqcy

make machine learning engineer and researcher more cheerful

You can manage your subscription here.
If you were forwarded this newsletter and you like it, you can subscribe here.
Powered by Revue