View profile

Weekly Machine Learning #209

Revue
 
News: 2021年となりました。Weekly Machine Learningの登録者数は3000人を超えそうです。メディアへの掲載も頂き、非常にありがたく感じています(2017年からやってるような
 

piqcy

January 2 · Issue #210 · View online
All change is not growth, as all movement is not forward. Ellen Glasgow

News:
2021年となりました。Weekly Machine Learningの登録者数は3000人を超えそうです。メディアへの掲載も頂き、非常にありがたく感じています(2017年からやってるようなのでもうすぐ4周年ですね)。
新年で特に変わるということもないですが、はじめた時からいつか「旅行ガイド」のような存在になれたらとは考えていました(arXivTimesも)。当初はまず日本語の情報がないうえに体系だった情報も少ないという暗黒迷宮みたいな状態でした。今では大分改善されましたが、みんながよく通るところしか地図がなくて一歩脇道に行こうとすると泥沼みたいな状態は続いていると思います。「チュートリアルから先のガイド」を意識していきたいです。ただ私がカバーできる範囲は限界があるので、皆さんの力も借りたいと考えています。そこで今年からInquiryの項目を新設しました
ラジオの投稿よろしく悩み相談やご意見を受け付け、掲載OKのものはリスナーからのお便りのようにWeekly Machine Learning上で紹介します。そうしたらきっと誰かTwitter上で教えてくれるはず(ハッシュタグ#weeklymlでお願いいたします)。もちろん、私も可能な限り回答させて頂きます。新型コロナで勉強会も難しくなっているので、知見交換の一助になればと考えています。
Articles:
画像へのTransformer応用が進んでいます。単なる応用だけでなく、効率化の話も出てきましたね。2021年さらに加速していく分野だと思います。発端となった自然言語でも効率化が進んでいますね。Positionとcontentに表現を分割するのは面白いと思います。disentangleな表現は画像の方が進んでいるので、画像からの輸入があるかもしれませんね。グラフ表現の応用は久々に見ました。こんへん、結局Self-Attentionじゃん?となって統合されるのかGNNみたいなものは残るのか気になるところです。
Resources:
PyTorchのチュートリアルはとてもよくできています。英語ができるならチュートリアルを一通りやれば大体わかる、という状況に来ているなと感じます。日本語訳もどんどんされているので、王道の教材は整備されていると思います。ただ、チュートリアルの敷居を下げすぎてチュートリアルから外れたことができなくなっているのでは?という気がしないでもないです。BigQuery上での自然言語処理は面白いです(ある意味執念を感じます)。現状でここまでできるなら、そのうち言語/画像特徴でGroup byするみたいなほんとに普通にSQLを書く感覚で機械学習が使える日が来るかもしれません。
Inquiry:
お便りお待ちしております!
Twitterハッシュタグ: #weeklyml

News
NotCo - food made with plants. Why not?
Articles
[2012.12877] Training data-efficient image transformers & distillation through attention
[2012.15460] TransTrack: Multiple-Object Tracking with Transformer
[2012.14388] Universal Sentence Representation Learning with Conditional Masked Language Model
[2006.03654] DeBERTa: Decoding-enhanced BERT with Disentangled Attention
Shortformer: Better Language Modeling using Shorter Inputs
[2011.12491] World Model as a Graph: Learning Latent Landmarks for Planning
Resources
Welcome to PyTorch Tutorials — PyTorch Tutorials 1.7.1 documentation
Reverse Engineering the source code of the BioNTech/Pfizer SARS-CoV-2 Vaccine - Articles
SQLで始める自然言語処理 - やむやむもやむなし
Data Scientist 向けに Wantedly の推薦基盤を支える Argo Workflow や Kubernetes などのインフラ、New Relic や Datadog などの SaaS を紹介する速習会をしました! | Wantedly Engineer Blog
Did you enjoy this issue?
 
Become a member for $5 per month
Don’t miss out on the other issues by piqcy
You can manage your subscription here
If you were forwarded this newsletter and you like it, you can subscribe here.
Powered by Revue