View profile

Weekly Machine Learning #215

Weekly Machine Learning #215
By piqcy • Issue #216 • View online
News:
StanfordのHAIで、言語モデルの利用に関する規約・原則について研究者の間で議論がありました。このあたり、日本ではあまり議論されていないように感じます。言語モデルを作れるのが海外企業/研究機関に寄っているというのは事情としてありますが、各国で議論がされてもよいのではないかと思います。Hugging FaceでWav2Vec2が使用できるようになったのは大きいと思います。音声 x 言語の表現が手軽に使えるようになれば、いろいろできそうなことが増えそうです。
Articles:
Transformerを動画認識に適用する研究が発表されました。時間・空間軸で別々にAttentionを行う点がキーになっています。MicrosoftのDeBERTaもコンテンツと位置で潜在表現を分けていました。こうした属性別にAttentionを分ける手法は今後増えていくかもしれません。枝刈りの手法をまとめたサーベイは、過去の論文までさかのぼり調査しておりかなりの力作です。冬の時代を超えて脈々と研究されてきたんだなという歴史を感じることもでき興味深いです。
Resources:
JAXに関する記事を2件掲載しています。実装を見ましたが、かなりシンプルに書くことができよさそうです。PyTorch/TensorFlowに飽きたな、という方は頭の体操がてら使ってみるのもよいと思います。pyTestの記事は読みごたえがあります。例外のテストやモックを使った外部接続のテストは最初面倒ですが、やっておくと自分を助けてくれるので(実感のある言)、面倒がらずにテストしておくことをお勧めします。
Listeners:
気づけば言語処理学会が迫っていますね。注目している発表やテーマがあれば教えて頂きたいです。

News
How Large Language Models Will Transform Science, Society, and AI
facebook/wav2vec2-base-960h · Hugging Face
Articles
Resources
Gradient-Based Optimization of Hyperparameters | Neural Computation | MIT Press Journals
Evolving Neural Networks in JAX - Rob’s Homepage
pytest ヘビー🐍ユーザーへの第一歩 - エムスリーテックブログ
Listeners
先週議事録係さんから音声認識に関するお便りをいただきましたが、さっそくHugging Faceでwav2vec2が使えるようになりましたね。チュートリアルを見てみると一応文字おこしできそう?です。教師なしなので、そのうち多言語のモデルが出てくるのに期待です。
言語処理学会まであと約1ヵ月、気になるテーマや発表などがあればぜひ取り上げてみたいと思いますので、ご連絡お待ちしております。
Inquiry:
Twitterハッシュタグ: #weeklyml
Did you enjoy this issue?
Become a member for $5 per month
Don’t miss out on the other issues by piqcy
piqcy
By piqcy

make machine learning engineer and researcher more cheerful

You can manage your subscription here.
If you were forwarded this newsletter and you like it, you can subscribe here.
Powered by Revue