View profile

Weekly Machine Learning #210

Weekly Machine Learning #210
By piqcy • Issue #211 • View online
News:
OpenAIから衝撃的な研究成果が出てきました。テキスト/画像をならべてTransformerにいれたら高精度な画像生成とZero-shotができるモデルができちゃったというものです。もはや異世界転生物のようですね。特にDALL·Eの結果は驚きました。GPT-3の時様々な報告を眉唾として見ていましたが、これはいよいよ本物かなと感じました。この調子なら、機械学習は農業のようになりそうですね(いい種(=データ)を植えて、育つのを待つ)。
Articles:
1ネットワーク内のモジュールを個別に学習させる手法は最近よく見ます(GradAugなど)。今年のトレンドになるかもしれません。コンセプトの中継は面白いです。OpenAIのCLIPのように、冗長なラベルで学習したモデルを転移に使うとこういうこともやりやすいですね。画像=>テキスト特徴=>クラスラベルという構成なら、テキスト特徴から文書を取り出せます(カラスの画像を入力して得られたテキスト特徴をDecodeしたらa bird with black featherが出てくるなど・・・)。モデルに根拠を「説明させる」仕組みは目の前まで来ているかもしれません。検索システムの研究は実践的です。FacebookがDenseベクトルを使いQAで多くの成果を出していますが、これが実用に入ってきている印象です(というかこの研究もFacebookだった)。
Resources:
Hugging Faceのdatasetが新バージョンを公開しました。多いのもいいのですが、多言語なのもうれしいですね。まだあまり数はないですが、日本語データセットもあります。今まで公開したデータセットもここに登録しようかなぁなどと考えたりもします。オンデバイスで空を飛ぶEpiSciはすごいですね。ここまでくると倫理的な問題も出そうですが、もはや機械学習で動かせないものはないんじゃないかと感じるほどです。
Listeners:
さっそくお便りをいただきました!

News
OpenAI Multimodal Research
コンピュータビジョン(CV)の動向 2021:新春特別企画|gihyo.jp … 技術評論社
Articles
Resources
GitHub - huggingface/datasets: 🤗 The largest hub of ready-to-use NLP datasets for ML models with fast, easy-to-use and efficient data manipulation tools
Red 6 and EpiSci Accomplish World’s First Live Dogfight Against An AI Driven Virtual Aircraft
Listeners
先週からお便り募集を始めましたが、さっそくakiraTOSEIさんからお便りをいただきました。
「機械学習の勉強を独学で始めた頃(2018年~)から毎週欠かさず拝読させていただいております。掲載される話題が網羅的で、毎回とても勉強になります。
高品質な内容を毎週毎週欠かさずまとめるのは非常に大変なものだと推察致しますが、頑張ってください!
(微力ながら500円のスポンサーで陰ながら応援させていただいています。)」
スポンサーを頂き大変ありがとうございます!2018年だとちょうど直感Deep Learningの翻訳をしていたころだなと懐かしく思い出しました。こちらこそ毎週購読いただきありがとうございます。akiraTOSEIさんのように、独学で勉強を始めた方に伴走できていれば幸いです。物足りない、こんなトピックも扱ってほしい、などあればぜひご連絡ください。
Inquiry:
お便りお待ちしております!
Twitterハッシュタグ: #weeklyml
Did you enjoy this issue?
Become a member for $5 per month
Don’t miss out on the other issues by piqcy
piqcy
By piqcy

make machine learning engineer and researcher more cheerful

You can manage your subscription here.
If you were forwarded this newsletter and you like it, you can subscribe here.
Powered by Revue