View profile

Weekly Machine Learning #214

Weekly Machine Learning #214
By piqcy • Issue #215 • View online
News:
spaCy 3.0が公開されました。Transformerベースのパイプラインが使えるようになり、カスタムモデルも相まって開発の自由度が高まりました。Rayによる分散学習もサポートされ、大規模コーパスの学習も可能になりそうです。Microsoftが転移性能の高い画像認識モデルを公開しました。OpenAIとは異なるラベルデータを使用したアプローチで、今後どちらが主流になるか気になるところです。
Articles:
BERTの音声認識適用は興味深いです。Transformerの流行に比べて音声への応用は少ない印象でしたが(意外と難しい?)、これからどんどん出てくるのかもしれません。Informerは音声への応用が可能そうですね。ベンチマークとなるデータセットの自動生成は今後が気になります。データの生成と学習がセットになれば、モデルが自動的に成長していくようなサイクルが可能になりそうです。
Resources:
音楽とヒューマン・コンピュータ・インタラクションの研究はとても面白いです。個人的に興味がある領域だからというのもありますが、人とテクノロジーのかかわりという点で示唆に富んでいると思います。多様性のある検索もとても面白い議論だと思います。自然言語処理ではバイアスが問題になっていますが、検索におけるバイアスなどもこれから議論されるのかなと感じます(特定会社/意見しか推薦しないことによる影響・・・など)。
Listeners:
お手紙2件頂いたのでご紹介します。音声認識と、Transformer以外のモデルの発見についてです。

News
Release v3.0.0: Transformer-based pipelines, new training system, project templates, custom models, improved component API, type hints & lots more · explosion/spaCy · GitHub
OpenAI Fellows Program
Microsoft Vision Model ResNet-50 combines web-scale data and multi-task learning to achieve state of the art - Microsoft Research
Articles
Resources
[CCLab 20秋] 音楽とヒューマン・コンピュータ・インタラクション研究の動向と実践 | by Atsuya Kobayashi | Computational Creativity Lab at Keio SFC | Jan, 2021 | Medium
Diversity(多様性)のある推薦システムとは何か? | Wantedly Engineer Blog
Listeners
今週はお葉書を2つ頂きました。最初は議事録係さんからです。
はじめまして。初心者には大変勉強になり楽しみにしています。昨年の夏頃から自然言語処理を勉強しながら、PytorchでBERTを自分の業務に活かすなどを四苦八苦しながらしています。
ところで、先日、無料で音声文字起こしができる機能として、Google ドキュメントの音声入力と、Wordのディクテーション機能を試しました。結果、両方ともひどいものでした笑 特に、「あの~」などという場繋ぎ音も出てくるという。しかし、人の話す言葉は場繋ぎ音がめちゃくちゃ多いということがわかりました!
音声認識機能と、文字起こし機能には、多くの学習ポイントがありそうですが、このあたりの統合ってまだまだ先のあのでしょうか?ご教示くださると幸いです。
音声認識がまだまだ不完全なのでは、研究としてはどこまで進んでいるの?といったご質問です。Googleの音声認識は私も使用したことがありますが、昼過ぎの時間帯だとなぜかちょっと(倫理的に)読めないような文書になったことがあります。paperwithcodeで確認すると、最近はConformerwav2vec 2.0が有望株の印象です。前者はTransformer x 半教師、後者は教師なし学習を行っています。音声認識の分野でも教師なしデータで事前学習モデルを構築し転移、という流れが生まれているようで、そうなるとモデルの進化というよりデータの拡充がポイントになるかもしれません。今週BERT x 音声認識の論文がありましたが、詳しい方のご意見をぜひ伺いたいですね。モデルの精度は高いけど端末に組み込む際に制約が・・・みたいな話もあるかもしれません。
monthly_calmさんからは、1/23のTransformerに関しての感想を頂きました。
1/23のTransformerに関しての質問をみて、素朴な思いつきとしてAutoML/NASのようなアプローチでTransformerのような性質の良いモジュール構造を探すことは出来ないのかなと思いました。
こちらはそろそろ来そうだなと感じています。AutoMLといえばのQuoc V. Leさんが準備中かも・・・と思ったら、すでにThe Evolved Transformerという論文が発表されていました。現時点であまり顕著な改善はないですが、今後改善、あるいはEfficientNet/Detのように効率的なモデル探索に使われるかもしれません。Evolvedは2019年だったので、今ならもっと新しいものがあるかも。ご存知の方はお便りお願いします!
Inquiry:
Twitterハッシュタグ: #weeklyml
Did you enjoy this issue?
Become a member for $5 per month
Don’t miss out on the other issues by piqcy
piqcy
By piqcy

make machine learning engineer and researcher more cheerful

You can manage your subscription here.
If you were forwarded this newsletter and you like it, you can subscribe here.
Powered by Revue