あっという間に1月も半分近く過ぎてしまいました。
今まで自然言語処理を中心に論文の解説などをしてきましたが、最近は画像処理も読んでいこうかなと思っています。
というのも、『Vision Transformer』などTransformerが画像処理でも使われるようになってきているので興味があったことと、OpenAIによる『DALL・E』や『Image GPT』の結果が非常に面白く(これらもTransformerを使っていますが)、ちょっと勉強してみようかなと思ったことがきっかけです。
画像処理については、CourseraでAndrew Ng.先生の講義「Deep Learning」を受けただけですので(めちゃくちゃわかりやすいですが)、Alex Net、VGG、ResNetで知識は止まっています。
ただ、論文を読んでいる感じだと、アーキテクチャはそれほど大きく変わっていないみたいですね。
ということで、とりあえず『Image GPT』の論文を読み始めました。
論文ではないですがOpenAIによるImageGPTの記事にあるサンプルが非常に面白いです。
モデルのインプットは上半分だけにして、残りを生成するというものです。
自然言語処理のGPTでは、文章を途中までインプットしたり、ニュースのタイトルをインプットしたりして、その続きやニュース記事を生成していましたが、それとやっていることと同じですね。
一番左がインプットで、一番右が本物の画像です。
本当によくできていますね。2行目の猫の例なんかは想像力がすごいです。
今はこの論文の解説記事を書いています。
あと、自然言語処理では『ELECTRA』の記事が完成したので投稿しました。
GANのように、generatorがマスクした単語を予測するように学習し、その単語を予測した単語で置き換えます。
そして、dicriminatorがどの単語が置き換えられた単語か？を学習することにより、[MASK]の位置の単語だけでなく、すべての単語について違和感がないかを考えるので、学習効率が良いというものです。
これにより、小さなサイズでもBERT-Baseと同じサイズで、BERT-BaseはもちろんBERT-Largeの精度まで上回っています。
(このレベルの人たちは本当に賢いですねぇ)
今日からテイストを変えてこちらの本を読もうと思います。
仕事でも本サイトの記事でもよく文章を書きますが、やっぱり文章をうまく書きたいですね。
パラパラっと書店で立ち読みしたら、なるほどーという感じだったので早速購入しました。
軽くこの本を読んで今日はもう寝ようと思います。
読んだ本
私は小さい頃はほとんど読書をせず、母親からも「ちょっとぐらい本を読みなさい」と言われ本を与えられ続けてきましたが、なぜか年々読書量が増えて、今では気が向いたときに5, 6冊まとめて購入し、寝る前や土日の昼間にそれなりの量を読むようになりました。
ただ、読んだもののほとんど覚えていない、もしくは何の役にも立っていない、ということも多いです。
そこで、『「本の読み方」で人生が思い通りになる』ということだったので購入してみました。
この本には、読書がもたらす効果、そして本を単に読むだけでなくそれをビジネスや実際の生活に活かせるような本の読み方が書かれています。
著者は1日に2冊本を読み、そしてYoutubeに毎日解説動画をあげるというなかなかの強者です。
「同じジャンルの本を4冊読む」
確かに同じ意見や説明があれば記憶に残りますし、違う視点であればそれはそれで
4ステップで4回読む
以下の4つの方法で読んでいきます。
- 予測読み
- 断捨離読み
- 記者読み
- 要約読み
断捨離読みは2割の部分に集中して、それ以外は捨ててしまうという方法です。
2割を詳しく知ることで、全体の8割が理解できるということです。
私はあれもこれも読んでしまい、結局どれもいまいち覚えていないということがあるので、試してみようと思います。
要約読みは、内容の3つから5つについて要約するという方法です。
当然ですが、まとめるという作業とアウトプットするということは理解の手助けになりますね。
本書にも「講義を受けるだけだと記憶の定着率は5%、読書するだけだと10%、人に教えると90%になる。」という話があります。
1回読んで終わりというわけではなく、重要だと思ったところは色んな方法で読み返し、アウトプットするということが重要とのことです。
早速、4ステップの読書法を試して、ビジネスや生活に役立てていきたいと思います。
なお、本書の最後には著者がオススメする30冊の本の紹介もあります。
いくつか読みたいものがあるので、さらに本が積まれていきそうです…。
こんな本ばかり読んでいますが…。
社会人は勉強しなさすぎ！毎日少しずつ勉強しなさい！という本です(ざっくりすぎ)。
太く短くよりも細く長く
まさに1日30分でいいから、長く続けなさいというものです。
そういう意味では、私自身は出社前の7:00～9:00の2時間のがっつり勉強と(休憩含む)、夜の1時間の読書はしているので、そこそこしている方だと思いますが、一時期は朝5時に起きて勉強をしようとしていましたが、続きませんでした…。
やっぱり無理なく続けるのが一番ですね。
1日1日の差は小さいけど、これが1年、5年、10年と続くと大きな差になってくるとのことです。
身銭を切る
これは著者の経験からですが、「身銭を切らない人の吸収率はほぼゼロ」だそうです。
投資するのでその分頑張るというものですね。
私も本とUdemyには結構お金を使っているので、その分は取り返したいと思っています(笑)。
まぁ、純粋に楽しいので取り返せなくてもいいという気持ちもなくはないですが…。
時間の捻出はテレビを見ないこと
私はテレビは見ません。
が、YouTubeは見てます(笑)。
そうですね、反省です…。
ただ、YouTubeを見てるのはどうなんだ、というのはありますが、確かにテレビを見なくなって時間が増えた気がしますね。
このブログを書いている時間もあります。
効果的な勉強方法
休憩をしっかりとる、気持ちいい状態で勉強する、疲れたら違う科目を勉強する、など色々あります。
私も勉強時間が長くなってきてから、休憩を細かく取ったり勉強の内容を15分～20分区切りで変えるようにしたことで、集中力が上がりましたね。
などなど、他にも英語の勉強法(著者の方は英語スクールを運営されています)などが書かれています。
とにかく、ずっと勉強を続けていこうと思います。楽しいですし。
ただ、若い頃にもっと色んな種類の本を読んでおいたら良かったなぁと思います。
昔は食わず嫌いをしていた部分が結構あり、損をしたなぁと思うことがあります。
後悔しているわけではないですが、あの頃こういう本を読んでたらまた違っていたかもな、とよく思います。
特に、あまり興味のないものも読んでみると、意外と大きな発見があって人生を変えてしまうかもしれません！！