明けましておめでとうございます。
また新しい1年が始まりました。
昨年は初めてブログという形でこの自然言語処理のサイトを始めました。
今年も何か世の中の役に立てること、そして自分の成長に資することを始めていきたいと思っています。
あまり役には立たないかもしれませんが、今年はまず日々の勉強について週一から月一ぐらいで綴っていこうかなと思いました。
勉強
早速1月1日の始まりは、近くのスタバで勉強を始め、まずはOpenAI GPT3論文「Language Models are Few-Shot Learners」の続きを読みました。
「3.9 Synthetic and Qualitative Tasks」が非常に面白いです。
何で巨大モデルで巨大コーパスを使って事前学習しただけで、コーパス中にはなかった3桁足し算や引き算ができるようになるのだろう、と感心します。
しかも、事前学習コーパスには3桁の足し算・引き算はほとんどなく、記憶しているわけではないとのことです。
他にも造語の説明文を与えて、それを使った文章を作らせると、本当にうまく文章が生成されていたりします。
まだまだ、読めてない箇所はありますが、とりあえず読んだところまでをまとめて記事を修正したので、読んでいない方は是非とも読んで欲しい内容です。
最近は(といっても結構前からですが)Daigoの本に影響を受けて『インターリービング学習』を取り入れていてます。
だいたい2時間勉強をすると、3種類の勉強をしており、今回は①GPT3と②財務分析の勉強と③ELECTRA論文の記事作成を20分ずつ、2クール回しました。
3つの勉強をするので一日の進む量は少なくなりますが、この方が脳への刺激が強く、学習効果が高いそうです。
また、20分という短時間に区切るので、非常に集中して学習することができるので、すごくおすすめです。
話は戻って、財務分析は年末にAmazonで頼んでおいたこちらの本を使用しました。
まずは、1章の「財務分析とは」をさらっと読み終え、第2章の「収益性分析」を読んでいます。
財務分析については、私はもともと銀行員ということもあり決算書を読むのには比較的慣れていますが、銀行業務検定や証券アナリストのテキスト以外で本を使って勉強するのは実は初めてです。
新しいことを勉強するのも楽しいですが、実務を通じてのみ知っていることについて、しっかりと体系的に学ぶのは非常に楽しいですね。
内容的には特段目新しい指標や分析方法はありませんが、今後分析方法を検討していくに当たって、重要な部分を確認しています。
この内容は【データ分析実践】の記事としていつか紹介したいと思っています。
あとは、ELECTRAの論文(ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators)を読みました。
こちらは、モデルの仕組みはBERTと同じですが、事前学習の方法をMasked Language Modelから少し変えて、generatorが[MASK]の部分の単語を予測して書き換え、discriminatorがどの部分がgeneratorによりオリジナルの単語から変更されているか？を予測するという事前学習にしています。
discriminatorがELECTRAになるのですが、BERTのように[MASK]された部分だけを学習するのではなく、すべての単語について自然な単語か？を考えながら学習することで、学習効率が高まるというものです。
だいたい内容は把握しましたが、これを記事にしていくにはもう一度じっくり読んで、よくわからなかったところを解決していかなければなりません。
続いて1月3日(日)は、自宅でLinuxの勉強です。
私の社会人のスタートはシステムエンジニアで、最初のプロジェクトではUnixを使っていたのですが、それからかなりの年月が経ち、基本的なコマンド以外はほぼ忘れている状態です。
ただ、やっぱりこの業界に戻ってきて、Linuxの知識は必要だと感じているので、改めて勉強を始めています。
本はこちらを使っています。
Chapter1の「Linuxを使ってみよう」から始まり、Chapter2の「シェルって何だろう？」、Chapter3「シェルの便利な機能」、Chapter4「ファイルとディレクトリ」、Chapter5「ファイル操作の基本」まで読み終わっています。
こちらはのんびり時間を掛けて勉強していくつもりです。
ところで、よくよく考えるとSE時代に多少Unixを使っていましたが、本を使って勉強はしていなかった気がします。
C言語やJavaといったプログラミング言語や、オブジェクト指向、ネットワーク、データベースなどについては本で勉強していましたが、OSについては勉強していませんでしたので、こちらも改めて体系的に勉強すると非常に面白いです。
今は本だけでなくUdemyやCourseraなどのオンライン学習プラットフォームも充実していますし、インターネットで調べればどういったサイトがあるかを調べられるので、非常に勉強がしやすいですね。
と、そうこうしているうちにもう1月10日になってしまいました…。
1月3日以降は、財務分析のツールを作成していたのであっという間に時間が経ってしまいました。
ということで、まだ1年が始まったばかりですが、今年もしっかりとインプット・アウトプットを行い、楽しい1年にしたいと思います！！
読んだ本
現代の文明病から引き起こされる問題について解説し、それに対応する方法が書かれています。
人間は、300万年以上もかけてゆっくりと進化してきましたが、ここ7000年前くらいから農耕が始まり生活様式が一変します。
それまでは色々な木の実や肉など様々なものを食べてきましたが、突然米や小麦ばかりを摂取するようになりました。
そしてさらにここ100年程度で急激に生活様式が変わり、デスクワークが中心のほとんど動かない生活になりました。
よく言われることですが、こういった生活様式に対して、人間の進化がついていっておらず、人間の体はまだ狩りをして走り回り、木の実を食べているときの体なのです。
現代では、有酸素運動や筋肉を使う運動が大幅に減り、1日中座っていることが多くなっていますが、一方で摂取カロリーは原始時代と比べて大幅に増加し、米やパンなどといった精製穀物を大量に摂取しています。
さらに仕事のプレッシャーは大きく慢性的なストレスにさらされており、長時間労働に伴って睡眠時間が減り、寝る前にスマホやパソコンなどの人工的なライトを大量に浴びることで睡眠の質が低下したりしています。
こういった進化のミスマッチが、現代の体調不良、集中力・記憶力・判断力の低下などの様々な問題を引き起こしているということです。
健康ももちろんそうですし、集中力等の低下は自分のやりたいことを考えると致命的なので、少しでも改善したいと思います。
ここに書かれていることのほとんどはすぐに実践可能ですので、早速生活に取り入れ少しでも集中力や生産性を改善しより良い生活を送っていきたいと思います。
早速、デスクには観葉植物を置き、少しでも自然を感じられるようにパソコンの壁紙をキャンプ場の自然にあふれた画像に変えました(笑。でもそういったものでも効果があるということです)