PyTorchを使って連続値制御の深層強化学習のSoft Actor Criticを構築する

前回、深層強化学習における連続値制御のモデル構築について書きました。今回は、その時に構築したモデルを改良し、精度向上に取り組みます。前回の記事をまだ見ていない方は、ぜひご覧ください。 www.dskomei.com 連続値制御の深層強化学習を改良するために…

PyTorchを使って連続値制御の深層強化学習を構築 〜Actor Critic〜

人間と同じように考える機械を作るのは、人間の大きな夢であり、それができるかもしれないと言われているのが強化学習の枠組みです。強化学習は、ディープラーニングを取り入れることでめざましく進化してきました。今回は、そのディープラーニングを使って…

Pytorchを使った深層強化学習!〜Actor Criticの構築〜

最近のレコメンデーションに関して調べていたら、レコメンデーションに深層強化学習( Deep Reinforcement Learning )が使われるようになったことがわかり、深層強化学習に関して再び勉強し始めました。 深層強化学習は、強化学習の際に Deep Learning を使…

PytorchのTransformersのT5を使って要約モデルを作る

インターネットの世界にニュースが溢れる昨今、満足度が高いものを的確に読みたいという方も多いかと思います。そのためには、見るニュースをどれにするか判断することが必要になります。そこで、ニュース全体の主旨を短い文章で表す要約の価値が高まってい…

Pythonを使って日本語の要約データを取得する

自然言語処理のタスクは、Transformer が現れて以来一段と盛り上がっています。これまで精度がいまいちだったタスクで、人間以上の精度になってきています。それは、文章の要約タスクでも同様です。文章要約は、与えれた文章の中で重要なワードや文を抜き取…

Pytorchを使って深層強化学習のモデルDQNを構築する 〜Deep Reinforcement Learning〜

囲碁や将棋のコンピュータって強いですね。初期レベルでも全然勝てなくて、何度待ったをしたことか。 このようなゲームでは、ある手段を選択すると、状態が変化し、次の状態に移り、再び手段の選択をするということを繰り返し、最終的な勝ち負けが決まります…

Pytorchを使ってテキスト生成モデルのT5を構築 〜Transformersでの転移学習による手軽な実践〜

近年、自然言語処理のディープラーニングの発展はめざましく、Transformer をベースとした BERT、GPT-3、T5 によって次々にこれまでの精度を超えるモデルが構築されています。そして、自然言語処理のタスクのラスボスと言ってもいよいテキスト生成において、…

PyTorch を使って Transformer による翻訳モデルを実践する

DeepL や Google 翻訳などの翻訳サービスは、既に人間以上の性能になっており、多くの人々が日常的に使用しています。このような翻訳サービスに使われている予測モデルは、BERT や GPT-3 によって近年精度が格段に上がりました。そして、これらのモデルのベ…

スパース(疎)なデータを非スパースに変換して、XGBoostを高速化

機械学習のモデルを作るときは、とりあえずXGBoostにしとけばよいでしょっていうぐらい、XGBoostが優秀です。ただし、XGBoostはある程度の精度のモデルを何も考えずに構築できる反面、他の機械学習モデルよりは実行時間が長くなります。モデルの学習時間が長…

ディープラーニングを使った因果推定 〜SAMのアルゴリズムを理解する〜

近年、機械学習のアルゴリズムは目覚ましい発展を遂げ、機械学習を使ったサービスが広まっています。そして、今後も機械学習は注目され、さらなる成長が起こるでしょう。しかし、それと共に機械学習のモデルは大きくなっており、予測結果がブラックボックス…

Pythonを使ったデータ加工 〜Pandasによる主要な前処理〜

データの取得から担当者への結果報告というデータ分析の一連のプロセスで最も時間がかかるのはデータの前処理です。平均や標準偏差などの何かしらのデータ集計を行うにしろ、機械学習モデルを作成するにしろ、それらを行う前にデータの前処理が悠然と壁にな…

Pythonを使って時系列データを予測する状態空間モデルの実装 〜トレンド、季節周期、自己回帰を状態とする線形ガウスモデル〜

状態空間モデルは、観測できない状態を推定し、その推定した状態から観測値を予測するモデルです。観測できない状態の形を指定できるため、季節周期やトレンドを表す状態のモデルを構築でき、それぞれの成分に分解できます。これにより、ブラックボックスに…

Pythonを使って状態空間モデルを実装する 〜線形ガウスモデルのトレンド推定モデル〜

状態空間モデルとは、時系列データにおいて、見えない状態を推定し、その推定した状態から観測値を求めるモデルのことです。状態を介して観測値を予測することにより自由度の高いモデルとなっています。状態の表現力の高さは凄まじく、トレンドや季節成分、…

『AIの時代と法』の感想

AIの開発とは、ユーザのデータからカテゴリの分類や値の推定を行うモデルを作ることであり、そのときに使う主なデータがアクティビティログ(ユーザの行動履歴)やユーザの属性情報です。それらのデータを使うことでユーザ自身が気づいていない癖が見え来る…

Pythonを使って多変量時系列データの因果関係を可視化 〜インパルス応答関数〜

多変量の時系列データの良いところは、データから因果関係わかることです。その一つが今回テーマとするインパルス応答関数です。ざっくりいうと、変数の変化が他の変数に与える影響を見ることで因果関係を確認できるようにします。 今回は下記の図のようにイ…