GatorTron: 大規模臨床言語モデル
ChatGPT、相変わらず大人気です。
やばいな。
— Rik@予防医療 (@megikaya) 2023年1月6日
ここ数日ChatGPTで遊んでるけど、何もない状態から論文が大体書ける。現状では2021年代以降の文献がreferenceされないようだが、これはすぐに対応可能だろう。
疫学・臨床研究は「データへのアクセス」以外に差別化要因がなくなってく気がする。研究者にとってはかなり厳しい将来。
1/2
ハーバードで臨床疫学を研究されている有名人Rik先生が言うんだから多分間違いありません。多分。
自分でも色々遊んでみましたが、知らない領域について初発で当たって見る際の参考にはなります。大嘘を教えてくることもあるので要注意ですが、今のGoogleクソ検索のヒット感を見てるとマシに思えてくる。
GPT-3(Generative Pre-trained Transformer 3)以降しばらくスマッシュヒットのなかった自然言語処理界隈に走った衝撃の余韻が残っていますが、医療言語処理領域でも大規模モデルが発表されました。
https://www.nature.com/articles/s41746-022-00742-2
Chat-GPTではパラメータ数60億というとんでもないサイズ感であのなめらかな言語表現を可能にしていると考えられますが、これまでの臨床領域における最大の言語モデルは1億1000万パラメータ程度と小さく、一般領域と比較すると大きく見劣りする現状がありました。
そこで、900億語以上のテキストを用いて最大89億パラメータ大規模臨床言語モデル「GatorTron」をゼロから開発したというところになります。
臨床概念抽出、医療関係抽出、意味テキスト類似性、自然言語推論（NLI）、医療質問応答（MQA）という5つの臨床NLPタスクを指標に改善を評価した結果が以下。
端的に言うと全部良くなってるという(medium程度の規模で十分とも言えるんでしょうが)。つまりは学習サイズとモデルのパラメータ数不足がこれまでの臨床言語処理のボトルネックであってそれ以上でもそれ以下でもないという。
これだから自然言語処理とか単純画像分類タスクは研究的面白みがないっていう
https://catalog.ngc.nvidia.com/orgs/nvidia/teams/clara/models/ gatortron_og.
で公開されているので、貴院でも是非お試しを。
