2021年10月3日
2021年10月3日
今日は1日作業をしていた日。朝は娘を連れて公園に行く。軽く遊ぶ。その後は、作業。研究の実験プログラムを回す。お昼は、鯛の煮付けとモロヘイヤの味噌汁とご飯を食べる。モロヘイヤがトロみがあって、美味しかった。午後も作業。少し、将棋放浪記をみながら、作業。
今日一番へえーと思ったのが、以下のツイート。transformersのトークナイザは2種類あり、一つはpython実装のもので、もう一つはRustで実装されているFast Tokenizerで、こちらがv4.0.0以降でデフォルトになっているようだ。