並列処理

future_mapでメモリが足りませんと言われたら

future_mapをつかったら、こんなエラー文がでた。 Error in getGlobalsAndPackages(expr, envir = envir, persistent = persistent, : The total size of all global objects that need to be exported for the future expression (‘head(a)’) is XXX MiB. T…

for文の並列処理への書換について

1.まずはfor文でいったん処理を書き下す for (i in 引数) { (処理) } 2.for文のiterationを引数に持つ関数に書き換える 関数 <- function(i = 引数) { (処理) } 3.future_mapに2の関数を埋め込む future::plan(future::multisession) furrr::future…

並列処理で役立った情報まとめ

大規模なデータで、繰り返しの処理が多くなると、Rでデータ解析するのがつらい。自然と並列処理を導入したくなる。 並列処理のやり方は、snowとかparalellとかforeachとかfurrrとか色々あるけど、furrrでええですわ。tidyverse系なんで学習コスト低いし。 pu…