しばらく山とランは遠のいています

仕事、そしてコロナの関係でしばらく山やランからは遠ざかっています。来年の春から復帰できるようそろそろ運動再開していきたいと思います。ちなみに今、BIツールのPower BIが半分趣味になって、完全な運動不足になっています。20201020

2019年12月25日水曜日

Power Queryがここに来てぐっと重くなりました

先月からAIがらみの仕事をしています。

知識を整理するのにPower Queryがとっても便利なんです。今はPower BIのPower Queryではなく、ExcelのPower Queryを使いまくっています。EXCELの方が処理したデータを他に使いまわしができるので視覚化が必要ではないのであれば圧倒的にEXCELの方が使いやすいですね。ただ、Power Queryの起動メニューがある場所がとっても奥の方で最初はなかなか見つからなかったです。

それで知識の元になるデータをPower QueryでLIST関数を多用してデータクレンジングをしているのですが、最後の最後の処理で、処理が重くて急速にこの仕事の進捗が遅くなっています。
以下の関数を使ってLISTを比較して一致している要素が一つでもあればそのLISTのあるレコードを合成するという処理をしようとしています。これが遅い。単純なグルーピングなら一瞬なのに、この処理のため、年末は休みなしになりそう。
List.MatchesAny(list as list, condition as function) as logical

クエリを分けたり、EXCELを分けたりしていろいろ試しています。一番効果があるのはクエリを直接参照するのではなく、EXCELのシートを参照した方関係するクエリを動かさないようで処理は速いです。Power Queryの欠点は、クエリが参照参照で重なっていると関係するクエリが全部データを再読み込みするような動作をすることですね。これ素人のわたしの予想なので間違っているかもしれませんが。とにかく遅いです。ずっとCPUがフル稼働で、他の仕事もできません。

ランニングが出来ません。言い訳ですが。




0 件のコメント: