なかなかおもしろかったです
第二次世界大戦で、ドイツがワシントンに原爆を落とし、日本とドイツが勝利して米国を日独で分割統治するという設定。
こんなことよく思いつくなあ。と思いつつ、相変わらず日本の描写がひどい。JAP、JAPと連発される映画作る米国は自由だな。
いろいろ考えさせらるドラマでした。
2020年6月26日金曜日
2020年6月25日木曜日
オリンパスのカメラが無くなる
衝撃的なニュースでした。
カメラ大衆化の旗手、オリンパスが退場
4年ほど前に、防水が魅力でこのOM-Dを購入しました。
高い買い物でした。
ペンタックス→ニコン→キャノンと渡り歩いてオリンパスが最後と思って、よく選んで、ユーザの友人の自慢話も聞いて思い切って購入しました。1年たったら故障して高い修理代も払いました。
確かに最近はこの一眼レフを持ち歩くことも少なくなりました。
望遠が必要ないなら普段はスマホで十分という気もします。
2020年6月24日水曜日
ドリームシアターの延期した来日ライブは、大丈夫か
5月に予定されていたドリームシアターのライブ、
10月に延期されていますが、なんか本当に１０月に出来るのかと不安です。
まだまだ新型コロナの感染者が出ていて、いったいいつ落ち着くのか。
ボブディランは中止、スティーブハケットは1年延期。ライブ行きたい！
2020年6月23日火曜日
1年前までいたオフィスビルの解体が本格的に始まりました
昨年の4月末でいた前のオフィスビルの解体工事がいよいよ本格的に始まりました（堂島の古河大阪ビル）。2月くらいから準備が始まっていましたが、コロナで一時中断していたようです。
長くいたオフィスビルなので、寂しく感じます。
コロナで一気に不況になって、新築しても床需要はかなり厳しいでしょうね。
今年引越していたらもっと安いビルが見つけれたかも。
2020年6月22日月曜日
2020年6月21日日曜日
2020年6月20日土曜日
夏野菜が急成長中です。ズッキーニってとっても大きくなります。
夏野菜が急成長中です。
スイカが完全にズッキーニに占拠されてしまい這い出してきました。
ベトナム野菜のカイと空心菜。カイはあと少しで収穫します、虫に食べられてしまうので。
ズッキーニ―を直植えしていますが、この成長が著しいです。
ただ密集してきたので、例によってカビが出てきています。
今年はズッキーニ―が多数収穫できることを願っています。
2020年6月19日金曜日
【Power BI】ソースデータの読み込み速度の改善７ プライバシーレベル
この5月6月は完全に山とランは諦めました。
現在、Power BIのソースデータをPower Queryで読み込む時間の短縮に没頭しています。
Power BIではソースデータのプライバシーレベルが設定できます。これをオプション設定で無視する設定にするとパフォーマンス向上につながる可能性があると書かれています。
実際どうなのかよくわかりませんが、これを外すとなんとかなく速くなったように思います。
あるPBIで二つのPCで速度測定していて、どうしてもパフォーマンス差があるので、いろいろ調べていたらこの設定に差があることがわかりました。プライバシーレベルを無視すると設定すると速度差が無くなりました。
この機能はPower BI Desktopのみ機能のみでON/OFFを設定できるとのこと。まだこれを使う場面ににないのでプライバシーレベルの詳細は後日調べようと思います。今は設定で無視する設定にすることですね。
2020年6月18日木曜日
【Power BI】ソースデータの読み込み速度の改善６ 分散化
この5月6月は完全に山とランは諦めました。
現在、Power BIのソースデータをPower Queryで読み込む時間の短縮に没頭しています。
Power Queryはクエリごとに独立して並列処理が行われるとのこと。それで、同じクエリを複数セットして並列処理して最後にマージするという処理を考えてみました。この処理はバッファーも使えば効果が出るはず、試してみました。多少は速く処理できるようになりました。
以下のオプション設定で並列読み込みが選択されている必要があります。ただし、これ並列にするエラーになるケースがあるようで、その場合はクエリの見直しが必要になるようです。
高速化もそろそろ手がつきてきました。
2020年6月17日水曜日
【Power BI】ソースデータの読み込み速度の改善５ Sharepointはアクセスが増えるとアクセスを自動的に制限する
この5月6月は完全に山とランは諦めました。
現在、Power BIのソースデータをPowerQueryで読み込む時間の短縮に没頭しています。
高速化をしていく段階で、どうもSharepointが遅いなと感じることがありました。
MSさんのサポートに問い合わせるとどうもSharepointにアクセスの調整がされているようです。1000万行クラスのデータを読み込む要件は変更できないので、どうしようもないのですが、これを回避する方法としてgzipで圧縮してそのファイルを読み込むことで回避できました。大きなデータを扱うときは要注意です。
SharePoint Online で調整またはブロックを回避する
2020年6月16日火曜日
【Power BI】ソースデータの読み込み速度の改善４ 圧縮ファイルをそのまま読み込める
この5月6月は完全に山とランは諦めました。
現在、Power BIのソースデータをPowerQueryで読み込む時間の短縮に没頭しています。
Power BI で圧縮したCSVファイルをそのまま読み込めることを確認しました。これはPowerQueryの読み込み部分に一行だけ挿入すれば実現できます。ソースをあまり触らず簡単に実現できます。CSVは1/10程度に圧縮できるので大きなファイルを読み込む際には有効です。解凍の処理のオーバヘッドがあったとしても実感として読み込み時間は短縮できていると思います。
ただし、対応している圧縮形式はgzipのみです。
Binary.Decompress(binary as nullable binary, compressionType as number) as nullable binary
2020年6月15日月曜日
【Power BI】ソースデータの読み込み速度の改善３ グルーピング処理を減らす
この5月6月は完全に山とランは諦めました。
現在、Power BIのソースデータをPowerQueryで読み込む時間の短縮に没頭しています。
Power Query の処理の中で一番重いのはどうやらグルーピング処理のようです。複数行にまたがって集計する場合は、どうしてもグルーピング処理が必要になってきます。
このグルーピング対象のテーブルサイズとグルーピングの回数のいかに小さくするかが処理の速さに大きく影響しています。
ソースは大きく変更しないといけませんが、やはりこれがもっとも効果があります。グルーピング処理の回数を減らしても対象のテーブルが大きくなるとその処理に時間がかかるので、よーく考えて、最後はやってみないとわからないです。今回はこれで何度も作り直すことを続けています。
2020年6月14日日曜日
2020年6月13日土曜日
【Power BI】ソースデータの読み込み速度の改善２ Table.Bufferは使えるか
この5月6月は完全に山とランは諦めました。
現在、Power BIのソースデータをPowerQueryで読み込む時間の短縮に没頭しています。
ソースを大きく変更しないで、簡単にパフォーマンス改善する方法はないかといろいろ探しているうちに、Power Querに、Table.Buffer、List.Buffer、Binary.Buffer という関数を見つけました。この関数ですが、MSの公式ドキュメントが恐ろしく少なく、MSさんのサポートに聞いても使い方がうまくわかりません。
どう使ったら高速になるのか。本当に機能しているのか。
いろいろサイトを検索すると以下のようなページが出てきます。
大きなテーブルを読み込んで小さく絞り込んだテーブルをバッファーに書き込むのがよいようです。Table.Bufferはストリーム型の処理をしているPowerQueryのデータをメモリに全部一旦読み込む機能だそうで、今わたしが取り組んでいる課題にぴったりのようなんです。
でも、今のところ惨敗。かえって遅くなりました。
きっと、使うポイントが間違っていると思うので、これは後回しに他を試すことにしました。
2020年6月12日金曜日
【Power BI】ソースデータの読み込み速度の改善１
この5月6月は完全に山とランは諦めました。
現在、Power BIのソースデータ（CSV）をPowerQueryで読み込む時間の短縮に没頭しています。1000万行クラスのデータをインポートするのですが、単純に読み込むのではなくて、その後、いろいろなクエリに参照されて、複数のテーブルが出来上がるのですが、観察していると何度も何度もソースデータを読みに行きます。何時間もかかって読み込んでいてはどうしようもないので悪戦苦闘しています。
Power BIのソースデータ（CSV）をPowerQueryで読み込む場合、読み込いながら次々に処理をしていくストリーム型の処理をしているとのこと。この動作がブラックボックスなのでなかなかうまくいかないです。
MSさんのサポートにしつこく聞きまくり、いろいろサイトも調べて、試して、以下のサイト見つけました。このサイトに高速化のポイントが整理されていてとっても参考になります。これを参考に改造を順番に試していくことにしました。
BI ccountant
Speed/Performance aspects
2020年6月11日木曜日
2020年6月10日水曜日
新地の賑やかさが少し戻ってきました
会社は新地の近くにあります。
コロナ自粛真っ最中にときは夕方も人通りが少なく寂しいものでした。今は夕方の配達の車が多数止まり賑やかさがもどってきました。この地域は賑やかでないと鯖しいです。高くて行ける店はわたしにはないですが。
2020年6月9日火曜日
最近インターネット回線が遅くて困っています。回線速度の現状を知る方法
コロナ騒ぎ起きてからTV会議が急増してインターネット回線がすごく遅くなったと感じている人は多いと思います。
未だに朝と夕方が遅いですよね。テレワークが盛んになることはいいことだと思いますが、インフラ各社がその拡張を怠っていることに少々不満です。ベストエフォートという言葉を言いわけにされていますが、とんでもなく遅いときがあります。
そんなわけで最近よくアクセスするサイトがGOOGLEのスピードテストです。
これ便利ですね。
2020年6月8日月曜日
娘の通院 天気がとってもいい
まだまだコロナで落ち着きませんが
ポートアイランドに娘を通院に連れてきました。
天気がいいけど、病院に行くのはまだ気が重いですね。
この病院は、アルコール消毒のボトルがどこにも置いていないのですね。不思議です。小さな子がさわりまくるからかな？
登録:
投稿 (Atom)