仕事の備忘録

IT系技術とか、カスタマーサービスとか

meltdownのパッチでAWSのPostgreSQLがやられた

今年は仕事はじめから今日までずっと「meltdown」と呼ばれるCPUの脆弱性対応で休みがほぼない状況だった。忘れないうちに記録する。会社に怒られたら消すけど数値は出さずとりあえず書く。

www.publickey1.jp

この脆弱性によって担当していたシステムがハッキングされたわけではない。この脆弱性が緊急度が高く、Azure、AWSなど一部クラウド環境には事前にパッチが適用されたのだが、そのパッチが担当システムにて影響がでてサーバ自体がダメになってしまったのだ。やっと今日すべて事業が通常に戻ったので久方ぶりにビール飲みつつこれを書いている。

原因と結果を端的に書くとこれだけ。ただ仕事とセキュリティと事業継続性などから色々な勉強にもなった。

まずクラウドを使う場合、クラウド環境自体は常にベンダーによって脆弱性は解消され最新に保たれるため、オンプレではありがちなパッチ適用を見送るという方法はできない。今回のパッチも、年末のうちにアナウンスが出ていたので事前に受け入れ準備して対応していた。(メンテナンス時間の通告があってそれまでに自分で再起動的なことをしないと通告時間に強制再起動となる。)

クラウドを使っている限り最新が適用されることは前提なのだが、私の担当システムは2013年から稼働しており、AWSでも古いタイプのPVを利用していた。他にHVMというものがあるが違いはこちらがわかりやすかった。

kanny.hateblo.jp

そして今回1月3日に適用されたAWSのパッチは、PVの場合のみ大幅なCPUの稼働ダウンを引き起こした。

実はシステムは今年終了が決定しているため延長サポートモードで1年近くPG変更をしてない。変更点はパッチのみである。この場合変更点は明らかである。あからさまにAWSのパッチしか変更がなかった。

しかし、当初全く何が起きているのか理解できなかった。利用開始の朝、システムが問題ない稼働状況で、特定のDBサーバのみCPU100%とシステムダウンを繰り返した。これを利用者による問題として調査を開始したが問題が出てこない。担当者間で悩んでいるうち夕方となった。そしてシステム利用率がさらに上がるとき、同一機能の全サーバが一斉にCPU100%からのダウンを記録した。これでAWSの問題の可能性に初めて気づきググって問題に気づいた。

qiita.com

今回の問題点はAWSのパッチの不具合とパッチ自体の内容が利用してたDBであるPostgreSQLと相性最悪だったことが大きい。他にもパッチが適用されたサーバ群があったが、DBまでの機能低下はなかったのだ。実測値でその日自社DBは負荷テストや実績の25%程度しか稼働できなかった。システム利用率が年初で高いこともあり、事業影響は大きかった。

対応として最初スケールアップは最大まで引き上げた。が、CPUが100%になると反応しなくなるという状況で必要な性能に到達しない。通常はCPU100%でも処理は継続できたのに(実績ではL/AがCPU1つにつき2.5くらいまでOKだった)。これより対応策をシステムオーナーと打ち合わせ、AWS以外でサーバを準備し切り替える策をとった。ハイブリッドクラウドと呼んでいいと思う。サーバ作成とかネットワーク設定とかテストに追われた。

準備中の1月13日にAWSは再度パッチ提供を行いブログが更新された。 

プロセッサの投機的実行に関する公開調査について | Amazon Web Services ブログ

1/13にさらにアップデートされたパッチがリリースされた模様

2018/01/11 20:15

ずっとブログで報告してくださっていた方の検証結果も確認し、ツイッターでも解消の報告が多数みられることをメンバーに共有した。しかし公式で再度パッチを適用すると記載があり、再発が0ではない状況でAWSのままにする選択はなかった。

「AWS、またパッチ当てたってよ」と聞いたので3度目のAurora(MySQL互換)R4テスト(mysqlslap) - Qiita

結果を公表してくれてありがたいです。今から自分のシステム確認します。

2018/01/13 20:14

AWS発表では「性能低下はなかった」という文書がでており、上記ブログの追記で「それはどうなの?」とメンバーでも話題となった。が、私以外のメンバーは優秀なので 皆業務遂行し、検証リリースを実施。効果測定も終わり今日やっと元の性能が出る状態になった。

正直PVインタンスを利用して問題が発生した方々は大変だったはずだ。チューニングしたシステムが勝手に悪くなるのだから。しかしそれも考慮して対応できるようにするのがクラウドを使うためのルールなのだと強く感じた。

そして昔自分も実装担当したサーバ切り替え機能が、今回大いに役立ち「よく考えられてるシステムだなあ」と終わりが近いシステムの大騒ぎでちょっとだけ自分たちを褒めた瞬間もあったことを書いておく。

Windows Mixed Reality 買ってみた

Windows Mixed Reality Headsetを購入した。まだよくわからないので、自分のためのまとめを書く。

自分はTech Summit 2017 に参加した際に体験してたHoloLensを買いたかったが、まだ予算が足りないのでこちらを購入を検討しはじめた。

testedquality-tech.hatenadiary.jp

そのため最初に違いを先に確認。HoloLensとWindows Mixed Reality の違いについては、まずは日本MSのエバンジェリスト高橋忍さんの解説がわかりやすかった。

https://blogs.msdn.microsoft.com/shintak/2017/11/21/mris/

確かにHoloLensは単体で現実空間と交わり続けることができる。一日つけっぱなしで子育て中も家事もできるし、そのまま寝てしまうくらいに自然に利用できるのは開発者の方々のツイートをみて素晴らしいとおもった。以下戸倉彩さんのイラスト。特に自分は戸倉さんのHoloLens関連ツイートをみて、生活に溶け込めるPCとしてのすごさを実感した(イラストもかわいいのだ)

一方Windows Mixed Realityは視覚はすべて仮想環境のものだけど、一定空間であれば空間とVRがつながる。実際に使うと目線だけではなく、歩いた方向と空間のマッピングがキチンとおこなわれるのを実感できた。自宅でつながって体ごと回すと、風景見渡せる。HoloLensでできるハンドジェスチャー機能などは、WinMRではコントローラーになるなど違いがある。

Windows Mixed Realityの対抗製品は、HTC Vive・Oculus RIFT・PlayStation VR な模様。カカクコムのVR製品ランキングで確認。(そのあたりの知識が自分に足りないこともわかった)ググっているうち価格の手軽さや設置の簡便さ、およびアプリがXbox、SteamVR、個人開発可能などからすでに対応ソフトが一定数あること、普通のWindows的な使い方が一通りできることを考慮すると、Windows Mixed Reality は後発であるが十分戦えるはずという認識をした。実際に対応PCであればケーブルつないで15分くらいで使えるようになったのは敷居低い。

kakaku.com

一方HoloLensの対抗商品はあるのか?いろいろ新製品のサイトやニュースを確認したが、実は生粋のハードウェアメーカーでもあるマイクロソフトにまだ他社がおいつけないという認識。類似品はコンセプトであるけど十分業務利用されているHoloLensのすごさを改めて理解した。

現在ソフトウェアをいろいろ試している。まずはHeadset購入先着特典でDMM動画のポイントをいただいたので動画ビューワーをダウンロードしてみた。

www.dmm.com

【VR】「ウルトラマンゼロVR」「ウルトラファイトVR」2本立て特別パック

を視聴。エレキングのドアップが非常に楽しい。長年の「近くでウルトラマン戦いだしたら人間はどうするべきか」を体験できる。まだ操作の流儀などが身についてないのでなるべく自宅で利用して、自分がやりたいことの実現方法を準備していきたいと考えている。

世界一安全なWindows 10 Mobile

この記事は、Windows 10 Mobile Advent Calendar 2017 の 13日目の記事です。

adventar.org

Windows 10 Mobile のアドベントカレンダー昨日に続いて投稿ですが、今回はただのWindows 10 mobileへのラブレターです。

私は会社で「Windows好き」という分類をされております。Windows 3.1 入りのPC、IBMのAptivaを最初のボーナスほぼ全額で買った時から20と数年。Visual Basic、IIS、ASP.NET、SQL Server、Surface RT、Windows Mixed Reality とよく考えたら仕事もプライベートも結構Microsoftだらけでした。その中でプライベートで一番長い付き合いなのが Windows 10 mobile です。性格にはWindows Phone 7.5 からですが、常にメインはWindows 10 Mobile で使ってきました。(あと田舎の子供と連絡とるため3Gが必要だった故のガラケー2台使い)

長年使って色々不満がないわけではないです。が、好きなところも大声でいっておきたい。一番気に入っているのは常に安全に使えたということです。この長い期間、それはぶれなかった。これは本当にMicrosoftを褒めておきたい!

メイン1台しかありませんから、セキュリティでやられたりしてもらっては困りますが、この数年全くありませんでした。またサポート期間も常に明示されてきましたし、セキュリティパッチもこまめに提供されてきました。Insider Preview入れなければ安定していましたし。タイトルの「世界一安全」は私が勝手に言っているわけではなく、昨年でしたかの調査結果だったはず。会社でついWindows 10 Mobile を自慢したニュースでした。

実はこの10年仕事で各OSの最新バージョンを収集、全社に通知するという仕事をやってました。そのため日々OSブラウザの情報収集してきましたが、Andriod を搭載したスマートフォンに機種別でセキュリティパッチ来るのかやきもきしたり、 Appleが明記しないでこっそりSafari Windows版がサポート終了していてユーザーに連絡したり、結構なんだよそれ的なことは多数。しかし、Windows 10 mobile にはことセキュリティで悩むことはありませんでした。

いつまでもWindows 10 mobile が国内に来なくて寂しかった時もありましたが、が、出したら企業としてきちんとしていたと、私は評価しております。ありがとうございます。

まあUXのすばらしさで残念ながらiOSには負けていたし、安さとすべてをつないだ点でAndroidの広がりにはかなわなかったのだなとは思います。(デスクトップのわかりやすさは一番良かった)

でもどんなOSであっても、サービス提供していくことによって細胞のようにいろんな場所で大きな存在となっている今のMicrosoftにはしたたかさがあるから、これからも楽しみにしております。これが最後のMicrosoftが作ったOSのスマートフォンになるのかはわかりませんが、できればもう少し楽しませてくれると嬉しいです。WinMR Headsetと結合してくれてもいいのですよ。

Windows 10 Mobile のGrooveで購入したデータをすべてダウンロードしたい

この記事は、Windows 10 Mobile Advent Calendar 2017 の 12日目の記事です。

adventar.org

初めてWindows 10 Mobile のアドベントカレンダーに参加します。今回は2017/12/31にて有料配信から撤退する音楽ソフトGrooveのデータ移行について書きます。

あくまでも撤退するのは配信ダウンロード&ストリーミング事業のみです。 Windows 10 Mobile だけではなく通常のWindows 10 でもGrooveはずっと再生プレイヤーとしては利用可能です。でもWindows 10 Mobileを使いつづけて数年、沢山曲を購入してきただけに無念なり。日本以外ではストリーミング形式のGroove Music Pass という事業もあったのですが結局日本には来ないままでした。これについても来るのを楽しみにしてただけにほんとに残念。

で、今まで配信で購入した曲は聞けなくなるの?と思っていたのですが、Grooveでは撤退に当たって10月移行手順を公開しました。Microsoftストアの「ミュージック」メニューを開くと最上部に「音楽を購入したみなさんに重要なニュースです」というタイトルが出ています。

f:id:testedquality:20171209210710p:plain

これをクリックすると以下のサイトが表示されるのですが、こちらがわかりづらい。それは日本展開がなかった音楽ストリーミングサービス Groove Music Pass についての説明文をそのまま日本語化しているから。

https://support.microsoft.com/ja-jp/help/4046109/groove-music-and-spotify-faq

とりあえず日本で提供されていた音楽購入についての内容だけを読む必要があります。で、提供された移行手段は2つ

  1. 購入した音楽をGrooveに追加されたメニューでダウンロードする。
  2. 買った曲をSpotifyに移行する。

なんとストリーミング&配信大手Spotifyと業務提携!無料で移行できるなんて!と思ったのですがこれはどうやらメニューで利用できるだけな模様。それより大事なのは移行期限。

2017年12月31日まででサービス終了=ダウンロード期限は今年中!

かつ

移行作業はPCのみ可能

Windows 10 Mobile からはできません

と書かれております。今年中に曲をすべてダウンロードしないと。ちょっと不満ですが書かれていた移行方法をPCで試してみました。移行手段のメニューはGrooveの「設定」にあります。

f:id:testedquality:20171209215028p:plain

f:id:testedquality:20171208000834j:plain

 1.購入した音楽をダウンロードする

「設定」-「購入した音楽をダウンロードする」をクリック。すると自動的にダウンロードが始まります。終わると下記のダイアログを表示。さらに「ダウンロードした内容を一覧で表示」リンクをクリックすると曲一覧が表示されます。

f:id:testedquality:20171208003153j:plain

結果はテキスト。正直細かすぎるシステム的な内容。そこよりユーザーが欲しいのは曲の一覧なのではないか。

f:id:testedquality:20171208003704j:plain

そしてこのメニュー問題点があります。私が買った曲はこの2つだけではない。どうしてかこの2曲以外は出てきませんでした・・・。

どうやらWindows 10 Mobile でのみ購入していた曲は、Grooveの「音楽を探す場所」として指定されたフォルダになくてもPCへのダウンロード対象にならない模様です。まだWindows 10 Mobile には存在しています。ダウンロードしてきたのはどちらにもない曲のみでした。(愛機MADOSMAでGroove確認したら野宮さんいました)

f:id:testedquality:20171209012632p:plain

うーん困った。とりあえずもう一つの手段も試します。

2.Spotifyに移行する

実は日本進出してからほぼ毎日使っている音楽配信ソフトの大手Spotify。配信大手で唯一 Windows 10 Mobile に対応してくれてます。UIがそのOSごとにチューニングされていてどこで使っても楽しい、便利。Windows 10 Mobile とWindows 10 両方で同期して利用しています。ここで使えるのうれしい。と思ったのですが・・・移行されるのはGrooveで「マイミュージック」に表示されている曲のみ。すでにこの時点でダウンロードできてない曲は移行も出来ませんが続けてみました。

f:id:testedquality:20171208002541j:plain

移行する場合には途中でアカウントを求められますので、先にSpotifyにてアカウントを作成すること。Grooveの「設定」-「コレクションをSpotifyに移行する」を選択すると説明のダイアログが表示されます。

f:id:testedquality:20171208002103j:plain

ここで「音楽を移動」をクリックすると移行されます。途中ログインをして移行が完了するとSpotifyのメニュー「ローカルファイル」に曲が表示されます。ここに表示されたら通常のSpotifyの各メニューが利用可能。写真もきちんと表示できました。

f:id:testedquality:20171208002616j:plain

これらの曲はPCのフォルダ上に存在してます。「...」をクリックするとメニューが表示されますので「含まれるフォルダを開く」でダウンロード先のフォルダが開きます。 f:id:testedquality:20171209010222j:plain

Windows 10 Mobile へは同期してくれるんだろうっておもって、MADOSMAでSpotifyを確認したらモバイル版には「ローカルファイル」というメニューがありませーん・・・・

つまりせっかくSpotifyにダウンロードできたファイル、Windows 10 Mobile への移行は手動コピーってことです・・・

Passだったら違うんでしょうねえ orz 

3.移行手順で出てこなかった曲をダウンロードするには?

しかし結構Grooveで曲を買ってきましたが、ストレージ容量確保のために削除していた曲もあります。すべてダウンロードしておきたいです。

どうせWindows 10 Mobile のSpotifyにはメニューがないんですから、もうPCに曲を直接ダウンロードするほうが楽です。ということで購入履歴を確認します。Grooveのメニュー「設定」-「購入履歴」をクリックします。するとブラウザが起動して注文履歴が表示されます。

f:id:testedquality:20171208004644j:plain

途中でMicrosoftアカウントでログインが必要です。ここで表示されるのはMicrosoftアカウントで購入したすべてが表示されます。よってOfficeなどのサブスクリプションから探し出す必要があります。

f:id:testedquality:20171209002314j:plain

一覧からWindows 10 Mobile にのみ存在する野宮真貴さんを発見。今年購入してます。

が・・・昔の一覧と機能が変わってしまい、履歴にあった購入ボタンが無くなってます。ここからダウンロードできると楽だったのですが、出来ないので一覧を開いたまま一つづつ手動で実施します。(すべての連動のなさに疲れてきている)

ダウンロードするためには再びMicrosoftストアを起動します。起動後メニューより「ミュージック」を選択。再度先ほどのメインメニュー。

f:id:testedquality:20171209210710p:plain

ここで上部にある検索バーに「野宮」と入力して検索してみます。すると候補のミュージックの中に発見しました。きちんと「取得済み」になってます。

f:id:testedquality:20171209212352p:plain

クリックすると「アルバムをダウンロード」のボタンが出てきますので、こちらをクリックするとローカルにダウンロードできます。

f:id:testedquality:20171209212449p:plain

ダウンロードが完了すると「アルバムをダウンロード」のボタンが無くなり、曲の前にあったストリーミングマークも無くなります。これで無事PCに取得できました。

f:id:testedquality:20171209212817p:plain

メッセージでもダウンロード済みなのが確認できます。上がダウンロード前です。

f:id:testedquality:20171209213722p:plain

Groove ミュージック アプリを再起動すると、ダウンロードした曲たちが自動的に追加されました。

f:id:testedquality:20171209215002p:plain

これで一安心です。

4.結論

ということで色々試した結果、結論は

Windows 10 Mobile のGroove ミュージックで購入したデータはひとつづつ目視でダウンロードするのが確実

という結論になりました。えー、移行メニューさんもう少し高機能だと期待してたんですが・・・でも他の方だったら一括でダウンロードできるのかもしれません。

Windows 10 Mobile 利用者の方には基本的な情報となりましたが、これで報告は以上となります。ご清聴ありがとうございました。皆様今から年末までのダウンロード頑張りましょう。

Tech Summit 2017参加記録 その2 Microsoft HoloLens 編

前回に続いてTech Summit 2017 参加記録。今回はMicrosoft HoloLens 。

Microsoft HoloLens  とは 自己完結型ホログラフィックコンピュータ。この一台で PCと映像表示ができるPC。Playstation VR などのVRとの一番の違いは「視界に3Dの仮想オブジェクトを重ねて表示できる」こと。つまり現実世界の中にVRのような仮想物体を表示させることができる。と、言葉でいうと小難しいが、リンク先のデモを見ると分かりやすい。

www.microsoft.com

複合現実 = Mixed Reality = MR と呼ばれている。現実世界とつながったまま 仮想世界とつながることができる。この体験会が今回のTech Summit では体験会として実施された。発売から何度か体験会には参加したものの毎回希望者が多くて未体験だったが、今回初めて体験することになった。

体験1社目はTech Summit キーノート でもデモンストレーションで沸いた小柳建設様。以下[#mstsjp17 HoloLens ]でのキーノート中ツイートを引用。

 

 

 デモンストレーションでは「すでに現場利用している」というHoloLensとアプリだったが正直キーノート中は信じられなかったため、終了直後HoloLens 体験会の整理券を取得確認することにした。

キーノートでは小柳建設さん&Microsoft  でデモンストレーションを実施していた。これは自社開発を行ったということだ。体験会では全部で5社が参加していたが、他はすべてシステム開発会社。主業がシステム開発ではない会社は小柳建設様のみ。かつ完成度の高いソフト。ユーザ企業として、どうしてHoloLensでのアプリ開発に踏み切ったのかその理由を知りたかったのだ。

体験会は最初体験者共通のビデオで使い方の説明を確認し、そのあと各ブースを訪問する。デモンストレーションは実際に開発に携わった社員さん達によるものであった。

実際にデモと同じソフト内容を体験できたが、スケジュールごとの工程と実際の建築CGの融合が素晴らしかった。圧倒的な説得力が可視化によって伝わるのだ。またシェアリング機能で遠隔地との情報共有が楽なのがすごかった。キーノートでの橋の上での1/1体験はまるでアラジンのじゅうたんに載った気分だ。体験が終わるときには興奮のままご担当者に質問をした。

「すごいソフトですが、なぜこのソフトをつくったのですか?自社が先頭にたって。」

「建築業はずいぶん前より人手不足が続いていて、さらに弊社は新潟にあるためなかなか人手が集まらない。そのため目立つことをする、ソフトウェアで補うなどどの施策を積極的に打ち、安全に作業できるなど人を大事にすることが重要なのです。と社長がシステム化に積極的なんですよ」とにこやかに説明された。

 他の方のツイートから小柳建設さんのYoutubeにて社長インタビューを確認。実際のアプリの様子もこちらを参照していただきたい。

 人を大切にという言葉を形にしたものがこのHoloLensソフトだったということだ。ぜひ子供に小柳建設を紹介しておこうと思った(子供が建築系の学校に行っている)個人的には工程ごとの書類がすべてその場で閲覧可能なインタフェースを持っている点が気に入った。工程表と資料の連携が可視化されてディスプレイのサイズを気にせず空間のどこでも複数広げられるのが、非常に魅力的だった。遠隔地とのアバターを使った会話も楽にできるのもよかった。後、普段にないこととして目線が可視化される。これにより誰が何を気にしているのか、通常会議より明確である。正直このアプリシステム開発に使いたい!と思えた。UXが圧倒的だった。このまとめツイートがすべて。ぜひ皆さんにも体験していただきたい。

 

1日目はHoloLens体験を夕方にもう一度受けられることになった。2社目はこちら。

DMM.makeとハニカムラボさんのアプリ。バーチャルフィッティングを体験した。

上記ツイートの動画ではマネキンであるが、この部分を3Dスキャンした自分のアバターにするのが目標だとのこと。そうすると洋服を自分の体形と合わせることが可能となる。着用した場合の様子も360度確認可能。これは自分でフィッティングしてもできないことだ。こちらもUIがわかりやすかった。これがあれば、外出したり、店員さんの視線を気にせず好きなだけ試着可能だ。

正直これを靴でやってほしいと思った。実は自分の足が特殊で足形は取れても型にあう靴を探すのに大変苦労している。3Dスキャンした足情報にあわせた靴をリコメンドしてもらえたらとフィッティングを試しながら思った。

現在HoloLensは人気で予約待ちである。単体で33万円と決して安くはないがPC+モニターの価格でどこにもない体験ができるので人気が出て当たり前だと感じた。

Tech Summit 2017参加記録 その1 データベースサービス編

Microsoft Tech Summit 2017 に会社から研修として参加した。レポートを書く必要もあり、ここで一度まとめる。

Microsoft Tech Summit 2017 | インフラエンジニア、アーキテクト、IT 戦略立案に関わる皆様の為の技術カンファレンス - Microsoft Events & Seminars

私は会社でMicrosoft好きと呼ばれている。その呼び名どうなのかと思うが、社内はそこまでMicrosoft好きがいないので(大量に利用されているが)イベントでの情報収集をしたいと積極的に参加希望をしている。実際に仕事で利用する機会は非常に多いため、誰かが情報収集しておくべきという会社の方針で、すきなやつにやらせとこうということで参加が出来ている。昨年は泊りがけで参加したのだった。

testedquality-tech.hatenadiary.jp

 今年は恵比寿ウエスティンホテル東京にて実施。クリスマスの飾りつけでロビーがシナモンカルダモンの香りであふれていて素敵だった。

f:id:testedquality:20171108125124j:plain

今回私の中ではデータベースをテーマにしていた。昨年Spark?R?と言っていたにかかわらず今年私はHadoopベースのDWHを使い、Pythonでのスクリプトを後輩に書かせ数億のデータを普通に扱う人になっていた。そして大好きなMS系のDB技術からすっかり離れてしまった。が、昨年のレポートなどをみて、今のMicrosoft のデータ技術は追うべきとの意見を出し上司も賛成してくれた上での参加となった。

ということで、キーノートやホロレンズ体験などもあったが、まずはデータ系技術セッションをセッションごとに紹介する。以下セッション用のタグが付いたツイートを引用させていただく。

「SQL Server 2017 事始め ~進化を続ける SQL Server の最新情報を 一挙紹介~ 」

Day1 尊敬するムッシュこと小澤 真之 さんのセッション。すでにセッション資料は一般公開されている。

 2017/10/02に一般提供開始となったSQL Server 2017 の新機能紹介が中心。私は自主勉強で2014までしか利用できておらず、2世代遅れの頭を入れ替えないといけないと強く感じた。特に今回は「SQL Server on Linux 」が何よりの目玉だ。すでにMicrosoft はWindows の会社ではない。「窓は開かれた! 」である。それ以外にも2016でのRサポートから、2017ではPythonもサポートしたなど多数の新機能。50分でデモもあり大変ためになった。そして一番ありがたかった情報はこちら

 春先データ作成に苦労していたPower BI Report Server いつの間にかSQL Server サポートされていた。ほんとこれで色々苦労が減る。

「今こそ本気で検討する Azure PaaS 環境の リレーショナル データベース」

日本マイクロソフト株式会社 吉岡 大輔さんのセッション。PaaS(Platform as a Service /サービスとしてのプラットフォーム)である「SQL Databese」を紹介。ただし今はDBにも種類が増えており「MySQL」「PostgreSQL」もプレビュー版がPaaSで提供されている。ここでも「窓は開かれた! 」である。開発者が欲しいものを提供する。この貪欲さが今のMSだ。

f:id:testedquality:20171110001229j:plain

さらに新しく提供される「Managed Instanse 」ではほぼオンプレミスと100%互換で提供されるとのこと。なんとDBが現行同様ファイル形式で動いてた!さらにデモをみた私のツイートが

これがないとオンプレ移行できない有能SQL Agent もあるとのこと。これは移行しない手はない。マイグレーションツールも出るようなので管理を楽するためにも移行したいものだ。

 「AI 時代を生き抜くためのビッグデータ基盤 ~リコーの実案件で見えた Azure Data Lake の勘所~」

 Day2 日本マイクロソフト株式会社 井上 大輔さん、 大田 昌幸さん、 株式会社リコー 横田 峻 さんによるセッション。全く使ったことがなかったAzure Data Lake を実業務適用の話。分散ファイルシステムなので Hadoop 対抗として一番近いかも。しょっぱな驚いたのはここ。

 データ容量無制限。オンプレミスでは絶対ないし、クラウドであっても何かしらの制限はあるものだ。AWSのストレージしかり、前述のSQL Databeseしかり。でも完全従量課金。その仕組みとあわせて理由の解説をしていただいた。

実際のパフォーマンス確認などの詳細、それからCognitive Services の機能が提供されている!これが無料利用可能で、呼び出してPower BI に可視化するデモが良かった。実際に使われている技術であったので用途がわかりやすかった。

 「Azure Cosmos DB を使った 高速分散アプリケーションの設計パターン」

 こちらはすでに株式会社ゼンアーキテクツ 三宅 和之 様により資料が公開されている。

今年爆誕したとき「 Cosmos DB って世界中で使えるんでしょ?」程度の認識しかないまま参加。認識違いだった。レイテンシ(遅延速度)の保証、つまり世界中どこからでも一定速度で返答されるDB であることが保証されている。つまり

 なんて使い方もできるのだ。目からうろこであった。まずは試してみたい。

 「SQL Server 2017 AlwaysOn 可用性グループ使いたおし!」

日本マイクロソフト株式会社 平山 理さんによるセッション。正直全くAlways On を使ったDB触ったことないので不安なまま参加。

 しかし非常にためになるDBサーバの障害対策のあれこれ紹介であった。後で検索して調べられるように必死にツイートしていた模様。

 半分呪文であるが後から資料公開されると思われるため、復習する。

正直ビックデータという言葉がバズワードから、当たり前になった昨今、大量データの主役のサービスはほとんどOS はLinux である。が、Microsoft はこの数年 。日本では変わらずWindows XP やWindows 7 のイメージが一般的だが(システム主体の会社でさえ)サービスの会社となっていて、Linux も提供の一部である。こと企業向けのサービスについて、Microsoft 程サービスがいいところを私は知らない。そして今先端技術を大量に開発者に向けてリリースしている。

こんだけの技術、ぶつけられて楽しまなくては損だなと思ったのが正直な感想である。 

 

 

Power BI Embedded を2017年11月版で計算しなおす

このブログに2016年に書いた以下の記事がある

testedquality-tech.hatenadiary.jp

 

この記事を書いた当時、仕事でPower BI Embedded を利用した提案書を作成した。この提案書は2016年度では却下されたと聞いていた。その際調べたことをブログにまとめえて掲載したのが上記である。

それから約1年。本日急に連絡がきて、1年前の自分の提案書が目の前に送られてきた。これを再提案したいという話だった。事業的なことは別にして、そのままの金額はいま利用できないことを説明した。が、話しているうちブログにこのことを掲載するのを忘れていたことも思い出した。今回は、2017年11月現在のPower BI Embedded についてを書く。

以下がPower BI Embedded 日本語公式ページである。

powerbi.microsoft.com

2017年5月にPower BI は大きく製品体系が変わりPower BI Premium という企業向けのサービスが追加された。実はその際にPower BI Embedded についてもサービス形態が変わることがホワイトペーパーに記載されていた。今回昨年の案件、もし今ならどれくらいになるのか確認のため再度見積もりをしてみる。

azure.microsoft.com

新しいPower BI Embedded は Power BI Premium というか Azure のインスタンスタイプを計算するような感じになった。利用者の数と、ピーク時の表示ページ数を計算し、選択したノード タイプと、デプロイするノード数で金額を計算する。つまり通常のWebサイトでの負荷計算と同じようなことになる。

以前は100セッション/510円 であったため、利用者数にあわせた課金だった。つまり利用者が増えたら払うし、いなければ払わず済む形式であったが、今回は前払いで最大能力を押さえておく形に変わったことになる。

100人アクセスで1時間使ったら100セッション。1日510円。30日使ったら15300円。
もし1000人なら30日15万3000円。1年間200万弱

と書いた前回の記事を再見積もりする。

新しい価格表だと、まずユーザーに提供する画面数が必要になる。ノード数に影響するのが「ピーク レンダー/時」であるためだ。ページレンダーについてはホワイトペーパーに記載がある。How to plan capacity for Power BI Embedded (Power BI Embedded の容量を計画する方法)」のホワイト ペーパーの4ページを確認してほしい。以下直訳

ページレンダリングとは
ページレンダリングは、Power BI ビジュアルがページに読み込まれるたびにカウントされます。ページの更新はページのレンダリングとしてカウントされ、他のページの対話機能 (スライスやサイコロ、フィルター処理など) と同じように表示されます。通常、バックエンド コア1つで実行されている複数のクエリは、ページのレンダリングに変換します。
コアに対して生成される負荷は、ページに含まれるビジュアル要素の数によって異なります。一般的なページには、最大10個のビジュアル要素が含まれます。

再表示で取得するすべてのレンダリングが1ページと定義されているようだ。ここでPower BI のタブ切り替えはどうなるのか不明であるが、これはReloadedなしで切り替えできるので多分1レンダーになるはずだが・・・(ここは別途MSに確認する)

利用者負荷を計算するためには利用者がどれくらいページを表示させるか、それがどれくらいの時間に集中するか、この2点が重要である。利用者が平均的にアクセスしてくれることはまずないので、ピーク時にあわせた能力を確保することを検討する。

で、過去の自分が書いた

100人アクセスで1時間使ったら100セッション

毎日朝の1時間にアクセスがあると仮定しよう。この時表示するPower BI のレポートに前日の「地区別売り上げ」「営業所売り上げ」「顧客アンケート」の3種類あるとする。出社時間直前にデータがUPされるとして、出社後皆が確認する。そうなると毎日最低でも3ページのレンダリングを100人が使う、300ページ/時間となる。

前述の価格表から確認すると、A1の上限になる。

f:id:testedquality:20171106214409j:plain

実際には画面を閉じてRelodedすることもあるし、人員が増えていく想定もあるだろう。考えると倍の想定は最低でも欲しい。ただA2までは共有ノードである。他の利用者も負荷がかかる場合、必然的に影響を受けやすい。事業として不確定要素をなくすなら最低でもA3ノード以上を選択することになるだろう。ちなみに価格表は表記を月単位に変更できるので変更してみる。

f:id:testedquality:20171106214759j:plain

A2で月152,390円、A3で305,388円である。ここにWebサイトの構築運用費用が掛かってくる。逆にある程度のピークで価格が固定されるので、前より安くなるパターンもありそうだ。これは意外。

さて、前回と同様の形式だとそのまま見積れたが、Power BI Premium にはEmbeddedを組織内で利用可能と発表もされている。この場合、Power BIがない組織内のユーザーがレポート確認可能となる想定だが、詳細を記載しているあたりをまだ読み込んでいない。この部分もあわせて調査を行って早急に報告したいと思う。

最後に。価格表でリージョン選択の中に西日本があることが確認できた。思ったよりPower BI Embedded が使われているのだなと嬉しかった。