先行事例１株式会社イーシーキューブ様

「VAddyの導入でEndtoEndテストの価値が上がった」

クラウド型Web脆弱性検査サービスVAddyはOSSコミュニティへのVAddy無償提供を行っています。今回は前回に引き続き、本取組の中でVAddyを導入いただいた株式会社イーシーキューブのEC-CUBE開発チームにお話を伺いました。

EC-CUBEとは

2006年9月にリリースしたEC-CUBEはショッピングサイトの構築に特化したCMSソフトウェアで、OSS（オープンソースソフトウェア）として配布しています。Eコマース用のOSSは世界中に数多くありますが、日本国内においてはEC-CUBEがダントツのNo1シェアを誇っていて、現在は実稼働として約３万店舗で使われています。

当初EC-CUBEは自社で行っていた受託案件で利用するためのみに開発していましたが、オリジナリティの高いショッピングサイトを世の中に増やしていく目的のため、手段としてどのような形が良いのか考えた末、OSSという形態にたどり着きました。

現在弊社ではEC-CUBEをベースにした個別カスタマイズ等の開発業務は行っておらず、決済代行会社様とアライアンスを結び、決済プラグインを使って決済された売上の一部を頂戴するというビジネスモデルを取っています。ですのでEC-CUBEでショッピングサイトを構築していただくことや売上を上げていただくためのサポートとして、情報発信や開発コミュニティ運営なども行っています。

EC-CUBEにおけるセキュリティ対策

一般的に「OSSの利用は自己責任」と言われます。OSSにおけるセキュリティ対策も例外ではありませんが、EC-CUBEの本体部分については、以前から有償の検査ツールを利用した脆弱性検査を社内で実施しています。

また、EC-CUBEを利用してショッピングサイトを開設するショップオーナーや開発会社が脆弱性診断を実施して、そのフィードバックをいただくこともあります。

VAddy導入の決め手

既に脆弱性検査方法の見直しが終わった後だったのですが、OSSへのVAddy無償提供が始まったと聞いて、せっかくなので（笑）

社内で実施している脆弱性検査については、非常に高機能なツールを利用しているということもあって、検査の開始に必要な事前準備（設定等）の工数が多くかかり、検査自体もEC-CUBEの場合は2～3日かかります。ですので、検査は大きなプロジェクトのリリース直前にしか行うことができませんでした。

そうした「高機能な検査ツールを有効に使えていない」という課題感から、去年の秋頃から脆弱性検査方法の見直しの検討を始めて、OWASPZAPなどのOSSツールも含めたいくつかの検査ツールの比較を行いました。結果的には従来の検査ツールを継続して使い続けるという結論になったのですが、検査結果の判定を含めて使いこなすにはセキュリティ検査の知識が必要になるので、社内勉強会を開催して開発メンバーのスキルアップを行っています。

EC-CUBE3系からCIを使ったテストを回しているのですが、脆弱性検査の部分だけリリース前に実施するので良いのかという課題感がありました。いま使っている検査ツール以外にもっと気軽に日々使える検査ツールは無いかなと。

そんな中、今年の7月のphp conference Kansai 2017で市川さん（株式会社ビットフォレストCTO/VAddyプロダクトリーダー）にお会いしてAddyのことをお聞きしてすぐに試してみました。VAddyは検査項目が絞られているものの、日々気軽に使いたいという我々のニーズにマッチする「ちょうど良いツール」かなという印象でした。高機能な検査ツールだと誤検知のようなものも含めて多量の検査結果が出力されるので、対応すべきかどうかの判断も含めて日々使うには少し負荷が高いので。

VAddyの導入でWebテスト（EtoEテスト）の価値が上がった

そんなこんなで急遽VAddyを使ってみようと思ったのですが、導入は本当に簡単で、苦労した記憶はほとんどありません。
VAddyの検査に必要なクロールデータの作成だけは面倒に見えますが、EC-CUBEではすでにCodeceptionを使ったWebテスト（EtoEテスト）環境が整備されているので、それを応用すればクロールデータの作成は簡単にできます。既存のテストケースの中からVAddyの検査に必要な部分だけを抽出したテストケースを作成して、毎晩TravisCIで自動実行しています。さくらクラウド上でdockerコンテナがビルドされた後に、EtoEテストの実行、VAddyのクロールデータの作成、VAddyの脆弱性検査までの一連の流れが毎日自動で実行されています。

正直なところEtoEテストのメンテナンスはけっこう大変なのですが、VAddyを使うようになってからそうしたWebテストの価値が倍くらいに上がった気がします。EtoEテストシナリオを頑張ってメンテナンスしていけば、通常のWebテストだけでなく脆弱性検査も同時にできるようになりますから。

もし弊社にEtoEテストが整備されていなかったとしたら、クロールデータの作成でかなり苦労したと思います。とは言え、オートクロール機能（検査対象のWebサイトを自動的に巡回して検査してくれる機能）が備わっている他のツールでも、オートクロール機能だけだと見つけられない部分が出てきます。実際にツールの検査で発見できなかった脆弱性が後になって見つかることがあって、なぜ発見できなかったかを調べると自動検査ではなくステップ操作でしか見つけられない部分だったことがあります。結局、自動的に対象のアプリケーションをクロールしてくれる検査ツールであっても、自分たちでクロールデータを作らないといけない場面は必ず出てきます。

VAddyを使ってみて

良いことずくめです（笑）
特に検査の実行時間が短いことは本当に助かっています。EC-CUBEには多くの社外コミッターがいますが、VAddyで毎晩検査することでコミッターに対して素早いフィードバックを返すことができます。網羅性という点で他の検査ツールをメインで使うことにしたとお話しましたが、VAddyの取り回しの良さは網羅性を補って余りあると感じています。検査回数の制限が無いので「大丈夫かな？」と逆に心配してしまいます。

VAddyは5つの検査項目しかありませんが、本当に重要な脆弱性に絞られています。脆弱性検査方法の見直し時に複数の検査ツールを比較した際は「検査項目が少なすぎる！」と思いましたが、後にいろいろ調べてみるとこれらの現実的な驚異への対策としては十分では無いかと思います。ツール比較時は網羅性を重視していましたが、当時このことを知っていれば、結論も変わっていたかもしれませんね。

この5項目が本当に重要だということをもっとアピールした方が良いと思いますよ（笑）

先行事例２株式会社ネットフォレスト様

「VAddyの『速さ』と『手軽さ』が
Webデザイナーによる脆弱性検査を実現」

ネットワークからWebコンテンツまでインターネットソリューションをワンストップで提供する「株式会社ネットフォレスト」。自社サービスサイトの脆弱性検査や、パートナー企業から納品されるWebアプリケーションの受入検査時の脆弱性検査にVAddyを利用いただいています。今回のインタビューは2018年2月15日にオープンしたばかりの、同社が運営する横浜のコワーキングスペース「/Bangarrow（バンガロー）」で行いました。

ネットフォレストとは

ネットフォレストは2000年4月創業の、ISP事業（かもめインターネット）を中心とした情報システム企業です。ISP事業はネットフォレストの前身の企業の時代（1996年）から始めていますので、老舗の部類に入ると思います。

現在はISP以外にもホスティング、Webデザイン、ホテル向けVOD事業など幅広く事業を展開しており、お客様にネットワークからWebコンテンツまでワンストップで提供できることが強みです。

私はネットワークソリューショングループという部署でISP事業におけるインフラの保守、VOD事業でのネットワークの設計から機器の設定まで幅広く手がけております。それ以外には基本的には社内の技術的な部分を多く任されており、自社サービスのWebアプリケーション開発やセキュリティ周り全般も担当しております。

ライトに検査できるのがVAddyの強み

VAddyは自社のISPサービスサイトの脆弱性検査から使い始め、最近では受託のWebコンテンツ開発案件でパートナー企業から納品されるWebアプリケーションの脆弱性検査に使っています。弊社はSixApart社のProNetメンバーなので、MovableTypeやPowerCMSを使ったシステム開発が多く、スクラッチでの開発は問い合わせフォームなどの軽めのものが多いというのが現状です。CMS本体の脆弱性検査を実施するのは現実的ではないので、検査の対象はそうした軽めのWebアプリケーションになります。

VAddy導入前はあるクラウド型Webサイト脆弱性診断サービスの利用も検討しましたが、そのツールは設定の難しさもさることながら契約から利用開始までにかなりの時間がかかることも問題でした。例えばVAddyだと検査対象のサーバー登録はブラウザ上で実行できますが、そのツールだとサーバー登録はベンダーに申請して実施してもらう必要があります。他にも、検査のテストケースが大幅に変わる場合はあらたに別の契約を申し込まないといけないなど、細かな制約が多くありました。

おそらく、アプリケーションの機能追加がほとんど発生しないようなWebサイトで、セットアップした後は放置して自動診断結果のレポートを定期的に確認するという使い方を想定して作られているのだと思います。けれども導入や設定変更に時間がかかるツールだと、私たちのように頻繁にアプリケーションが変更になる自社サイトや、案件ごとにホストもアプリケーションも異なるようなWebコンテンツ開発業務には向いていません。

その点VAddyはあらゆる手続きがWebブラウザ で実施できますし、検査自体も圧倒的に速い。オープンソースの脆弱性検査ツールもありますが、問い合わせフォームのような「軽めのWebアプリケーション」だけを検査したいという場合だとそれらのツールでは重すぎます。いくつかの検査ツールも検討したものの、「軽めのWebアプリケーション」をライトに検査できるツールはVAddy以外に無かったというのが結論です。

セキュリティ要件が定義される案件が増えてきた

弊社がお請けしているWebコンテンツ開発案件で
はアプリケーション開発を外部のパートナー企業に依頼することも多く、その場合弊社のWebディレクター／デザイナーがパートナー企業から納品されるアプリケーションの受入検査を実施します。その際に一通りの機能テストは実施しますが、明確なセキュリティ要件がクライアントから提示されていない案件ではそれ以上のことは社内では実施せず、セキュリティ対策はパートナー企業におまかせしていました。

しかしながら、クライアントからのRFPにセキュリティ要件が定義されることが増えてくるにともない、弊社内でもパートナー企業から納品されるWebアプリケーションの脆弱性検査を実施する必要がでてきました。

クライアントから提示されるセキュリティ要件は「クロスサイトスクリプティング（XSS）対策を講じること」といったような粒度のものが多く、特殊な攻撃に対しての対策までは求められないので、VAddyのようなライトなツールで「基本的な検査はやっています」と言えることが重要になります。

デザイナーによる脆弱性検査がエンジニアの負荷を軽減

VAddy導入前は社内での脆弱性検査は私たち技術部門が実施していましたが、今ではWebディレクター／デザイナーがVAddyを使って自分たちで検査するようになりました。クロールデータの作成（検査のシナリオ作成）は多少めんどうなものの、前述したようにもともと彼らは受入検査時の機能テストを実施していたので、それと同時にクロールデータを作成してしまえば他に特別な手間や知識が必要ありません。
もちろん、何らかの脆弱性が発見された場合は私たち技術部門がWebディレクター／デザイナーをサポートしながらパートナー企業に修正依頼を出すことになるのですが、脆弱性検査の実行までをデザイナーたちだけでやってくれるだけでも技術部門の負荷は大幅に軽減されます。技術部門としては問題が発見されたときだけ対応すれば良いですからね。弊社ではデザイナーとエンジニアが席を並べて仕事をしているので、何か脆弱性が発見された場合はデザイナーたちと一緒にVAddyの検査結果画面を見ながら対策を検討しています。

自社サービスサイトの検査でも活用

VAddyの利用シーンは受託のWebコンテンツ開発だけではありません。弊社はISP事業などの複数の自社サービスサイトがあります。それらのサイトのWebアプリケーションは自社で開発しており、機能追加や変更が頻繁に発生します。私が開発している案件では単体テストの段階から頻繁にVAddyで検査しています。

開発の途中からSeleniumのテストを作るようにしているので、動作チェックをSeleniumで自動化させたあとはSeleniumのテストシナリオをVAddy用に少しカスタマイズして納品前にまとめてテストをしています。

今はまだCI（ContinuousIntegration）は導入できていないのですが、ちょっと自社サービスのアプリケーション管理が煩雑になってきたので、CircleCIの導入を検討しているところです。VAddyサイトの他社さんの事例でCircleCIとVAddyを連携している会社さんも拝見しましたので、近い将来でCIとVAddyを連携したいと思っています。

VAddyへの要望

あえて言えばクロールデータの作成補助機能のようなものがあるとうれしいですね。これだけ楽に検査できるので、もっと楽したいという欲がでてきました（笑）。VAddyとCIの連携を始めたら別の要望も出てくるかもしれませんが、今のところ要望はそれくらいでしょうか。
例えば検査結果のレポート機能なども、私たちが使う限りではこれ以上の詳細なレポートは不要かなと思います。脆弱性が発見された場合はすぐに修正しますし、どこにどんな脆弱性があるかが分かれば十分です。むしろ検査ごとに詳細なレポートが作成されることでVAddyの検査速度が落ちるようなことがあったら困ります。

とは言え、社内監査や四半期ごとのPCIDSS対策などで詳細なレポートが必要な企業もいらっしゃると思うので、そこは一回いくらという形でレポート作成オプションを出すというのはいかがでしょうか？

とにかく「速さ」と「手軽さ」はVAddyの最大の強みなので、将来機能追加をされる場合でもその強みは失わないで欲しいと思います。

先行事例３ヴェルク株式会社様

「VAddyは利用者がやらなくてはいけないことが少ない」

都内で受託開発業務と自社サービスを手がけているヴェルク株式会社。近年では自社サービス「board」における顧客サポートとセキュリティへの独自の取り組みが同業他社からの注目を浴びています。今年（2016年）にはベストベンチャー100にも選出されたヴェルク株式会社の代表取締役田向祐介氏にお話を伺いました。

ヴェルク株式会社について

弊社の事業の中心はWebアプリケーションやスマホアプリの受託開発業務です。もともと私が前職で業務系のシステムに携わっていたので、業務系のアプリケーション開発を強みとしていますが、ゲームなどのエンターテイメント系のシステム以外は幅広く対応できます。

2013年からは受託開発で得たノウハウをフィードバックする形で、自社サービスの提供を始めました。特に、2014年にリリースしたクラウド型業務・経営管理システム「board」はおかげさまで順調に売上を伸ばしています。自社サービスの運用で得られた経験を、受託開発のお客様にも積極的に提案させて頂いています。

サービスリリース時からセキュリティは意識していた

boardはサービスリリース当初からセキュリティに力を入れていました。
業務・経営管理システムという性質上、お預かりするデータの取扱いは特に慎重にならないといけません。もちろん、いかなるデータも重要ではあるのですが、boardがお預かりするデータは会社経営の核となるものなので、「漏れてはいけない度合い」が高い。情報漏洩のリスクに対してはかなり神経質にやっています。

受託開発業務の中でお客様が診断会社に脆弱性診断を依頼されたのを何度か見てきたので、セキュリティに対する意識は自然と高まっていました。

boardのリリース前には診断会社に脆弱性診断をお願いしましたが、その時WAF^注1のScutumを入れる前提だったので、WAFでカバーできない領域を重点的に診断していただくようお願いしました。

現在でも機密データの暗号化はもちろんのこと、WAFやIDS・IPS注2などの侵入対策や弊社内アクセス管理など、考えうる対策は可能な限りとっています。

それまでもセキュリティテストツールを試してはみたが・・・

boardを始める前、OWASPZAPを使って自分たちでセキュリティテストをやろうとしたことがありましたが、正直言ってめんどくさかった（笑）

セキュリティテストツールは正しく使えないと意味がありません。自分たちの勉強不足といえばそれまでですが、当時はツールを正しく使えているのかどうかが分かりませんでした。使い方を理解する時間が取れるのであれば強力なツールになると思いますが、私たちのようなアプリケーション開発者がカジュアルに使うにはハードルが高い。せっかくセキュリティテストをやっているのに、正しく使えてるのか不安になるようでは本末転倒だなと。

その点、VAddyは利用者がやらなくてはいけないことが少ない。クロール注3さえできていれば、後は自動で検査してくれます。クロールが正しく行えたかどうかのサーバーのログを見れば判断できます。VAddyは利用者の責任範囲が非常に狭いのです。

セキュリティにかけるコスト

セキュリティは非常に専門性の高い領域です。私はサービスの料金というのは専門性の高さに応じて上がるべきだと考えているので、VAddyの料金（月額$100）はWebサービスとしては高く感じるかもしれませんが、その分の価値はあると思っています。

幸い弊社では受託開発で得た利益をboardの開発に回すことができたので、セキュリティにも比較的余裕をもって費用をかけることができましたが、限られた予算の中でプロジェクトを進めなければならないスタートアップでは、セキュリティに回す予算が無いこともあるかもしれません。ただ、VAddyの料金程度のコスト（月額$100）で安全を担保できるのであれば、やっておくべきでじゃないかと思いますね。

VAddyの導入で変わったこと

VAddy の導入をきっかけに、board のEnd to End テスト（以下EtoE テスト）を整備するようになりました。VAddy を使うためには検査対象のアプリケーションを正しくクロールする必要があるのですが、board のような画面数の多いアプリケーションを手動クロールするのは現実的では無いので、EtoE テストを整備する必要があったのです。

board ではEtoE テストのシナリオを、単体テスト的なものと結合テスト的なものにわけています。
結合テストのシナリオにはVAddy 用のクロールとしては重複する項目がたくさんあって、全てをVAddy の検査対象にすると時間がかかりすぎるので、VAddy のスキャンには単体テストのシナリオだけを使っています。

今はVAddy のクロールデータを20 個くらいに分けていて、一日に一回スケジュール実行させています。CircleCI 上でVAddy Ruby クライアントツールを使ってVAddy のスキャンを自動実行していて、結果はSlack に通知するようにしています。

ちなみに、VAddy にクロールデータを流す時はelenium を使ってますが、普段はCircleCI 上でPhantomJS を使ってEtoE テストを行っています。

EtoE テストの整備は確かに面倒な作業ではあります。ただ、お客様からするとブラウザで正しく操作できることが全てです。例えばサーバーサイドでRuby のアプリケーションが正しく動いたとしても、フロントのJavaScript が動かなかったら意味が無いですよね（笑）
そういう意味でもEtoE テストは整備しておいたほうが安心です。

それ以外には、VAddy を使うことでセキュリティ知識も増えてきたことを感じています。
セキュリティは意図的にそれに触れていないと知識はなかなか入ってきません。VAddy の検査ログ（注：テストサーバーのアクセスログ）を見るとかなり勉強になりますしね。
めったにありませんが、万が一脆弱性が見つかった場合でも原因と対策を調べることで、セキュリティの知識が上がっていきます。
VAddy を使うことで日常的にセキュリティに触れるようになったことが大きいと思います。

インタビューを終えて

今回お話を伺った中で、田向氏が非常にバランス感覚の優れた方という印象を受けました。

少ない人数で運営されているboardが、製品の質だけでなく顧客サポートやセキュリティ対策で注目を集めているのは、ビジネス全体を見渡すことができる田向氏のバランス感覚によるものだと思います。

そのように考えると、boardで同業他社から問い合わせが来るほどのセキュリティ対策が取られているのも当然のことかもしれません。

先行事例４グルー株式会社様

「セキュリティテストの実施が営業活動での強みになる」

福岡で動画配信技術を中心とした自社サービスの開
発と受託開発業務を行っている、グルー株式会社　代表取締役迫田氏にVAddy導入の経緯とその効果を伺いました。

グルー株式会社とは

フリーランスエンジニアとして受託開発を中心に約8年間活動した後、自社サービスの提供を目的に、2011年に法人化しました。現在は自社サービスと受託開発業務を並行して行っています。動画配信系のサービス（Gemediar、1meeting）の開発／運用で培った知見が受託開発にも活かされています。自社サービスは社内のエンジニア2人で開発していますが、受託開発業務は外部のパートナー様に協力いただきながら行っています。

自分たちだけではセキュリティテストは難しかった。

社内のエンジニアだけで開発を行っていた当初はセキュリティも含めた品質は担保できていましたが、業務の拡大とともに外部の開発パートナーさんに協力いただくようになってから、パートナーさんと自分たちとのセキュリティ意識がずれる可能性がでてきました。

受託開発業務の方でお付き合いさせていただいている大手企業様の方では、年に一回まとまった規模の脆弱性診断を実施されています。その際は弊社もお手伝いしているのですが、準備や報告も含めてかなり重い作業だなという印象を持っていたので、それを私たちだけで行うのはノウハウや予算の点で現実的ではありませんでした。

その点、VAddyは特別なセキュリティ知識が無くても使えるので、外部のパートナーさんも含めた弊社の開発チーム全体のセキュリティ品質を担保するには最適なツールでした。そもそもVAddyを知る前はコードレビューによる脆弱性検査以外の方法が無いか悩んでいて、ソースコードの確認やミドルウェアやフレームワークを最新に保つ等の一般的な対策しかできていませんでしたので。

オープンソースのセキュリティテストツールも試してみましたが、お客様への訴求度という意味では少し弱かったです。やはり、セキュリティ専門の業者が提供している有償のツールを使って継続的に脆弱性検査をしていますとお伝えしたほうが安心して頂けました。

VAddyを使っていることが受託開発での強みになる

近年、クライアント企業の中でセキュリティ意識が高まっていることを感じています。クライアント企業（発注元）としては発注先が「きちんと作っているか」が当然気になりますが、中でも「セキュリティ品質」を意識されるお客様が増えてきました。

営業活動において品質を客観的にアピールすることは難しいのですが、セキュリティに関しては「VAddyを使っています」とはっきり言えるようになったことは大きいですね。自社でWeb Application Firewall（編注：Scutum）を開発・運用していて、実際の攻撃に対する知見を持っている会社が作ったツールなので間違いないですよと、私たちも言いやすい。新しいお客様との打ち合わせの際では、社内でVAddyを使ったセキュリティテストを回していることをお伝えしていて、お客様もそのことに価値を感じて頂けています。

コスト的にも月1万円程度ですむので、自社の開発コストとして十分カバーできる範囲です。今後は弊社が提供する価値の一つとして積極的にアピールして行きたいですね。

VAddyの導入で変わったメンバーの意識

VAddyを使うようになってから、外部の開発パートナーの意識も変わってきたように感じます。

ご協力いただいている開発パートナーさんも弊社でセキュリティテストを実行していることをご存知なので、実装方法について事前に質問されることが増えました。それまでが適当だったという意味ではありませんが、VAddyの導入をきっかけに、セキュリティに限らず広い意味での品質に対する意識が以前より高まりました。

また、お客様にも継続的なセキュリティテストの実施をご理解いただいたので、「この脆弱性は大丈夫ですか？」といった類の質問はほとんど無くなりました。

今後は自社サービスにも導入していきます

現在はまだVAddyは受託開発にしか導入できていないのですが、準備が整い次第自社サービスにも順次導入していきます。先日リリースした「”社内限定”動画学習サイトノービル」では取り扱う顧客情報も多くなるので、早急導入しています。