「Webクローラ搭載」とありますが、どういったメリットがあるのですか？

サイト内のコンテンツを検索対象とする場合、Webクローラを利用してコンテンツを収集することができます。
Webクローラを利用しない場合、サイト内コンテンツの収集のためにファイルシステムからコンテンツを収集しますが、Webサーバのファイルシステムからコンテンツを収集するためのソフトウェアをインストールする必要が生じます。
また、コンテンツがサーバ側で自動的に生成されているような場合(CGIやPHP、Javaなどによるコンテンツ生成が行われている場合)には、ファイルシステムからの収集ができません。
Webクローラを使うことによって、HTTPまたはHTTPSでアクセス可能なコンテンツを収集することが可能になります。ただし、Webクローラでは、リンクをたどることでコンテンツを収集するため、どこからもリンクされていないコンテンツは収集することができません。