こんばんは。黒蜜と申します。 こちらのスペースをお借りして、ＨＰをつくったのですが、最近ロボット検索なるものの事を知りました。 そこで質問なのですが、アルテミスのスペースは、ロボット検索等でＨＩＴしてしまうのでしょうか？ お答えいただけると嬉しいです。 それでは乱文ですがこれにて失礼します。

>>> webmaster          .. 2005年11月03日 02:41   No.[198002] はい、ロボット検索でhit致します。 ロボットを避けることも可能ですが、この辺の知識はタグの基本知識と なりますので、ご自身にてお調べ下さい。

>>> 黒蜜          .. 2005年11月04日 19:04   No.[198003] こんばんは。黒蜜です。 webmasterさま、お答えありがとうございました。 検索避けのタグを挿入することは可能なのですね。 参考になりました。

>>> Googleに登録できないようなのですが          .. 2005年11月22日 18:55   No.[198004] GoogleのSitemapを使ってページを登録しようとしたのですが ファイルの確認ができないというエラーメッセージが出ました。 http://www.google.com/webmasters/sitemaps/login また、Googleで検索してもヒットしません。 Googleからのアクセスを拒否するような設定になっているのでしょうか？

>>> webmaster          .. 2005年11月23日 01:24   No.[198005] 当システムは、画像置き場やバナー直リンクなど、外部参照を 禁止するためにサーバ上からの直接のファイル読み込みを排除しています。 googleのsitemapも、単なるサイトの「追加」だけならば登録出来ますが、 「サイトの確認ステータス」は、HPスペース上に読み込み用ファイルを アップし、それをgoogle側から取り込んでデータを認識する仕様と なっておりますため、この外部参照禁止措置にかかっているようです。 これはgoogle側の仕様の問題になりますし、検索エンジンといえど サーバ内部の情報を引き渡すプログラムはセキュリティホールを 作り出す原因となりますので、当方からの積極的な許可は考えておりません。 また、googleの通常検索はヒット致します。 http://www.google.co.jp/search?hl=ja&rls=GGLG%2CGGLG%3A2005-36%2CGGLG%3Aja&q=%E3%82%A2%E3%83%80%E3%83%AB%E3%83%88%E7%84%A1%E6%96%99%E3%83%9B%E3%83%BC%E3%83%A0%E3%83%9A%E3%83%BC%E3%82%B8&btnG=Google+%E6%A4%9C%E7%B4%A2&lr= googleへの登録をご希望でしたら、 http://www.google.co.jp/addurl/?continue=/addurl こちらよりご登録いただければ、インデックス化されます。

>>> 846の質問をした者です。          .. 2005年12月12日 21:29   No.[198006] お答えいただきありがとうございます。 しかし私のみたところ、 http://s3.artemisweb.jp/robots.txt にアクセスしたときに 302 Found で http://s3.artemisweb.jp/robots.txt/ に飛ばされ、 最終的に 500 Internal Server Error が返ってくるところに問題がるように思えます。 別に借りているサーバでGoogleからのアクセスを調べたところ、 まず /robots.txt を読み込み、データの取得が禁止されてないことを確かめたのち、 サイトマップのデータを読み込んでいます。 http://www.google.co.jp/addurl/ から何度登録しても検索に反映されないのも、 同じように robots.txt が使えないからではないでしょうか。 Googleの件がなかったとしても、ファイルがないときのステータスコードは 404 Not Found であって、500 Internal Server Error というのは不適切ではないでしょうか。 ご検討いただければ幸いです。

>>> webmaster          .. 2005年12月13日 15:25   No.[198007] http://www.google.co.jp/search?hl=ja&rls=GGLG%2CGGLG%3A2005-36%2CGGLG%3Aja&q=s3.artemisweb.jp++&lr= や http://www.pagerankon.com/stats_s3.artemisweb.jp.html あと、ヤフーの http://search.yahoo.co.jp/search?p=s3.artemisweb.jp&fr=top&src=top などを見る限り、検索クローラはご指摘のs3サーバも収集している ようです。 取り急ぎの対策方法としましては、robots.txtを生成して頂き、 User-agent: * Disallow: とファイル内に記述頂いて、ご自身のFTPにアップして頂ければ、 ご自身のサイトの全ディレクトリをサーチするはずです。 あともう一点、こちらURLを短くするための仕様ですが、 ご自身のURLに/hp/を入れてみてください。 http://s1.artemisweb.jp/sample/ であれば、 http://s1.artemisweb.jp/hp/sample/ という感じです。これでgooglesitemapsも認識するかと思います。

>>> 846です          .. 2005年12月14日 21:32   No.[198008] アドバイスありがとうございました。 robots.txtを用意し、URLに/hp/を入れてsitemapの登録を試してみましたが、次のようなエラーがでて駄目でした。 > 指定された場所にサイトマップが見つかりませんでした。 > サイトマップの URL が正しいかどうかを確認し、サイトマップを再送信してください。

>>> webmaster          .. 2005年12月15日 00:37   No.[198009] 当方も確認してみました。 sitemap自体は認識していますが、空ファイルが存在してもロボットが 拾えない動作があるらしく、エラーを返すようです。 これは先にご説明した通り、google側の内部仕様によるもので、 googleからはgooglebotの技術仕様が企業秘密として非公開となっているため 当方からは具体的な対処が出来ない、というのが現状です。 また実際に導入出来るページでもテストしてみましたが、各所に文字化けが 残っていたりと、googlemaps自体もβ版の域を出ておりませんので、 ご要望についてはgoogleに提出頂くと改善される余地はあるかと思われます。 なお上記URLにもありますが、システムや技術の問題はさておき、 内容のあるコンテンツをお作り頂き、ユーザーのアクセスが安定した サイトにはyahooからのディレクトリ登録もされますし、googleやMSNの 検索ロボットもクロールしておりますので、これからも充実したサイト作りを お楽しみ下さい。

>>> 846です          .. 2005年12月15日 22:26   No.[198010] 確認してみたところ、 http://s3.artemisweb.jp/robots.txt にアクセスすると、 302 Found で http://s3.artemisweb.jp/robots.txt/ に飛ばされます。 飛ばされたページのタイトルは「404 Not Found」なのですが、 HTTPのステータスコードは 500 Internal Server Error のままです。 それとrobots.txtは/sample/robots.txtではなくて /robots.txt を読む動作だと思います。 空ファイルの http://s3.artemisweb.jp/robots.txt を用意してはいただけませんか？