どなたかご教示ください。
昨年11月中旬までは問題なくGoogle検索にヒットしていたのですが、ある日から検索にヒットせず、インデックスに登録ができていない旨、Googleから通知が入っておりました。
元々Hubspotのデフォルトのドメインを利用していたのですが、この時期、他ドメインへの接続を試していた※時期でしたので、その際の変更が影響した可能性があるのですが、改修の方法が掴めず、どなたかお気づきの点がありましたらご教示ください。
※一度ドメイン変更の設定を行ったのですが、うまくいかず、一旦デフォルトのドメインに戻しています。
以下エラーの内容と関連しそうな情報を記載致します。
不足事項、確認事項などございましたらお願い致します。
■Google Search Console におけるインデックス登録時のエラー内容：
「ページをクロールできません: robots.txt によりブロックされました」
■Googleが認識しているrobots.txtの確認（テスターツール使用）：
「robots.txt ファイルがありません」
(https://www.google.com/webmasters/tools/robots-testing-tool)
■Hubspot上で確認した対象ドメインのrobots.txtの内容：
User-agent: *
Disallow:
■対象サイト：
https://47855366.hubspotpagebuilder.com/ja/logro
@澤田雅之 さん、ご質問ありがとうございます。HubSpotの長島です。
類似のお問い合わせがあるか確認いたします。少々お待ちください。
@anagashima さん、ありがとうございます。
その後、状況如何でしょうか。
宜しくお願い致します。
Hi @澤田雅之, have you been able to resolve this issue?
If not, it seems like your robots.txt file may be the issue here. The “Disallow” directive without specifying any paths effectively blocks all search engines from crawling any pages on your site. Since the error message in Google Search Console mentions “blocked by robots.txt,” it’s likely that this directive is preventing Googlebot from crawling your pages, and could be why your site isn’t indexed.
Try updating your robots.txt file to allow search engines to crawl your page by editing your robots.txt to:
User-agent: *
Allow: /
Once you’ve made the change, use the Google Search Console Robots.txt Tester again to make sure it’s working as expected. You should see that Googlebot is allowed to crawl your pages. If so, request a reindex of your pages.
Let me know how it goes, and if you need further help!
こんにちは
サイトを見る限り、まだHubSpotのシステムドメインを利用されているようですが、この問題は解決しましたか？
これらのドメインでコンテンツをホスティングしても、HubSpotドメインであり、検索エンジンに検出されないため、 SEO のメリットはありません。コンテンツをホスティングするには 、自分のドメインを接続 することをお勧めします。
システムドメインの管理
HubSpotのシステムドメインを使い続けることは、今後のことを考えてもお勧めできないため、ドメインの変更を推奨します。
ドメインの変更に関しては、こちらをご覧ください
サポートが必要でしたら、お気軽にお声がけください。