FAQ Session About Robots Txt – Page Speed – Sitemap and Crawl Budget

One of our NShamimPRO members Fahad Abdul Aziz asked me some questions in our group and here is the answers in the video.

The answers were like rapid fast but I hope you will get all the basics stuffs to know about Sitemap, Crawl Budget, Robots.txt and Page Speed.

Here is the video (Subscribe me on YouTube if you want to get notified about future videos) –

Here is all the questions he asked:

Sitemap Questions:

1. কয়টা page আমি index করতে চাই টা sitemap দিয়ে কিভাবে করব? আমি যদি contact page no index করতে চাই তাহলে কি robots.txt তে disallow: /wp-content/contact dibo? আর site map এ এটা কিভাবে no index করব?
2. dynamic sitemap vs statc sitemap? কোনটার কাজ কি?
3. sitemap ছাড়া duplicate content findout করার কোন way আছে?
4. sitemaps এর date change করলে কি কোনো problem হয়?
5. excluded page মানে কি no index page গুলা?
6. sitemaps allows 50k ulrs. তাহলে এর বেশি urls থাকলে সেগুলোকে কিভাবে 2nd site map করব?
7. what is html sitemaps?
8. regular sitemap কিভাবে up to date করতে হয়?

Crawl budget questions and my thoughts:

1. crawl budget মানে কি টোটাল যত গুলো কন্টেন্ট আছে?

আমি যটুকু বুঝলাম যেCrawl Budget যেভাবে improve করতে হবেঃ

1. page speed
2. use internal links
3. Perfect siloing
4. Duplicate contents remove করতে হবে
5. Update the content
6. avoid long redirect chains ( 301 & 302 এ দুইটা কি?)
7. find and fix http error
8. make use of rss. এটা বুঝি নাই
9. take care url parameters- এটা বুঝি নাই
10. Hreflang Tags- এটা বুঝি নাই ভাই।

Robots.txt questions:

1. disallow: tracback কী?
2. /wp-content মানে কী? আর /wp-ccontent/themes দারা only themes gulo ki deindex হবে?
3. directory or sub directory কী?
4. subfolder মানে কি kayakspoint.com/blog?
5. Robots.txt vs Meta directives? কোনটা বেটার?
6. যদি noindex tag দেওয়া page robots.txt দিয়ে ব্লক করা থাকে তাহলে কোন সমস্যা হবে?
7. From google “Important! For the noindex directive to be effective, the page must not be blocked by a robots.txt file. If the page is blocked by a robots.txt file, the crawler will never see the noindex directive, and the page can still appear in search results, for example if other pages link to it. ” আমার প্রশ্ন হলো যদি robots.txt দিয়ে disallow করা থাকে তাহলে no indexকরলে serp এ কেম্নে আসবে?
8. non-search crawler দের জন্য কি আলাদা user-agents use করতে হবে নাকি Googlebot দিলে হবে? <meta name:”googlebot” content:noindex /> naki <meta name:”AdsBot-Google” content:noindex />
9. X-Robots-Tag HTTP header বিষয়টা তেমন ক্লিয়ার না। তবে এটা জানি যে মেটা ট্যাগে রোবট noindex ar X robot http header এ mention করতে হবে।
10. what is Apache Web Server?
11. rel canonical tag কেন use করা হয়? কোন একটা ভিডিওতে বলেছিলেন ভুলে গেছি ভাই. ভিডিও নামটা বললে দেখব আর এর সাথে www version or non www version কোনটা index করব তা কিভাবে করে? ভিডিও র নামটা বললে দেখে নিব. অন্য বিষয় নিয়ে মাথা ঘামাতে গিয়ে এটা ভুলে গেসি।
12. rel canonical vs 301? বুঝি নাই ভাই।

Page Speed কিভাবে ইম্প্রুভ করতে হবে তা আমি study করে যা বুঝলাম এর মধ্যে কিছু প্রশ্নও আছেঃ

1. page loadng 1.5 sec er moddhe rakhte hobe.
2. Page speed increase korte ei kaj korte hobe-
3. compress images (WP Smush Pro Plugin), Gzip
4. Clean and compress code ( HTML, CSS, Java script and others). এর কোনো tools আছে?
5. Activate browser caching (W3total cache)
6. Use cdn
7. Check page speed tools ( Google page speed insights, WebPageTest.org)
8. use responsive theme
9. Reduce redirects ( How to do it?)
10. Remove render-blocking JavaScript
11. Improve server response time
12. Use external hosting platforms for video (YouTube, Vimeo, Wistia). এখানে কি embeded link দিতে হবে?
13. Prioritize above-the-fold content (lazy loading). How to do it?
14. Reduce the number of plugins
15. Reduce external scripts- এটা বুঝি নাই
16. Monitor mobile page speed
17. Implement AMP. onek somoy m.website দেখা যায় এর কারন কি?
18. Database optimization in CMS. এটা বুঝি নাই
19. Reduce the use of web fonts. এটা বুঝি নাই
20. Detect 404 errors- এটা কিভাবে করে
21. 26 tools improving page speed ( https://www.webfx.com/blog/marketing/26-tools-improve-page-speed/ )
22. Minimize RTTs (Round-trip Times).