robots.txt and sitemap.xml analyzer robots.txt and sitemap.xml analyzer

Analyze robots.txt and sitemap.xml online

Enter a website URL to fetch robots.txt, parse crawler groups, detect Sitemap directives and validate linked sitemap XML files.

The analyzer checks whether important bots can crawl the root path, counts sitemap URLs, finds duplicate or external URLs and performs a sampled broken-link check for sitemap entries.

הכלי פועל ישירות בדפדפן ומוכן לבדיקות מהירות ללא התקנת תוכנה.
ניתן למחוק קלט ולחשב מחדש באופן מיידי, וזה שימושי למשימות קטנות חוזרות ונשנות.
השתמש במצב מסך מלא כאשר אתה צריך יותר מקום עבור טקסט ארוך, נתונים מובנים או בלוקים גדולים של תוצאות.
לחצני העתקה זמינים בפלט שנוצר, כך שניתן לעשות שימוש חוזר בתוצאות בקוד, במסמכים או בצ'אטי תמיכה.
רוב הפעולות הן דטרמיניסטיות: אותו קלט ואפשרויות מייצרות את אותו פלט.
עבור תוכן רגיש, העדיפו כלי דפדפן מקומיים וסקור את התוצאה לפני שתשתף אותה.