اگر وردپرس روی دامنه اصلی شما نصب شده کافیه توی همین مسیر باشید اما اگر در پوشه جدایی اونو نصب کردید باید وارد همون پوشه از هاست خودتون بشید. حالا که به مسیر درست رسیدید با استفاده از برنامه notepad یا هر نرم‌افزار ویرایشگر متن که دارید یک فایل با نام robots.txt و همین فرمت بسازید و با کلیک روی دکمه آپلود در فایل منیجر هاست اونو به این مسیر اضافه کنید. یا اینکه با کلیک روی دکمه FILE+ کلیک کنید تا پنجره‌ای مشابه تصویر زیر براتون باز بشه و بعدش نام فایل را در فیلد New File Name با نام robots.txt وارد کنید و در نهایت روی دکمه Create New File کلیک کنید تا فایل شما ساخته شود. شما می توانید طبق دستورالعملی که در بخش قبلی آموزش دادهشد، فایل robots.txt خود را ویرایش و بهینه سازی کنید. بعد ازاینکه کار شما به پایان رسید روی دکمه “ذخیره تنظیمات به robots.txt” کلیککنید تا تغییرات شما ذخیره شود. در این آموزش دستورالعمل مثال بالا در فایل robots.txt به ربات های جستجو اجازه ایندکس کردن تمام فایل ها و تصاویر وردپرس را می دهد.
آیا اجازه برای ایندکس کردن فایل با فرمت خاصی مثل pdf یا png را دارد یا خیر؟! در این آموزش به نحوه ساخت robots.txt برای وردپرس پرداخته و در نهایت نیز یک فایل بهینه و استاندارد robots.txt برای سایت‌های وردپرسی را درج می‌کنیم. برای بهینه‌سازی سایت وردپرسی خود میتوانید از افزونه‌های سئو استفاده کنید که اکثر آنها تنظیماتی برای ایجاد فایل robots.txt دارند.
چگونه با مهارت‌های وردپرس، اکسل و فتوشاپ یک وبسایت بی‌نقص بسازیم
فهرست مطالب
یا دکودرهای (رمزگشا) مخصوصشان نوشته شده است، یا سورس شما را دارای باگ میکند یا محدود به نگارش PHP خاصی میکند که بسیار وقت‌گیر و دوباره‌کاری به بار می‌آید. ضمن اینکه غالبا هزینه‌های بسیار بالایی برای تهیه آنها نیاز است و همچنین امنیت کامل را برای شما تامین نمی‌کنند. زی لایسنس اولین و برترین سرویس است که بصورت ۱۰۰% ایمن برنامه نویسی شده است و بصورت یک سامانه آنلاین جهت مدیریت و ساماندهی لایسنس ها با الگوریتمی بسیار نوین و ایمن برای مشترکین ایفای نقش میکند. بطور کلی توسط سرویس زی لایسنس میتوانید برای کلیه پروژه های php، اسکریپت، سیستم های فروشگاهی، سایت ساز، قالب، افزونه و هر آن چیزی که میخواهید مجوز و لایسنس تعریف کنید.
اگر پلاگین یواست را بر روی سایت خود ندارید ابتدا باید آن را نصب و فعال کنید. برای اینکار از پیشخوان وردپرس و منو سمت راست به بخش افزونه‌ها بروید و روی گزینه افزودن کلیک کنید. اسم پلاگین Yoast SEO را مطابق تصویر زیر جستجو کرده و آن را نصب کنید. مدیرهای سایت‌ها می‌توانند با ساخت robots.txt روی هاست خود، فقط به خزنده‌های اخلاق مدار پیشنهاد دهند.
چگونه با استفاده از Yoast SEO اقدام به ساخت و ویرایش Robots.txt بزنیم؟
ابتدا فایلی متنی با نام robots.txt در کامپیوتر شخصی خود ایجاد نمایید. با استفاده از متن بالا مگ سئو شما دسترسی تمام ربات‌ها به دایرکتوری wp-admin را مسدود کردید اما آنها اجازه دسترسی به فایل widgets.php داخل این دایرکتوری را دارند. همچنین باید حواستان باشد قوانین داخل این فایل به کوچک یا بزرگ بودن اسامی حساس هستند. به عنوان مثال در نمونه بالا نام تصویر را باید درست به همان شکل وارد کنید و نوشتن اسم تصویر مورد نظر به‌شکل Myphoto.jpg، شما را از هدفتان دور میکند. این عبارت به نام ربات یک موتور جستجو اشاره میکند که قوانین داخل فایل باید برای آن اجرا شوند. میتوانید فایل خود را با استفاده از ابزارهایی مانند Google Search Console تست کنید تا اطمینان حاصل کنید که به درستی کار میکند و دستورات شما را به طور صحیح اجرا میکند.
با این کار، موتورهای جستجو وقت بیشتری برای ایندکس صفحات مفید و ضروری شما دارند. حالا که فایل را ایجاد کردید بر اساس توضیحاتی که در ادامه میدم میتونید تا با دستورات و قوانینی که این فایل داره دسترسی برای موتورهای جستجو توسط این فایل را به پوشه‌های مختلف از هاست خودتون کنترل کنید. پس از ایجاد فایل robots.txt و اعمال تغییرات موردنظر خود بهترین کار این است که با استفاده از یک ابزار تست کننده robots.txt آن را آزمایش کنید تا از نصب صحیح آن مطمئن شوید. اگر از افزونه All In One SEO استفاده می کنید می توانید فایل robots.txt را در رابط افزونه ایجاد و ویرایش کنید. تنها کاری که باید انجام دهید این است که در پیشخوان وردپرس به مسیر سئوی کامل » مدیریت قابلیت ها بروید و ویژگی Robots.txt را فعال کنید. شما می توانید هر کدام از روش ها را که در سایت شما بهتر کار می کند، انتخاب کنید.
چرا که آدرس هایی مثل آرشیو، برچسب، دسته بندی و… در وردپرس در حکم یک پوشه یا دایرکتوری نیستند که با استفاده از این روش بتوانید دسترسی به آنها را غیرفعال کنید. بلکه این آدر‌ها از طریق دیتابیس تعیین شده اند و عملا پوشه ای با نام category یا tag در هاست شما وجود ندارد که با استفاده از این روش بخواهید دسترسی را محدود کنید. حال که با ساختار فایل robots.txt وردپرس آشنا شدید در ادامه به معرفی راه هایی برای بهینه سازی robots.txt می‌پردازم تا با استفاده از این راه ها سئو وردپرس خودتان را بهبود دهید. با جلوگیری از خزیدن صفحات غیرضروری، موتورهای جستجو زمان و منابع کمتری را صرف بررسی سایت می‌کنند. این امر باعث می‌شود که بخش‌های اصلی سایت سریعتر ایندکس شوند و سرعت پاسخگویی سرور بهبود یابد. برای ساخت فایل robots.txt وردپرس ابتدا وارد هاست خودتون بشید و بعد از ورود روی File Manager کلیک کنید تا به فایل منیجر هاست هدایت شده و بتونید فایل‌های موجود در هاست را کنترل کنید.
به عنوان مثال، Googlebot-Image قوانین رو برای اسپایدر Google Images تعریف می کنه. را داشته باشید چراکه گاهی به دلیل مشکلات فنی در سایت، مقاله شما ممکن است با آدرس‌های مختلف و با مقادیر متفاوت انتشار پیدا کند. به همین منظور دستور زیر را به شکل موقت درج می‌کنید تا ربات‌ها آدرس‌های دارای کاراکتر علامت سؤال را ایندکس نکنند.
ترکیب هوشمندانه این تکنیک‌ها منجر به بهبود کلی رتبه سایت در نتایج جستجو خواهد شد. وجود محتوای تکراری یا صفحات مشابه در سایت می‌تواند منجر به کاهش ارزش SEO سایت شود. با تنظیم دقیق فایل robots.txt، می‌توان از ایندکس شدن صفحات تکراری جلوگیری کرد و به موتورهای جستجو کمک کرد تا به راحتی صفحات اصلی و منحصر به فرد را شناسایی کنند. برای ختم این مقاله، باید دانست که در بیشتر مواقع نیازی نیست فایل robots.txt وردپرس خود را دستکاری کنید.
توسط این فایل قسمت‌های محدود و مشخص از سایت شما توسط موتورهای جستجو ایندکس می‌شود. درواقع توسط این قسمت مشخص می‌شود که گوگل به چه قسمت‌هایی دسترسی داشته باشد و سراغ محتوای غیر مرتبط نرود. آزمایش کردن کدهای فایل robots.txt با یکی از ابزارهای موجود قبل از اینکه به وب سایت تون اضافه بشه خیلی مهمه، با این آزمایش می تونین مطمئن باشین که هیچ خطی رو اشتباه ننوشتین. کد بالا روی هزاران وبلاگ بازتولید شده و به نظر من بهترین قوانینی نیستن که میتونین به فایل روبات سایت تون اضافه کنین. این کد چندین سال پیش در سایت وردپرس منتشر شده و از اون زمان هیچ تغییری نکرده. مثلا Digg illustrates موضوع جدیدی نیست و سالهاست کسی در موردش نگران نیست تا در کدهای ربات بهش اشاره بشه.
این فایل به موتورهای جستجو کمک میکند تا زمان خزیدن (Crawling) را بهینه کرده و از مصرف بی‌مورد منابع سرور جلوگیری کنند. یک ربات باید در ابتدا خزشی را صورت بدهد و سپس تصمیم میگیرد که آن را در دیتابیس موتورهای جستجو ذخیره کند یا نه. هر ربات استانداردی قبل از خزیدن صفحه‌ای از یک دامنه، ابتدا فایل robots.txt را می‌خواند و بر اساس دستورات موجود در این فایل، اجازه خزیدن را پیدا میکند تا بتواند ایندکس را انجام دهد. به طور کلی، هدف از بهینه سازی فایل robots.txt جلوگیری از خزیدن ربات های موتورهای جستجوگر در صفحاتی است که به صورت عمومی در دسترس نیستند. به عنوان مثال، صفحاتی در پوشه wp-plugins یا صفحاتی در پوشه مدیریت وردپرس شما وجود دارند. ما در این مطلب آموزش ایجاد فایل robot.txt برای وردپرس، تنظیمات و بهینه سازی آن را در اختیار شما عزیزان قرار دادیم.
چگونه با استفاده از فایل robots.txt اقدام به جلوگیری از دسترسی به پوشه یا فایل کنیم؟
برای ارتباط با کارشناسان ویکی دمی میتوانید از راه های ارتباطی زیر استفاده نمایید. ارسال دیدگاه به معنی این است که شما ابتدا قوانین ارسال دیدگاه را مطالعه کرده‌اید و با آن موافق هستید. چیزی که شهر وردپرس را از سایر مجموعه های طراحی سایت متمایز میکند بودن جمعی از افراد دلسوز در تیم شهر وردپرس است که تنها دغدغه شان حل مشکلات شماست. سپس شما با رفتن به مسیر All in One SEO → Robots.txt قادر به مدیریت آن خواهید بود.
این ابزارها به شما بازخورد دقیقی از وضعیت فایل و مشکلات احتمالی می‌دهند و در نتیجه میتوانید خطاهای احتمالی را برطرف کنید. به طور پیش فرض از کراولر Googlebot برای این آزمایش استفاده می شه اما شما می تونین از چهار کراولر دیگه (Google Image, Google Mobile, Mediapartners Google و Adsbot Google یا همون Adwords) هم برای این آزمایش استفاده کنین. اگر تصمیم دارین از چند تا User Agent خاص استفاده کنین حتما باید در ابتدای فایل Robots.txt اونها رو به صورت یک لیست معرفی کنین. سپس زیرمنوی “robots.txt Tester.” را انتخاب کرده تا ابزار تست این فایل را مشاهده کنید. برای غیر فعال کردن دسترسی به یک فایل کافی است آدرس مستقیم فایل را به صورت پوشه بندی مانند نمونه زیر تعریف کنید.
آیا برای سایت وردپرس خود به فایل Robots.txt احتیاج دارید؟
اما Robots.txt چیست؟ چطور این فایل را به صورت بهینه برای سئو ایجاد کنیم؟ و از کجا بدانیم که این فایل هیچ نقصی ندارد؟ در این مقاله می خواهیم همه این موارد را بررسی کنیم. خب در اینجا ما چون از قبل فایلرا در هاست اپلود کردیم با کلیک روی دکمه Submit گزینه سوم را انتخاب کنید. با عضویت در سرویس زی لایسنس، پنلی برای شما فراهم می‌شود که با آن میتوانید به تمام محصولات خود لایسنس اختصاص دهید و از محصولات و خدمات خود محافظت کنید. این کار به شما کمک میکند تا جلوی انتشار و استفاده‌های غیرمجاز از محصولات خود را بگیرید و به درآمد بیشتری دست یابید. برای عضویت در سرویس زی لایسنس، به راحتی میتوانید از طریق منوی سایت، بر روی گزینه ثبت نام کلیک کنید. در صورت عضو سایت هستید، با ورود به پنل کاربری، به سادگی وارد سرویس زی لایسنس شوید.
فایل robots.txt چیست؟ بهینه سازی فایل ربات در وردپرس
Robots.txt یک فایل متنی ساده است که به موتورهای جستجو می‌گوید کجای سایت شما را کراول کنند و کجا را کراول نکنند. بخش خوب ماجرا این است که برای استفاده از فایل Robots.txt و بهینه‌سازی آن، نیاز به دانش فنی زیادی ندارید. سایت زرین هاست با اتخاذ این رویکرد می‌تواند در رقابت با سایت‌های دیگر پیشرو باشد و تجربه کاربری بهتری را به بازدیدکنندگان ارائه کند. بهینه‌سازی فایل robots.txt می‌تواند به عنوان یکی از عوامل فنی در بهبود رتبه سایت عمل کند.
با افزودن نقشه‌های سایت به فایل robots.txt، شما میتوانید ایندکس همه صفحات موجود در نقشه سایت خود را برای رباتهای گوگل آسان کنید. و به‌وسیله آن می‌توان صفحاتی که محتوای آنها از اهمیت چندانی برخوردار نیست ایندکس نشاند. درواقع موتورهای جستجو توسط این ربات متوجه می‌شوند که به چه بخش‌هایی اجازه دسترسی دارند. علاوه بر بلاک کردن wp-admin، wp-content و wp-includes، جف استار صفحات Trackbacks و فایل xmlrpc وردپرس رو هم مسدود کرده که توسط موتورهای جستجو پیمایش نشن و همینطور صفحات نظرات.
در بخش نحوه ساخت فایل robots.txt بیشتر راجع به این دستورات صحبت خواهیم کرد. شما میتوانید با استفاده از چندین دستورالعمل به URLهای خاصی اجازه فعالیت دهید یا آنها را ممنوع و مسدود کنید، همچنین امکان افزودن چند نقشه به سایت را برای شما فراهم میکند. برای انجام اینکار، در ابتدا این افزونه را در سایت خود نصب و فعال کنید. تا اینجای مطلب شما را با فایل robot.txt و نحوه عملکرد آن آشنا کردیم.
نتیجه این آزمایش به صورت هایلایت کردن خطاهایی که در فایل robots.txt وجود داره نمایش داده می شه، مثلا تعریف کردن یک سایت مپ که وجود خارجی نداره میتونه یک خطا در فایل روبات باشه. این دستورالعمل ها رو غیر استاندارد می دونن چون همه کراولرها اونها رو پشتیبانی نمی کنن، البته در عمل اکثر موتورهای جستجو این قوانین رو می شناسن. در عین حال، در سایت شما صفحات غیر مهمی وجود دارد که نیازی به دیدن شدن ندارند. برای مثال بیایید فرض کنیم شما سایت فروشگاهی‌ای که دراید که هزاران صفحه دارد و از فیلترهای زیادی برای این محصولات استفاده کرده اید. اگر درست بود حالا محتویات فایل robots.txt را وارد ویرایشگری که میبینید بکنید و روی دکمه Submit کلیک کنید تا پنجره زیر برایتان باز شود. بنابراین مشابه مثال قبل ابتدا با استفاده از دستور User-agent ربات خودمان را تعیین می‌کنیم.
البته در نظر داشته باشین وقتی که مشخص می کنین فایل سایت مپ شما کجا قرار داره، نیازی به تعریفuser agent ندارین. در حالت کلی، سایت مپ رو در هر جایی از فایل robots.txt از ابتدا تا انتها میشه تعریف کرد. با گسترش روزافزون اینترنت و رشد سایت‌های وردپرسی، رقابت در جذب مخاطب و کسب رتبه‌های برتر در نتایج جستجو هر روز پیچیده‌تر شده است.
با لایسنس گذاری بر روی محصولات، این امکان فراهم می‌شود که مالکیت و کنترل محصولات را حفظ کنید و اجازه استفاده از آنها را به دیگران بدهید. این فرایند، امنیت و حقوق مالکیت فکری شما را تضمین میکند و محافظت از محصولات شما در مقابل استفاده‌های غیرمجاز فراهم میکند. کد اسنیپت (Code Snippet) قطعه کد کوچکی است که می توانید در سایت وردپرس خود استفاده کرده و ویژگی…
همانطور که می دانید، افزونه یوآست سئو یکی از بهترین و محبوب ترین افزونه های سئو برای وردپرس می باشد که به شما این امکان را می دهد تا سایتتان را به بهترین شکل ممکن هم برای کاربران و هم برای موتورهای جستجوگر بهینه کنید. جدای از آن، در مورد افزایش خوانایی محتوای شما نیز به شما کمک می کند، به این معنی که کاربران از خواندن محتویات سایت شما لذت خواهند برد. علاوه بر قابلیت های بهینه سازی، این افزونه به شما امکان ایجاد فایل robots.txt را نیز می دهد. ربات های جستجوگر به محض ورود به سایتی ابتدا این فایل را بررسی می‌کنند تا ببینند به چه دایرکتوری هایی دسترسی دارند و بعد از اینکه وظیفه و مسیرشان مشخص شد شروع به بررسی کامل یک سایت می‌کنند. خوب احتمالا بعضی از شما که دارین این پست رو می خونین می خواین به راحتی یه کدی رو کپی کنین تو فایل رباتتون و به بقیه کاراتون برسین.
پس از اتمام کار ، فراموش نکنید که روی دکمه ” Save robots.txt file” کلیک کنید تا تغییرات خود را ذخیره کنید. پس از حذف متن پیش فرض، میتوانید قوانین robots.txt خود را اضافه کنید. توصیه می کنیم از قالب ایده آل robots.txt که در بالا به اشتراک گذاشتیم استفاده کنید. برای بلاگ‌های شخصی، تمرکز بر نمایش پست‌های جدید و مقالات مهم است و محدودیت‌ها بیشتر بر روی صفحات سیستمی و مدیریتی اعمال می‌شوند. ابزارهای آنلاین متنوعی مانند SEO Analyzer وجود دارند که میتوانید فایل Robots.txt خود را در آنها تست کنید.
علاوه بر این، برای اسپایدرهای مختلف گوگل زمان های متفاوتی رو هم نمی تونین انتخاب کنین. اگر دو تا user agent متفاوت از گوگل مثل Google image و Google news دارین، نمی تونین زمان های متفاوتی برای crawl delay اونها انتخاب کنین و هر زمانی که مشخص کنین برای همه کراولر های گوگل استفاده میشه. داده های شخصی شما برای پشتیبانی از تجربه شما در این وب سایت، برای مدیریت دسترسی به حساب کاربری شما و برای اهداف دیگری که در سیاست حفظ حریم خصوصی ما شرح داده می شود مورد استفاده قرار می گیرد.
ساخت فایل robots.txt برای هر سایتی ضروری است؟
در این نوع وب‌سایت‌ها، معمولاً تمام محتوا برای موتورهای جستجو مفید است، اما صفحات مدیریتی و فایل‌های سیستمی باید از خزش جلوگیری شوند. بسیاری از وب‌سایت‌ها از فایل Robots.txt استفاده نمی‌کنند و این باعث می‌شود که موتورهای جستجو بدون هدایت مناسب به سایت آنها دسترسی داشته باشند، که این می‌تواند به خزش بی‌هدف و کاهش عملکرد سئو منجر شود. مثلاً استفاده نادرست از دستور Disallow برای صفحات اصلی سایت می‌تواند باعث افت رتبه در موتورهای جستجو شود. پس برای اینکه در دنیای تجارت بتوانید از رقبای خود پیشی بگیرید باید تمام مسائل را موردتوجه قرار دهید. شما توسط فایل Robots.txt میتوانید به‌راحتی سئو سایت خود را بالا ببرید. این کار سبب می‌شود با زیادتر شدن محتوای سایتتان بتوانید روی آن مدیریت بهتری داشته باشید و مثل یک وبمستر حرفه‌ای آن را کنترل کنید.
- همچنین جلو موتور جستجو، را برای ایندکس کردن افزونه ها و فولدر ادمین وردپرس گرفته ایم(با عبارت Disallow) و در خط آخر هم آدرس نقشه سایت xml را نوشته ایم.
- اگر دایرکتوری جدیدی به سایتم اضافه بشه یا متوجه بشم که یک دایرکتوری اشتباه ایندکس شده فایل رو تغییر میدم و اصلاحش می کنم.
- اکنون که می‌دانید یک فایل ایده آل robots.txt چگونه است، اجازه دهید بررسی کنیم که چگونه میتوانید یک فایل robots.txt را در وردپرس ایجاد کنید.
- اگر پلاگین یواست را بر روی سایت خود ندارید ابتدا باید آن را نصب و فعال کنید.
به عنوان مثال معروف‌ترین ربات گوگل که با نام Googlebot شناخته شده وظیفه بررسی و ایندکس صفحات را داره که بعد از ثبت سایت در گوگل کار خودش را برای سایت ما آغاز میکند. یا ربات Googlebot-image وظیفه بررسی و ایندکس تصاویر را داره که در این مثال ما باید از این بات برای غیرفعال کردن دسترسی این بات به تصویر خودمون استفاده کنیم. با اضافه کردن نقشه سایت به فایل robots.txt به موتورهای جستجو کمک می کنید که صفحات سایت شما را راحت تر پیدا کنند. توجه داشته باشید که اگر از یک افزونه مانند Yoast SEO یا All in One SEO در سایت خود استفاده می کنید نیازی به اضافه کردن نقشه سایت در فایل robots.txt نیست و این افزونه ها به صورت خودکار این کار را انجام می دهند.
با توجه به تعریف فوق این سوال پیش می آید که چگونه عدماجازه دسترسی موتورهای جستجو به صفحات خاصی می تواند باعث بهبود سئو سایت شود وآیا شما در سایت خود نیاز به فایل robots.txt دارید یا خیر. در اکثر مواقع نیازی به اضافه کردن robots.txt برای سایت های وردپرسی ندارید، زیرا مورتوهای جستجوگر به صورت پیش فرض تمامی مطالب و صفحات سایت شما را ایندکس می کنند. با این حال؛ اگر می خواهید از ایندکس برخی از صفحات سایت خود توسط موتورهای جستجوگر جلوگیری کنید، می توانید یک فایل robots.txt ایجاد و در فهرست اصلی سایت خود قرار دهید.
قبل از شروع بحث اصلی بهتر است که ابتدا به مفهوم کلمه robot در اینجا بپردازیم. منظور از robot هرگونه ربات اینترنتیست که به مشاهده وب سایت ها می پردازد. این ربات ها به پایش وب پرداخته و به موتورهای جستجو کمک می کنند تا به ایندکس و رتبه بندی صفحات وب بپردازند. آیا تا به حال پیش آمده که نخواهید رباتهای موتورهای جستجو یک فایل خاص از سایت شما را ایندکس (کراول) نکنند؟ انجام این کار به سادگی از طریق فایل Robots.txt وردپرس ممکن است. در نهایت، توصیه می‌شود که هر مدیر سایتی علاوه بر بهینه‌سازی فایل robots.txt، به جنبه‌های دیگر سئو مانند بهینه‌سازی محتوا، سرعت بارگذاری، تجربه کاربری و لینک‌سازی نیز توجه ویژه‌ای داشته باشد.
Jeff Starr (نویسنده و توسعه دهنده وردپرس) هم به تازگی به این موضوع اشاره کرده و گفته اگه یک سایت مپ کاربردی روی سایت تون دارین دیگه نیازی نیست که از RSS به عنوان سایت مپ استفاده کنین. در مثال بالا ربات بینگ از دسترسی به کل سایت منع می گردد، در صورتی که سایر ربات ها تنها به مسیر /wp-admin/ دسترسی ندارند. این تکه کد دسترسی به کل پوشه به جز فایل /wp-admin/admin-ajax.php را بلاک می کند.
برای اینکه مثال هایی عملی از نکات بالا را مشاهده کنید فایل robots.txt چند سایت وردپرسی معروف جهان را برایتان نمایش داده ایم. تنها با کلیک بر این دکمه می توانید اقدام به ویرایش محتوای فایل robots.txt در رابط کاربری یواست سئو کنید. استفاده از عبارت زیر در فایل Robots.txt وردپرس دسترسی رباتهای خزنده را به تمام محتویات دایرکتوری wp-admin خواهد گرفت.
به سادگی از قسمت SEO گزینه Tools را انتخاب کنید و روی پیوند File Editor کلیک کنید. این تنظیمات باعث می‌شود که تمام فایل‌ها و صفحات دایرکتوری “private-directory” به غیر از “special-page.html” مسدود شوند. اگر فایل روبات تون چندین سطر داره و بزرگه حتما مطمئن بشین که سایز مناسبی داره و اگر از ۵۰۰ کیلو بایت بزرگتره باید حتما سایز اون رو کاهش بدین و یا اینکه منتظر یک نتیجه ناقص باشین. اگر به دنبال مثال های بیشتری هستید مقاله Robots.txt Specifications گوگل هم می‌تواند برای شما مفید باشد.
مثلا زمانی که با یک سری دستورالعمل همه موتورهای جستجو رو بلاک کردین تا صفحات شما ایندکس نشه، اما میخواین فقط به یک موتور جستجو مثل بینگ اجازه بدین که سایت شما رو پیمایش کنه باید این قانون رو لحاظ کنین. حتی می تونین کل وب سایت رو بلاک کنین و فقط اجازه پیمایش از یک فایل یا دایرکتوری خاص رو بدین. استاندارد Robots Exclusion در سال ۱۹۹۴ تدوین شد و در واقع مجموعه ای از استانداردهای وب به حساب میاد که صاحبان وب سایت ها میتونن از اونها استفاده کنن و به موتورهای جستجو بگن که چطور وب سایتشون رو کراول (Crawl) کنن. فایل robots.txt بخشی از این مجموعه ست که مشخص می کنه ربات های موتور جستجو چطور باید یک سایت رو پیمایش، محتواهاش رو بررسی و ایندکس کنن و چطور این محتواها رو در دسترس کاربران قرار بدن. یکی دیگر روش‌های ویرایش فایل robots.txt به صورت دستی میباشد که میتوانید از طریق سی پنل هاست و یا FTP به هاست خود متصل شده و فایل را ویرایش و سفارشی‌سازی کنید. پس از ورود به هاست، می توانید فایل robots.txt را در پوشه اصلی وب سایت خود یا public_html پیدا کنید.
رباتهای جستجوگر به محض ورود به سایتی ابتدا این فایل را بررسی می‌کنند تا ببینند به چه دایرکتوری‌هایی دسترسی دارند و بعد از اینکه وظیفه و مسیرشون مشخص شد شروع به بررسی کامل یک سایت می‌کنند. زمانی که برای رسیدگی به سئوی سایت خود توجه زیادی به تحقیق در مورد کلمات کلیدی، بهینه‌سازی محتوا، ساخت بک لینک یا مسائل دیگر می‌کنید، فایل Robots.txt وردپرس را نیز نباید از قلم بیاندازید. چون ممکن است اهمیت آن در ابتدای فعالیت سایت شما زیاد نباشد ولی شاید با افزایش تعداد صفحات سایتتان بخواهید بعضی چیزها را از دید موتورهای جستجو دور نگه دارید. ما در این مطلب نحوه بهینه سازی فایل robots.txt و نکات مهم دیگر مربوط به آن را آموزش دادیم که میتوانید براساس نیاز خود از آن استفاده کنید.
راهکارهای حفاظت از سرویس لایسنس در برابر نقض‌های حقوق تصاویر و نرم‌افزارها
در هاست سی پنل یا دایرکت ادمین با مراجعه به بخش file manaager و سپس قسمت public_html می توانید این فایل را ایجاد یا مدیریت کنید. دلیل این امر آنست که فایل robots.txt سایت به موتورهای جستجو اعلام نمی کند صفحه ای را ایندکس نکنند، بلکه صرفا موتورهای جستجو آن را پایش نخواهند کرد. با اینکه گوگل دست به پایش آدرس های بلاک شده در robots.txt نمی زند اما خود گوگل اعلام کرده است که اگر این آدرس دارای لینکی در خارج از سایت شما باشد، این امکان وجود دارد که گوگل دست به ایندکس محتوای آن صفحه بزند.
ساخت robots.txt وردپرس و بهینه سازی
اگر دایرکتوری جدیدی به سایتم اضافه بشه یا متوجه بشم که یک دایرکتوری اشتباه ایندکس شده فایل رو تغییر میدم و اصلاحش می کنم. این نکته کلیدی و خیلی مهمیه، همیشه باید در نظر داشته باشین که در صورت لزوم فایل robots.txt رو اصلاح و کامل کنین. به عنوان جمع بندی یک بار دیگر دقت داشته باشید که دستور Disallow در فایل robots.txt معادل استفاده از متا تگ نوایندکس نیست. Robots.txt موجب محدود کردن پایش صفحات سایت شده اما الزاما این مسئله به معنی عدم ایندکس آن صفحات نیست.
کدی که نمایش داده می شه آخرین نسخه فایل روبات شماست که گوگل از وب سایت تون بازیابی کرده. بنابراین اگر بعد از بازیابی گوگل نسخه جدیدی رو آپلود کرده باشین به احتمال زیاد نمی تونین فایل جدید رو ببینین. تو این قسمت می تونین کد جدیدی رو اضافه کنین اما حواستون باشه که این ابزار فقط برای آزمایش این فایله یعنی اگر تصمیم دارین فایل تون رو تغییر بدین باید فایل واقعی روی وب سایت تون رو به روز رسانی کنین. خوب حالا تقریبا یاد گرفتین که چطور از اپراتورهای متفاوت در فایل robots.txt استفاده کنین. فقط یادتون باشه همه کراولرها این اپراتورها رو پشتیبانی نمی کنن، در نتجه حتما باید چک کنین کدوم یکی از موتورهای جستجو با این دستورات کار می کنن.
بیشتر وب سایت ها دارای فایل robots.txt هستند اما بسیاری از مدیران سایت ها نمی دانند این فایل چیست و چه کاربردی دارد. در این مقاله سعی داریم آموزش جامع و کاملی در مورد فایل robots.txt، محتویات، کاربرد و نحوه استفاده از آن برای بهبود SEO سایت ارائه دهیم. مشخص کردن سایت مپ به موتورهای جستجو کمک می کنه تا سریعتر نقشه سایت تون رو دربیارن و بتونن محتواهای سایت رو سریعتر شناسایی و ایندکس کنن. اگر بخواین تو فایل robots.txt چند تا سایت مپ داشته باشین باید از دستورالعمل sitemap استفاده کنین.
فایل robots.txt وردپرس به صورت کلی از دو دستور اصلی پیروی میکند و قادر به استفاده از این دو دستور در فایل هستید و سایر دستوراتی که در آن وارد شوند بی معنی هستند. پس از کلیک بر روی این دکمه، برگه ویرایشگر جدیدی برای شما نمایش داده می شود که می توانید فایل robots.txt خود را به صورت مستقیم از آن تغییر دهید. به خاطر داشته باشید که Yoast SEO قوانین پیش فرض خود را تنظیم می کند، که فایل مجازی robots.txt تان را نادیده می گیرد. همچنین این نکته را هم در نظر داشته باشید که هر زمانی که یک قانون جدید را اضافه یا حذف می کنید، تغییرات خود را ذخیره نمائید.
باید گفت که در رابطه با نه تنها وردپرس بلکه هیچ CMS دیگه ای این گفته درست نیست. چرا که آدرس‌هایی مثل آرشیو، برچسب، دسته‌بندی و… در وردپرس در حکم یک پوشه یا دایرکتوری نیستند که با استفاده از این روش بتونید دسترسی به اونها را غیرفعال کنید. بلکه این آدر‌ها از طریق دیتابیس تعیین شده‌اند و عملا پوشه‌ای با نام category یا tag در هاست شما وجود نداره که با استفاده از این روش بخواهید دسترسی را محدود کنید. در دستورالعمل های وبمستر گوگل به وبمستران توصیه شده است که از فایل robots.txt برای پنهان کردن محتوای کم کیفیت سایت خود استفاده نکنند. استفاده از فایل robots.txt برای جلوگیری از ایندکس کردن دسته ها، برچسب ها، تاریخ و دیگر صفحات آرشیو انتخاب هوشمندانه ای به نظر نمی رسد.
رباتهای گوگل سهم مشخصی را برای گشت و گذار و ایندکس مطالب هر سایت اختصاص می دهند. فایل Robots.txt یکی از ابزارهای ساده اما بسیار قدرتمند برای بهینه‌سازی خزش رباتهای موتور جستجو در سایت‌های وردپرسی است. با استفاده از این فایل، میتوانید به راحتی به موتورهای جستجو بگویید که کدام بخش‌های سایت شما را باید بررسی کنند و کدام بخش‌ها را نادیده بگیرند. این کار می‌تواند به بهبود سرعت ایندکس شدن صفحات مهم، کاهش منابع مصرفی سرور و در نهایت بهبود رتبه سئوی سایت شما کمک کند. Robots.txt یک فایل ساده و در عین حال مهم است که می تواند سرنوشت وب سایت وردپرس شما را در صفحات نتایج موتور جستجو (SERP) تعیین کند. در حقیقت، حتی با تجربه ترین متخصصان سئو هم در معرض خطاهای robots.txt هستند.
در این مقاله جامع با بیش از ۱۶۰۰ کلمه، به بررسی عمیق بهینه‌سازی وردپرس توسط فایل robots.txt پرداخته و نکاتی از قبیل تنظیمات صحیح، استراتژی‌های پیشرفته و تجربیات موفق سایت‌های برتر را مرور می‌کنیم. هدف از این مقاله ارائه راهکاری کامل و کاربردی برای بهبود سئو سایت زرین هاست و ارتقای ایندکسینگ صحیح صفحات در موتورهای جستجو است. در مثال بالا ما به موتورهای جستجو اجازه بررسی فایل های درون فولدر wp-content/uploads را داده ایم. بهینه سازی سئو یکی از مهم ترین موضوعاتیست که می تواند به بهبود رتبه و ترافیک سایت شما کمک کند. روش های مختلفی برای بهینه سازی سایت وجود دارد که یکی از آنها، ساخت فایل robots.txt می باشد.
فایل Robots.txt رو باید در مسیر روت دامنه سایتتون قرار بدین تا بتونین مدیریت کنین یک موتور جستجو کدوم فایل یا دایرکتوری ها رو crawl (پیمایش) کنه. به عنوان مثال ممکنه یک آلبوم عکس یا فایل PDF در پوشه مخفی داشته باشین و نخواین گوگل اونها رو کراول کنه. موتورهای جستجوی اصلی مثل گوگل، بینگ، بایدو، یاندکس و … از این استانداردها پیروی می کنن. در آدرس‌های متفاوتی می‌توان از robots.txt برای منبع کردن خزنده‌ها استفاده کرد. ما از فایل robots.txt استفاده می‌کنم تا هر صفحه‌ای که جزو استراتژی سئو نیست (برای مثال صفحات «افزودن به سبد خرید» یا «سرچ داخلی» وبسایت) را منع کنیم.
پس از نصب و فعال سازی افزونه، می توانید از آن برای ایجاد و ویرایش فایل robots.txt به صورت مستقیم از قسمت مدیریت وردپرس خود اقدام نمائید. برای ساخت فایل robots.txt وردپرس ابتدا وارد هاست خودتان شوید و بعد از ورود برروی File Manager کلیک کنید تا به فایل منیجر هاست هدایت شده و بتوانید فایل های موجود در هاست را کنترل کنید. برای تست فایل robots.txt می توانید از گوگل سرچ کنسول استفاده نموده و از صحت پیاده سازی آن اطلاع حاصل کنید.
این افزونه با ارائه API اختصاصی می تواند بستری را فراهم سازد تا بتوانید روی تمامی محصولات خود لایسنس بگذارید. مدیر وردپرس یک وبسایت آموزشی در زمینه آموزش وردپرس است که در سال ۱۳۹۷ تأسیس شده است. هدف اصلی ما، ارائه آموزش حرفه‌ای و کامل درباره وردپرس به عنوان یکی از برترین سیستم‌های مدیریت محتوا در جهان است.
پس از وارد کردن قوانین برای ذخیره تنظیمات می‌بایست بر روی دکمه Save Changes کلیک کنید. با فعال کردن این گزینه یک فایل سفارشی robots.txt در وردپرس ایجاد خواهد شد. پشتیبانی در مجموعه نوین وردپرس یک مسئولیت مهم و ضروری در قبال کاربران است ، هیچ محصولی بدون پشتیبانی و همراهی سازنده ارزشی ندارد واحد پشتیبانی کاربران نوین وردپرس همیشه و همه جا همراه شما میباشد. نوین وردپرس تداعی خلاقیت و نوآوری در دنیای وردپرس فارسی است ، کیفیت محصولات ، پشتیبانی ویژه و منحصربه فرد از ویژگی های برجسته نوین وردپرس میباشد. تمامی محصولات تجاری مجموعه بصورت اورجینال از مراجع مربوطه خریداری شده و با بهترین کیفیت در اختیار شما عزیزان قرار میگیرد. اگر دوست دارید در زمینه آموزش ، افزونه ، قالب وردپرس و ووکامرس ، آموزش سئو و… مقالات آموزشی خود را در نوین وردپرس منتشر کنید میتوانید به عنوان نویسنده در نوین وردپرس فعالیت کنید.
بنابراین، اگر این فایل به درستی پیکربندی نشود، ممکن است موتورهای جستجو به بخش‌های نامناسب سایت شما دسترسی پیدا کنند و صفحات مهم را نادیده بگیرند. نکتهٔ بسیار جالب اینجاست که وردپرس به صورت خود به خود یک سند robots.txt البته از نوع مجازی، روی هاست شما ایجاد میکند. یعنی همان ابتدایی که وردپرس را نصب می‌کنید، اگر یک / و سپس robots.txt در انتهای نشانی دامنهٔ سایت خود وارد کنید، محتوای فایل robots.txt را حتماً خواهید دید. ساختار این سند بسیار ساده و کم حجم است و در بیشتر موارد همین robots.txt پیش فرض وردپرس برای سایت شما کافی است و نیازی به انجام کار خاصی نیست. فایل robots.txt فایلی است که با استفاده از آن می توانید با ربات های موتور جستجو صحبت کرده و دستورالعمل های خاصی را به آنها بدهید.
ورود دو مرحله ای برای حساب کاربری شما فعال شده است.یک کد تایید برای شما ارسال شد.لطفا کد را وارد نمایید. برای عدم دسترسی به یک پوشه خاص کافیه تا نام آن پوشه و یا زیر پوشه های آن را وارد کنید. حالا برای اینکه بدانید کدام مسیرها را در این فایل درج کنید به بخش بعدی بروید و ساختار را با دقت کامل کنید. دستور Disallow بالا تنها بر روی User-agent با نام Bingbot اعمال می شود. برای مشاهده نام User-agent ربات های معروف می توانید سری به این صفحه بزنید. حال به معرفی شرایط مختلف و نحوه استفاده از فایل robots.txt می پردازیم.
