Re: WordPressで自動生成されるrobots.txt

WordPressの場合、ダッシュボードの「プライバシー設定」にあわせて自動でrobots.txtを生成してくれます（自分で robots.txt を設置した場合はそちらが優先されます）。

細かな設定を行いたい場合は自分で robots.txt を作成した方が早いかも知れませんが、当該部分にフィルターが用意されているので、プラグインやテーマでカスタマイズすることも可能です。

WordPressで自動生成されるrobots.txt | Gatespace's Blog

惜しい、Function Reference/do robots にもあるようにdo_robotstxt アクションフックが直前で呼ばれるので、そのアクションフックで robots_txt フィルターフックを登録したほうが確実。

<?php
add_action('do_robotstxt', function(){
  add_filter('robots_txt', function($output) {
    $public = get_option( 'blog_public' );
    if ( '0' != $public ) { // open
      $output .= "Disallow: /members/n";
    }
    return $output;
  }
}