WordPressの場合、ダッシュボードの「プライバシー設定」にあわせて自動でrobots.txtを生成してくれます(自分で robots.txt を設置した場合はそちらが優先されます)。
細かな設定を行いたい場合は自分で robots.txt を作成した方が早いかも知れませんが、当該部分にフィルターが用意されているので、プラグインやテーマでカスタマイズすることも可能です。
惜しい、Function Reference/do robots にもあるようにdo_robotstxt
アクションフックが直前で呼ばれるので、そのアクションフックで robots_txt
フィルターフックを登録したほうが確実。
<?php add_action('do_robotstxt', function(){ add_filter('robots_txt', function($output) { $public = get_option( 'blog_public' ); if ( '0' != $public ) { // open $output .= "Disallow: /members/n"; } return $output; } }