FC2ブログからタイトルと公開日を全て取得したいと考えました。
すでにplaggerのFullEntryTextで取得する方法はわかっていて、実際それで取得していたのですが、FullEntryTextだとそれぞれのページをクロールする必要があります。タイトルと公開日、カテゴリを知りたいだけなのに、1ページずつ取得するのはいただけないと考えたわけです。それにブログによっては日付やカテゴリの取得が変わって確実性がないこともありますし(というかこっちが本命)。そんなことを放置していたら、ある日「?all」とか「?all&p=2」とすれば一覧を取得できることがわかりました。
?allには目的のタイトル、公開日、カテゴリが表示されていて、これなら簡単に取得できると、よろこんでplaggerとCustomFeed::Configで取得するようにしてみたら、なぜか600件以上取得できないようなのです。?all&p=6で打ち止めで、p=7にすると取れないです。

なんか、もうね、よろこんで作業に勤しんだ後だっただけに、エラいがっかり感です。

想像するにFC2ブログの全件取得はかなりのコストなのだと思われます。p=6、p=7とかページ数が増えるごとにずっしり重くなるような作り。レスポンスタイムも悪いです。

以下、邪推です。

FC2ブログはよくアクセス過負荷で表示されないことが多く、内部はかなり苦しいのかもしれません。
きっと最初は?allの名前の通りに全件出力するような仕様だったのだろうな、と、それが普通のブログでは考えられない件数を作成するような使い方(まとめサイトとかね)をされて、全件出力は設計上弱かったのが発覚したのではないかと思います。
そして対策しようにも、きれいに対策できないような設計だったのかな、と。でなければ上限をつけて全件とれなくする理由がないですから。

そんなわけでの上限設置なのかなあ、とか。

?allしたい普通のユーザーなんていないだろうことも、設置の決断に流れやすかったのかもとか。

運営的にも技術者的にも、あまりしっくりこなかったろうなあ、とか。

そんなことが思い浮かんで不思議と文句は出ませんでした。

それにしてもallなのに全部取れないんだ…はぁ。