Sign in Queryfeed
そこそこいろんな機能があるので使い勝手は良さそうです。
「Alternative Twitter Search」という項目に@マーク以下の自分のユーザー名などを入れるとRSSが取得できます。
例えば自分のTweetを取得する場合は以下のようになります。

https://queryfeed.net/tw?q=%40osamthing

同様にしてハッシュタグやテキストの全文検索などもできるようですね。
結構ラクラク。

※2018/11/06時点でサービスが停止しています。

このアプリを使うのがいちばん早そうですが、公式アプリではないのでいつサービスが停止してもよいというサービスにしか使えないです。ライブサーチのRSSも取得できるので結構いい感じではあります。自分でつくるのつらい。
TwitRSS.me

RSSのURL取得

上記サービスの@マーク以下に取得したいTweetのアカウントを入力してURLを取得します。私のものだと、

http://twitrss.me/twitter_user_to_rss/?user=osamthing

になりました。

PHPでRSSをパースする

シンプルに取得するには、

$feed = @simplexml_load_file("http://twitrss.me/twitter_user_to_rss/?user=example");

という風になります。
あとは整形すればよいかと。

foreach($feed->channel->item as $record){
   echo $record->title;  
}

【2017最新】TwitterのRSSを取得しFeedlyなどでツイートを読む方法