Вот скрин моего фрапса с настройками. Где тут кодек указывать - не знаю.
С такими настройками и разрешении 1024*768 у мну получается примерно гигабайт минута. Потом это всё сжимается в VirtualDub. Вот там уже кодеки нужны. Настройки Дуба подскажу позже - после переустановки Винды ещё не всё из бэкапа поднял. Завтра или послезавтра.