11. cos(2arctan(b)/(a))=(a>b>0)A. (a^2-b^2)/(a^2)+b^(2)B. (a-b)/(a^2)+b^(2)C. (a+b)/(a^2)+b^(2)D. (2a)/(a^2)+b^(2)

本题考查三角函数的二倍角公式以及反三角函数的相关知识。解题的关键思路是先设一个中间变量，将反三角函数转化为普通三角函数，再利用二倍角公式进行计算。

1. 设$\theta = \arctan\frac{b}{a}$，根据反三角函数的定义可知$\tan\theta=\frac{b}{a}$，且$\theta\in(0,\frac{\pi}{4})$（因为$a > b > 0$）。
2. 要求$\cos(2\arctan\frac{b}{a})$，即求$\cos2\theta$。根据余弦的二倍角公式$\cos2\theta=\cos^{2}\theta - \sin^{2}\theta$，又因为$\sin^{2}\theta+\cos^{2}\theta = 1$，所以$\cos2\theta=\frac{\cos^{2}\theta - \sin^{2}\theta}{\sin^{2}\theta+\cos^{2}\theta}$。
3. 分子分母同时除以$\cos^{2}\theta$（因为$\cos\theta\neq0$），得到$\cos2\theta=\frac{1 - \tan^{2}\theta}{1 + \tan^{2}\theta}$。
4. 把$\tan\theta=\frac{b}{a}$代入上式，可得：
   • $\cos2\theta=\frac{1 - (\frac{b}{a})^{2}}{1 + (\frac{b}{a})^{2}}$。
   • 先对分子分母分别化简，分子$1 - (\frac{b}{a})^{2}=\frac{a^{2}-b^{2}}{a^{2}}$，分母$1 + (\frac{b}{a})^{2}=\frac{a^{2}+b^{2}}{a^{2}}$。
   • 则$\cos2\theta=\frac{\frac{a^{2}-b^{2}}{a^{2}}}{\frac{a^{2}+b^{2}}{a^{2}}}$。
   • 根据除法运算法则，除以一个数等于乘以它的倒数，即$\cos2\theta=\frac{a^{2}-b^{2}}{a^{2}}\times\frac{a^{2}}{a^{2}+b^{2}}=\frac{a^{2}-b^{2}}{a^{2}+b^{2}}$。