Áp dụng bất đẳng thức AM-GM ta có :

\(\frac{3}{x}+\frac{9}{y}\ge2\sqrt{\frac{3}{x}\cdot\frac{9}{y}}=2\sqrt{\frac{27}{3}}=6\)(1)

\(3x+y\ge2\sqrt{3xy}=6\)=> \(\frac{26}{3x+y}\le\frac{13}{3}\)<=> \(-\frac{26}{3x+y}\ge-\frac{13}{3}\)(2)

Từ (1) và (2) => \(\frac{3}{x}+\frac{9}{y}-\frac{26}{3x+y}\ge6-\frac{13}{3}=\frac{5}{3}\)

Đẳng thức xảy ra <=> \(\hept{\begin{cases}\frac{3}{x}=\frac{9}{y}\\3x=y\\xy=3\end{cases}}\Rightarrow\hept{\begin{cases}x=1\\y=3\end{cases}}\)

Vậy GTNN của P = 5/3

- Theo giả thiết  $a,b>0$  nên áp dụng bất đẳng thức Cô si ta được

                $a^4+b^2\ge 2a^{2}b\Rightarrow a^4+2a{b}^2+b^2\ge 2a^{2}b+2a{b}^2$

                                                 $\Rightarrow a^4+2a{b}^2+b^2\ge 2ab\left(a+b\right)$

                                                 $\Rightarrow \genfrac{}{}{0ex}{}{1}{a^4+2a{b}^2+b^2}\le \genfrac{}{}{0ex}{}{1}{2ab\left(a+b\right)}$,  (đẳng thức xảy ra khi và chỉ khi $a=b$)

- Tương tự                                   $\genfrac{}{}{0ex}{}{1}{a^2+2a^{2}b+b^4}\le \genfrac{}{}{0ex}{}{1}{2ab\left(a+b\right)}$    ,    (đẳng thức xảy ra khi và chỉ khi  $a=b$)

- Từ đó      $Q\le \genfrac{}{}{0ex}{}{1}{ab\left(a+b\right)}$

- Giả thiết  $\left(a+b\right)\left(a+b-1\right)=a^2+b^2$ tương đương với $a+b=2ab\iff ab=\genfrac{}{}{0ex}{}{a+b}{2}$(*)

- Do đó      $Q\le \genfrac{}{}{0ex}{}{2}{{\left(a+b\right)}^2}$

  - Mà      $ab\le \genfrac{}{}{0ex}{}{{\left(a+b\right)}^2}{4}$    nên   $\genfrac{}{}{0ex}{}{a+b}{2}\le \genfrac{}{}{0ex}{}{{\left(a+b\right)}^2}{4}\Rightarrow a+b\ge 2$  (do giả thiết  $a,b>0$ ).

- Vì vậy   $Q\le \genfrac{}{}{0ex}{}{2}{2^2}$ 

GTNN  là  $\genfrac{}{}{0ex}{}{1}{2}$ đạt khi và chỉ khi $\{\begin{array}{c}a=b\\ a+b=2\end{array}$$\iff a=b=1$

Áp dụng BĐT AM-GM ta có:

\(a^4+b^2+2ab^2\ge2\sqrt{a^4b^2}+2ab^2=2a^2b+2ab^2\)

\(b^4+a^2+2a^2b\ge2\sqrt{a^2b^4}+2a^2b=2ab^2+2a^2b\)

\(\Rightarrow Q\le\dfrac{1}{2a^2b+2ab^2}+\dfrac{1}{2ab^2+2a^2b}\)

Lại có: \(\left(a+b\right)\left(a+b-1\right)=a^2+b^2\)

\(\Leftrightarrow a^2+2ab-a+b^2-b=a^2+b^2\)

\(\Leftrightarrow2ab=a+b\ge2\sqrt{ab}\)\(\Rightarrow\left\{{}\begin{matrix}ab\ge1\\a+b\ge2\sqrt{ab}\ge2\end{matrix}\right.\)

Khi đó \(Q\le\dfrac{1}{2a^2b+2ab^2}+\dfrac{1}{2ab^2+2a^2b}\le\dfrac{1}{4}+\dfrac{1}{4}=\dfrac{1}{2}\)

Đẳng thức xảy ra khi \(a=b=1\)