gọi a là độ dài cạnh hình vuông ABCD(a>0)

Ta có: S ΔADE=4 ⇒ \(\dfrac{AD.DF}{2}\)=4 ⇒DF= \(\dfrac{8}{a}\)⇒ FC=a-\(\dfrac{8 }{a}\)

SΔABE= 3⇒ \(\dfrac{AB.BE}{2 }\)=3 ⇒ BE= \(\dfrac{6}{a}\)⇒EC= a- \(\dfrac{6}{a}\)

S ΔEFC=5 ⇒EC.FC=10

⇒ ( a-\(\dfrac{8}{a}\))(a-\(\dfrac{6}{a}\)) =10

⇒\(a^{4}\)-24\(a^{2}\)+48=0 (1)

đặt t=\(a^{2}\)(t>=0)

phương trình 1 trở thành: \(t^{2}\)-24t+48=0

⇔\(​​​​\left[\begin{array}{} t=12+4\sqrt{6}(tm)\\ t=12-4\sqrt{6}(tm) \end{array} \right.\)

S ABCD=a.a=\(\left[\begin{array}{} 12+4\sqrt{6}\\ 12-4 \sqrt{6} \end{array} \right.\)

S ΔABE+ S ΔADF+ SΔ EFC= 3+4+5=12

⇒ S ΔAEF= \(\left[\begin{array}{} 4\sqrt{6}\\ -4\sqrt{6}(loại) \end{array} \right.\)

KL: S ΔAEF= 4\(\sqrt{6}\)