Nếu chỉ quan sát trực tiếp bảng dữ liệu ban đầu mà không có bất kỳ phân tích hay biểu đồ hỗ trợ, có thể khó để trả lời các câu hỏi chi tiết trong Nhiệm vụ 4. Việc phân tích dữ liệu và biểu diễn thông qua bảng tổng hợp và biểu đồ giúp chúng ta có cái nhìn tổng quan và dễ dàng nhận ra các mẫu, mối quan hệ và xu hướng trong dữ liệu.

Thông qua việc thực hiện các Nhiệm vụ thực hành trong bài học, ta có thể thu được một số trải nghiệm như sau:

- Quá trình phân tích dữ liệu yêu cầu sự tổ chức và phân loại dữ liệu một cách cẩn thận. Việc biểu diễn dữ liệu theo các đồ thị, biểu đồ hoặc bảng tổng hợp giúp ta dễ dàng nhìn thấy các mẫu, xu hướng và mối quan hệ trong dữ liệu.

- Đối với mục tiêu phân tích dữ liệu, việc đặt câu hỏi cần được xác định rõ ràng từ trước để có thể tìm hiểu và rút ra kết luận từ dữ liệu được tổng hợp.

- Trong quá trình phân tích, việc sử dụng các công cụ và phần mềm thống kê, hình dung dữ liệu có thể giúp chúng ta xác định các xu hướng, tính chất và mối quan hệ trong dữ liệu một cách hiệu quả.

- Việc biểu diễn dữ liệu theo các hình thức trực quan như biểu đồ cột, biểu đồ đường, biểu đồ tròn, heatmap và sơ đồ tương quan giúp chúng ta dễ dàng nhìn thấy và hiểu rõ hơn về dữ liệu.

Sử dụng hàm IF lồng trong nhau và thao tác "kéo – thả" công thức trực tiếp trong bảng dữ liệu ban đầu để tạo các cột phân loại Mức thu nhập và Nhóm tuổi có một số khuyết điểm so với việc sử dụng Power Query:

- Khó duy trì và hiệu suất kém: Khi sử dụng hàm IF lồng nhau, công thức trở nên phức tạp và khó duy trì. Nếu bạn cần thay đổi logic hoặc thêm điều kiện mới, việc chỉnh sửa sẽ rất khó khăn. Ngoài ra, hiệu suất tính toán có thể bị ảnh hưởng.

- Khả năng xử lý dữ liệu lớn: Power Query được tối ưu hóa để xử lý dữ liệu lớn một cách hiệu quả. Nó cho phép bạn kết nối, làm sạch và biến đổi dữ liệu từ nhiều nguồn khác nhau. Sử dụng Power Query giúp bạn xử lý dữ liệu lớn một cách nhanh chóng và linh hoạt hơn.

Để tổng hợp kết quả thu nhập theo độ tuổi từ dữ liệu dạng file Excel có 2 cột: Số tuổi và Thu nhập, bạn cần bổ sung thêm một cột dữ liệu mới là Nhóm độ tuổi. Cách tạo cột này như sau:

- Thêm cột Nhóm độ tuổi:

+ Tạo một cột mới trong bảng tính và đặt tên là "Nhóm độ tuổi".

+ Sử dụng công thức để phân loại tuổi vào các nhóm (ví dụ: 18-24, 25-34, 35-44, v.v.). Một ví dụ công thức có thể là:

=INT((B2-1)/5)*5+1&"-"&(INT((B2-1)/5)+1)*5

Trong đó, B2 là ô chứa số tuổi của mỗi người. Công thức này sẽ tạo ra các nhóm tuổi như "18-24", "25-34",…

- Lấy dữ liệu từ nguồn khác:

+ Nếu em không có dữ liệu về nhóm độ tuổi, bạn có thể tìm kiếm dữ liệu thống kê về thu nhập theo độ tuổi từ các nguồn đáng tin cậy như cơ quan thống kê, báo cáo nghiên cứu, hoặc dữ liệu từ tổ chức chính phủ.

+ Sau khi có dữ liệu, em có thể nhập vào cột "Nhóm độ tuổi" tương ứng với từng số tuổi.

- Tính tổng hợp thu nhập:

+ Sử dụng Pivot Table để tổng hợp thu nhập theo nhóm độ tuổi. Nhóm thu nhập nào có tỉ lệ phần trăm khách hàng có khả năng tín dụng mức Tốt cao nhất?

Dữ liệu lớn là một lĩnh vực quan trọng trong khoa học máy tính và công nghệ thông tin. Để giải quyết các bài toán liên quan đến dữ liệu lớn, chúng ta cần sự hỗ trợ của máy tính và các thuật toán hiệu quả. Dưới đây là một số điểm quan trọng:

- Thuật toán: Thuật toán là bước quan trọng để xử lý dữ liệu lớn. Các thuật toán phải được thiết kế sao cho hiệu quả và có thể xử lý lượng dữ liệu lớn một cách nhanh chóng.

- Tối ưu hóa: Thuật toán tối ưu hóa giúp tìm ra giải pháp tốt nhất trong một không gian lớn của các biến. Các thuật toán tối ưu hóa được sử dụng để tối ưu hóa các hàm mục tiêu, ví dụ như tối ưu hóa hàm chi phí trong mô hình học máy.

 Mạng nơ-ron sâu (Deep Learning): Deep Learning là một phương pháp học máy dựa trên mạng nơ-ron có khả năng học từ dữ liệu lớn và phức tạp. Nó đã được áp dụng rộng rãi trong xử lý ảnh, ngôn ngữ tự nhiên và nhiều lĩnh vực khác 1.

- Máy tính lượng tử: Máy tính lượng tử có khả năng xử lý lượng tác vụ lớn một cách nhanh chóng hơn máy tính thông thường 2.

- Máy tính quang học: Máy tính quang học cũng là một công cụ mạnh mẽ để giải quyết các bài toán lớn với tốc độ ánh sáng 31.

Giả sử chúng ta có một chuỗi gốc với tổng cộng N nucleotide và muốn sắp xếp các đoạn nucleotide ngắn thành chuỗi đó.

Nếu các đoạn nucleotide ngắn có độ dài lần lượt là n1, n2, n3, ..., nk (với k là số lượng đoạn), thì số lượng phép thử cần thiết để sắp xếp chúng thành chuỗi đầy đủ là tích của số lượng tổ hợp khác nhau có thể có cho mỗi đoạn.

Với ví dụ đơn giản, giả sử chúng ta chỉ có một đoạn nucleotide ngắn với độ dài n. Trong trường hợp này, số lượng phép thử cần thiết là 4^n, vì mỗi vị trí trong đoạn có thể là một trong 4 loại nucleotide (A, C, G, T).

Máy tính có vai trò không thể thiếu trong mọi giai đoạn của quy trình Khoa học dữ liệu. Nó cung cấp sức mạnh tính toán, khả năng lưu trữ và khả năng tự động hoá cần thiết để xử lí, phân tích và khám phá tri thức từ dữ liệu, góp phần vào sự phát triển và thành công của Khoa học dữ liệu, mở ra cơ hội làm việc với dữ liệu lớn mà trước đây không thể thực hiện được. Điều này đã thúc đẩy sự phát triển của lĩnh vực Khoa học dữ liệu, giúp tạo lập giá trị và tri thức từ nguồn dữ liệu lớn phong phú và đa dạng.

Không, việc phân tích dữ liệu liên quan đến Dự án hệ gene người đòi hỏi nguồn tài nguyên tính toán mạnh mẽ hơn máy tính cá nhân thông thường.

Để giải quyết những nhiệm vụ trong Dự án hệ gene người và xử lí, lưu trữ khối lượng dữ liệu có quy mô lớn, có thể áp dụng các phương pháp và công nghệ sau:

- Hệ thống lưu trữ phân tán: Sử dụng các công nghệ lưu trữ phân tán như Hadoop Distributed File System (HDFS) hoặc Ceph để chia nhỏ dữ liệu thành các phân đoạn và phân phối chúng trên nhiều máy tính trong một cụm hệ thống. Điều này giúp tăng khả năng lưu trữ và xử lý dữ liệu song song, đồng thời cung cấp tính sẵn sàng cao.

- Công nghệ cơ sở dữ liệu phân tán: Sử dụng các cơ sở dữ liệu phân tán như Apache Cassandra hay Apache HBase để lưu trữ và truy xuất dữ liệu trên nhiều máy tính. Các cơ sở dữ liệu này hỗ trợ việc mở rộng quy mô theo nhu cầu, đồng thời cung cấp khả năng xử lý song song và khả năng chịu lỗi cao.

- Công cụ xử lý dữ liệu phân tán: Sử dụng các công cụ phân tích dữ liệu phân tán như Apache Spark hay Apache Hadoop để thực hiện các tác vụ xử lý dữ liệu quy mô lớn. Các công cụ này hỗ trợ việc phân tán tính toán và xử lý song song trên nhiều máy tính, giúp tăng tốc độ xử lý và khả năng xử lý dữ liệu lớn.

- Công nghệ điện toán đám mây: Sử dụng các dịch vụ điện toán đám mây như Amazon Web Services (AWS) hoặc Microsoft Azure để cung cấp khả năng tính toán và lưu trữ linh hoạt, co dãn theo nhu cầu. Điện toán đám mây cung cấp tài nguyên mạnh mẽ và mô hình thanh toán theo yêu cầu, giúp giảm đầu tư cơ sở hạ tầng và tăng tính linh hoạt.

- Kỹ thuật nén dữ liệu: Áp dụng kỹ thuật nén dữ liệu để giảm kích thước lưu trữ và tăng tốc độ truy cập. Có thể sử dụng các thuật toán nén dữ liệu hiệu quả như gzip, Snappy hoặc LZ4 để nén dữ liệu trước khi lưu trữ.

- Quản lý dữ liệu hiệu quả: Sử dụng các phương pháp quản lý dữ liệu hiệu quả như phân đoạn dữ liệu, chỉ lưu trữ những thông tin cần thiết, và xác định các chỉ mục phù hợp để tối ưu hóa việc truy xuất dữ liệu.

Các công cụ trực quan hóa dữ liệu của máy tính đóng vai trò quan trọng trong Khoa học dữ liệu vì chúng giúp hiển thị và truyền tải thông tin từ dữ liệu một cách dễ hiểu và trực quan. Dưới đây là một số vai trò chính của các công cụ trực quan hóa dữ liệu trong Khoa học dữ liệu:

- Hiển thị dữ liệu: Các công cụ trực quan hóa dữ liệu cho phép biểu diễn dữ liệu theo các hình thức như biểu đồ, đồ thị, bản đồ và biểu đồ hình vẽ. Chúng giúp hiển thị cấu trúc và mẫu dữ liệu, giúp nhà khoa học dữ liệu và nhà phân tích dữ liệu hiểu dữ liệu một cách trực quan và nhanh chóng.

- Phát hiện mẫu và xu hướng: Các công cụ trực quan hóa dữ liệu cho phép phát hiện mẫu, xu hướng và quan hệ giữa các biến trong dữ liệu. Chúng giúp nhận ra các mẫu tiềm ẩn, tương quan và sự phụ thuộc trong dữ liệu, giúp đưa ra những hiểu biết sâu hơn về dữ liệu.

- Truyền tải thông tin: Các công cụ trực quan hóa dữ liệu giúp truyền tải thông tin từ dữ liệu một cách dễ hiểu và hấp dẫn. Bằng cách sử dụng màu sắc, biểu đồ, hình ảnh và các phương tiện trực quan khác, chúng có thể trình bày kết quả phân tích dữ liệu một cách rõ ràng và thu hút người xem.

- Tương tác và khám phá dữ liệu: Các công cụ trực quan hóa dữ liệu thường cho phép tương tác trực tiếp với dữ liệu. Người dùng có thể thay đổi góc nhìn, áp dụng bộ lọc, thực hiện phân loại và tìm kiếm để khám phá và khai thác dữ liệu một cách tương tác. Điều này giúp nhà khoa học dữ liệu và nhà phân tích dữ liệu tìm hiểu sâu hơn về dữ liệu và đưa ra những phát hiện mới.

- Hỗ trợ quyết định: Các công cụ trực quan hóa dữ liệu có thể hỗ trợ quyết định thông qua việc hiển thị dữ liệu theo các phương pháp trực quan như biểu đồ đường thời gian, biểu đồ cột, bản đồ nhiệt và biểu đồ tương quan. Chúng giúp tạo ra cái nhìn tổng quan và hỗ trợ việc đưa ra quyết định dựa trên dữ liệu.

Máy tính đóng vai trò quan trọng trong việc thu thập và lưu trữ dữ liệu phục vụ quy trình Khoa học dữ liệu. Dưới đây là phân tích chi tiết về vai trò của máy tính trong hai khía cạnh này:

- Thu thập dữ liệu: Máy tính cung cấp công cụ và phương tiện để thu thập dữ liệu từ các nguồn khác nhau. Các hệ thống thông tin, máy quét, cảm biến và các công cụ thu thập dữ liệu khác được kết nối với máy tính để tự động thu thập dữ liệu. Máy tính giúp xử lý và lưu trữ dữ liệu thu thập được một cách hiệu quả, bảo đảm tính toàn vẹn và khả năng truy xuất dễ dàng.

- Lưu trữ dữ liệu: Máy tính cung cấp khả năng lưu trữ dữ liệu lớn và đa dạng. Các hệ thống cơ sở dữ liệu, hệ thống tệp và nền tảng đám mây cho phép lưu trữ dữ liệu trên nhiều thiết bị và hệ thống, đồng thời đảm bảo tính an toàn và sao lưu dữ liệu. Máy tính cũng cung cấp công cụ và phương pháp để tìm kiếm, truy vấn và truy xuất dữ liệu một cách nhanh chóng và hiệu quả.