Phân tích điểm thi đại học 2020 bằng Data Science | Lập Trình Python Cơ Bản Tự Học Cho Người Mới | Chia sẻ về chủ đề hoọc lập trình |

Nếu có lỗi lúc dùng subprocess gọi curl, bạn thêm shell=True như này:
subprocess.run('curl -F "SoBaoDanh=02004318" diemthi.hcm.edu.vn/Home/Show', shell=True)
—
Đọc qua comment thì hình như khxh và khtn không phải môn riêng mà là bộ tự tính tổng điểm hộ, Cái phân tích piechart số môn thi phải trừ 1 hết mới đúng, phổ biến nhất là 7-1=6 môn thi, anh em coi tham khảo nhé. Khi làm phân tích mình cũng không tìm hiểu quá kĩ về quy chế thi mới các thứ, ae thông cảm nhá, cảm ơn ae.
—
Thí sinh tên dài nhất: 02033237 – ĐOÀN HUỲNH NGUYỄN CHÂU THANH TÚ
—-
Data Science là một chủ đề rộng, trong video này mình dùng kiến thức IT để lấy xử lý dữ liệu, kiến thức thống kê (statistics) để phân tích. Ngoài ra một dự án data science thực tế sẽ rộng hơn nhiều, ví dụ như có thể thêm thành phần trí tuệ nhân tạo (AI), thêm phần hệ thống đón dữ liệu đi vào đi ra.

Ví dụ, mình làm ở viện AI ứng dụng, trước có làm hệ thống phân loại email, phân loại email rác, email theo chủ đề cho 1 công ty tài chính.

Hệ thống này cần:
1. Xử lý đón email đi vào (data pipeline)
2. Làm sạch email, email thực tế rất loạn, khi bạn dùng gmail hay outlook nó đã gọn rồi.
3. Sau khi đã đón được email và làm sạch (chiếm khoảng 80% công việc), phần còn lại là dùng AI để phân loại.
4. Hệ thống trên cần được kiểm tra độ chính xác thường xuyên (data monitoring) để tự cải tiến (incremental learning)

Vì sao lại cần phân loại email rác khi đã có gmail, outlook?
=> Hệ thống gmail chỉ phân loại email thường ngày, nó không làm tốt với email về chủ đề tài chính.

Dự án này giúp được gì?
=> Giảm thời gian, tăng hiệu quả trong việc xử lý email cho công ty

Như bạn thấy, Một dự án datascience có nhiều công đoạn và AI chỉ chiếm 20% công việc, thuật toán rất cơ bản và bài bản, team mình có thử qua các kĩ thuật cơ bản như support vector machine, decision tree, k-means, incremental learning. Không có gì là quá kinh khủng.

Dự án như trên sẽ tốn khoảng 30-50 nghìn đô. chia theo giai đoạn. Một dự án thực tế sẽ không chỉ code ngay mà còn là lên ý tưởng, thiết kế, quản lý dự án, trao đổi các bên.

Những bạn mới học thường rất quan tâm và đặt nặng thuật toán phức tạp, tuy nhiên mình muốn nhấn mạnh, trong thực tế, công đoạn xử lý dữ liệu và làm hệ thống data pipeline sẽ tốn nhiều công sức và quan trọng không kém gì phần AI.

1 giả thuyết khác cho phút 40:35
Con trai đi thi < Con gái đi thi

tuy không có định hướng làm lập trình nhưng có nhu cầu tìm hiểu về data, em xem video của anh và bổ ích quá, em cảm ơn anh

Anh ơi e đang học lớp 11 và muốn tìm hiểu về It để theo ngành cntt thì nên bắt đầu nn ạ

Việc này excel có làm được ko em

hoc duoi dang video ha Dung

mặc dù ko hiểu gì về Python hay lập trình nhưng xem a phân tích mấy cái chart rất hay, 10 điểm

comment222

Muốn lập trình cho máy tính tự click vào nút like làm như vậy nào anh ơi

ko dc r a oi, curl ko làm dc, no bat phải batch file j day

Vậy trường hợp trang web họ có mã capcha thì phải làm sao hả anh Dũng?

Cái biểu đồ cuối có phải còn là biểu thị sự mất cân bằng giới tính ko? :))

Cám ơ D nha 😊, Dũng nói giọng nghe dễ thương ghê. Rất dễ hiểu ạ!

bạn cho mình hỏi, mình chưa học Python thì có học khóa Data Science cơ bản của bạn được không? hay mình phải đăng ký một khóa học Python trước

ủa anh rồi ngồi lọc tay hết 74k thí sinh à :v

Tính ra học Python có lợi rất nhiều so với ngôn ngữ làm web bình thường.

Anh ơi, bây giờ nó đòi cả password và username thì sao đây anh?