Posts and Telecommunicatons Institute of Technology
Thông tin về luận án tiến sĩ trước bảo vệ cấp Học viện của NCS. Huỳnh Cao Tuấn
Thông báo về việc bảo vệ luận án tiến sĩ cấp Học viện của NCS. Phạm Hùng
17/12/2021Thông báo về việc bảo vệ luận văn tốt nghiệp trực tuyến
05/01/2022
TRANG THÔNG TIN LUẬN ÁN TIẾN SĨ
Tên đề tài luận án tiến sĩ: Phát triển các kỹ thuật biểu diễn biểu cảm khuôn mặt 3D
Chuyên ngành: Hệ thống thông tin
Mã số: 9.48.01.04
Họ và tên NCS: Huỳnh Cao Tuấn
Người hướng dẫn khoa học:
- TS. Đỗ Năng Toàn
- Nguyễn Thanh Bình
Cơ sở đào tạo: Học viện Công nghệ Bưu chính Viễn thông
NHỮNG KẾT QUẢ MỚI CỦA LUẬN ÁN:
- Đề xuất giải pháp phát hiện khuôn mặt trong ảnh dựa trên ý tưởng cơ bản là thực hiện phân lớp nhị phân với mỗi vùng ảnh quan tâm kết hợp với kỹ thuật phân đoạn video dựa trên trừ ảnh đặc trưng.
- Đề xuất kỹ thuật định vị các điểm điều khiển dựa trên Mô hình ngoại hình chủ động (AAM) và ước lượng biểu cảm khuôn mặt đã được định vị tập điểm điều khiển. Thay vì thống kê và lựa chọn rời rạc một số đặc trưng hình dạng bằng tay, tác giả tiến hành tự động lựa chọn các đặc trưng hình học một cách ngẫu nhiên và tổ chức dưới mô hình cây quyết định để thực hiện ước lượng các biểu cảm khuôn mặt.
- Đề xuất sử dụng 3 loại đặc trưng hình dạng là LINE_LINE, TRIANGLE_TRIANGLE, LINELINE_LINELINE. Lý do chọn 3 loại đặc trưng hình dạng này là vì các đặc trưng trên khuôn mặt tuy khác nhau nhưng luôn có một mối liên hệ gắn liền nhau tạo thành các đường hay tam giác đi theo một mô hình tương tự nhau. Ví dụ vị trí của mắt mũi miệng là luôn tương quan với
- Đề xuất kỹ thuật tự động xác định tập điểm điều khiển để phục vụ nắn chỉnh biến dạng mô hình dựa trên việc phân tích một tập các mô hình quan sát của đối tượng quan tâm. Kết hợp với thuật toán nắn chỉnh biến dạng và một tập các mô hình biến thể để phục vụ đánh giá chất lượng nắn chỉnh.
CÁC ỨNG DỤNG, KHẢ NĂNG ỨNG DỤNG TRONG THỰC TIỄN HOẶC NHỮNG VẤN ĐỀ CÒN BỎ NGỎ CẦN TIẾP TỤC NGHIÊN CỨU:
Khả năng ứng dụng trong thực tiễn
Những kết quả đạt được của luận án có thể tích hợp vào các hệ thống ứng dụng thời gian thực như dựng phim 3D phối hợp với diễn viên thật, hay trong các hệ thống game tương tác ảo, hay các cuộc gọi video với các hiệu ứng vui nhộn… hoặc xây dựng hệ thống phát thanh viên ảo…
Những vấn đề còn bỏ ngỏ cần tiếp tục nghiên cứu
Mặc dù luận án đã đề xuất được giải pháp biểu diễn biểu cảm khuôn mặt 3D, tuy nhiên công đoạn mô phỏng lại những biểu cảm sau khi ước lượng được lên mô hình khuôn mặt 3D một cách chính xác và hợp lý trong ngữ cảnh thì vẫn còn bỏ ngõ.
- Ví dụ điển hình như khi một người miệng đang cười nhưng chân mài và mắt có yếu tố bẩm sinh là cụp xuống thì hệ thống có thể ước lượng thành vừa vui và vừa buồn, hay là khi người đó nổi giận nhưng lại thể hiện nhiều qua màu sắc của da mặt (ửng đỏ) chứ ko hẵn là qua cử chỉ trên khuôn mặt và như vậy việc ước lượng trạng thái biểu cảm sẽ không còn chính xác nữa dẫn đến mô phỏng trạng thái sẽ bị
- Hiện tại hệ thống trãi qua nhiều công đoạn xử lý hình ảnh từ khâu phát hiện khuôn mặt rồi mới đến xác định tập điểm điều khiển sau đó mới ước lượng đặc trưng rồi cuối cùng mới đến nội suy mô phỏng biểu cảm. Như vậy, khi xử lý rời rạc sẽ làm chậm toàn bộ hệ thống.
Xác nhận của đại diện tập thể
Người hướng dẫn khoa học
PGS.TS. Đỗ Năng Toàn
Nghiên cứu sinh
Huỳnh Cao Tuấn
INFORMATION OF THE DOCTORAL THESIS
Thesis title: “Development of 3D facial expression techniques”
Speciality: Information System
Code: 9.48.01.04
PhD. Candidate: Huynh Cao Tuan Scientific supervisors:
- Prof. Do Nang Toan, PhD
- Nguyen Thanh Binh
Training institution: Posts and Telecommunications Institute of Technology
HESIS CONTRIBUTIONS
- Proposing a face detection solution in an image based on the basic idea of performing binary layering for each area of interest combined with video segmentation technique based on feature .
- Proposing the technique of locating the control points based on the Active Appearance Model (AAM) and estimating facial expressions that were located in the control point set. Instead of statistics and discrete selection of a number of shape features by hand, the author automatically selects the geometric features randomly and organized under the decision tree model to perform the estimation facial expression.
- It is proposed to use 3 types of shape features: LINE_LINE, TRIANGLE_TRIANGLE, LINELINE_LINELINE. The reason for choosing these three types of shape features is because facial features are different, but always have an attached relationship that forms lines or triangles that follow a similar For example, the position of the eye, nose and mouth is always correlated.
- Proposing automatic technique to determine the set of control points to serve the model deformation correction based on the analysis of a set of observational models of the object of interest. Combined with deformation rectification algorithm and a set of variation models to evaluate the rectification
APPLICATION AND FUTURE WORK
Application
The results of the thesis can be integrated into real-time application systems such as 3D editing with real actors, or in virtual interactive game systems, or video calls with effects fun application … or build a virtual announcer system …
Future work
Although the thesis has proposed the solution of 3D facial expression, the process of simulating expressions after being estimated on the 3D face model is accurate and reasonable in the context. There is still no way.
- A typical example is when a person is smiling but his legs are sharp and his eyes are congenitally down, the system can estimate happiness and sadness, or when the person is angry but shows a through the color of the facial skin (red), not really through facial gestures and thus the estimation of the expressive state will no longer be accurate, leading to a false simulation of the state..
- Currently, the system undergoes many image processing stages from face detection to determination of the control point set, then estimates the features and finally interpolation to emulate That way, discrete processing slows down the entire system.
Confirmation of representative
Assoc. Prof. Do Nang Toan, PhD
PhD. Candidate Scientific supervisor
Huynh Cao Tuan