Tại sao mạng neuron lại dùng hàm sigmoid để kích hoạt ?
Mọi việc đều sáng tỏ nếu được chứng minh bằng toán học.
Trong những ngày đầu bắt đầu đọc và tìm hiểu về mạng Neuron tôi bắp gặp ngay cụm từ hàm kích hoạt mạng neuron là hàm sigmoid. Loay hoay tìm hiểu tại sao lại dùng hàm này mà lại không phải hàm số khác. Lịch sử người ta chọn hàm số này ra sao? là câu hỏi thôi thúc tôi đi tìm kiếm lời giải đáp.
Bản chất của việc xây dựng mạng neuron là việc giải các bài toán tối ưu trong không gian tuyến tính. Nếu các bạn đã có kiến thức cơ bản về mạng neuron đều học qua các phương pháp tối ưu của mạng neuron để tìm ra ma trận trọng số tối ưu nhất cho hàm mất mát.
Thuật toán tối ưu sử dụng rất rộng rãi trong mạng neuron là thuật toán Logistic regression (hồi quy logistic).