Logistic regression là gì

1. Giới thiệuTrong bài viết này, bọn họ vẫn trao đổi những có mang Logistic Regression cùng coi nó hoàn toàn có thể góp chúng ta xử trí những vụ việc cầm cố như thế nào.Logistic Regression là một thuật tân oán phân nhiều loại được dùng làm gán những đối tượng người dùng cho 1 tập phù hợp quý giá tách rộc rạc (nlỗi 0, 1, 2, ...). Một ví dụ nổi bật là phân nhiều loại Thư điện tử, có gồm email công việc, email mái ấm gia đình, gmail spam, ... đổi chác trực tuyến có là bình an hay không bình an, kân hận u lành tính tuyệt ác tình. Thuật tân oán bên trên cần sử dụng hàm sigmoid logistic để đưa ra review theo Tỷ Lệ. Ví dụ: Khối hận u này 80% là lành tính, giao dịch thanh toán này 90% là gian lậu, ...2. Đặt vấn đềNgân mặt hàng bạn đang có tác dụng gồm lịch trình cho vay vốn ưu đãi cho những đối tượng người dùng cài đặt căn hộ cao cấp. Tuy nhiên vừa mới đây có rất nhiều căn hộ cao cấp lôi kéo đề nghị lượng hồ sơ bạn nộp cho lịch trình khuyến mãi tạo thêm những. Bình thường chúng ta có thể duyệt y 10-đôi mươi hồ sơ một ngày để đưa ra quyết định làm hồ sơ có được cho vay vốn hay không, tuy vậy cách đây không lâu chúng ta nhận ra 1000-2000 làm hồ sơ mỗi ngày. Quý khách hàng tất yêu cách xử trí không còn hồ sơ và chúng ta cần phải có một giải pháp nhằm có thể dự đoán thù làm hồ sơ new là gồm buộc phải giải ngân cho vay hay không. Sau Khi so với, bạn nhận ra bao gồm 2 nhân tố đưa ra quyết định tới việc làm hồ sơ giành được chấp nhận hay không, sẽ là mức lương cùng kinh nghiệm thao tác làm việc. Dưới đây là 1 thứ thị ví dụ
*
Về phương diện xúc tích, chúng ta cũng có thể suy nghĩ ngay lập tức đến sự việc vẽ 1 con đường trực tiếp phân chia các điểm xanh và kia, rồi giới thiệu đưa ra quyết định cho 1 điểm new phụ thuộc đường trực tiếp đó. Ví dụ cầm cố này:
*
lấy ví dụ con đường xanh là mặt đường phân chia. Dự đoán thù mang đến hồ sơ của người dân có mức lương 6 triệu cùng một năm kinh nghiệm là không chấp nhậnTuy nhiên, vày ngân hàng sẽ gặp khó khăn phải giảm bớt cho vay, bank thử dùng hồ sơ đạt bên trên 80% new giải ngân cho vay. Bây giờ không chỉ có tạm dừng làm việc câu hỏi quyết định cho vay hay không, nhưng mà nên tìm kiếm Tỷ Lệ làm hồ sơ kia giải ngân cho vay là từng nào.3. Hàm sigmoidGiờ đề xuất tìm kiếm xác suất giải ngân cho vay của 1 hồ sơ, tất nhiên là giá trị trong đoạn <0, 1> rồi. Hàm nhưng luôn có giá trị trong đoạn <0, 1>, tiếp tục mà lại dễ áp dụng thì chính là hàm sigmoid.

Bạn đang xem: Logistic regression là gì

*
Nhận xét:

Hàm liên tiếp cùng luôn đưa ra cực hiếm trong tầm (0, 1)Có đạo hàm trên phần lớn điểm phải rất có thể dùng gradient descent4. Thiết lập bài xích toánVề cơ phiên bản thì bọn họ sẽ sở hữu được quá trình sau cho một bài xích toán thù Machine learning:

Thiết lập modelThiết lập hàm mất mát Loss FunctionTìm tđắm đuối số bằng câu hỏi tối ưu loss functionDự đoán tài liệu new nhờ vào loss function bắt đầu kiếm tìm được

4.1 Model

Với dòng thức i trong tài liệu, Gọi
*
là kinh nghiệm tay nghề làm việc của hồ sơ sản phẩm i
*
là phần trăm mà mã sản phẩm dự đoán hồ sơ lắp thêm i cho vay
*
là Phần Trăm mà Mã Sản Phẩm dự đoán thù hồ sơ sản phẩm công nghệ i cấm đoán vay.Ta bao gồm ngay
*
Hàm sigmoid là: Tương từ nhỏng hàm dự đoán thù vào Linear Regression là
*
, thì trong Logistic Regression ta bao gồm hàm dự đoán như sau:
*

4.2 Loss Function - Hàm mất mát

Bây giờ đồng hồ chúng ta cần 1 hàm để review độ giỏi của Model (tức làm dự đoán).Ta tất cả nhận xét nlỗi sau:+ Nếu hồ sơ thiết bị i là cho vay, tức = 1 thì ta mong muốn càng ngay sát 1 càng giỏi xuất xắc mã sản phẩm dự đân oán phần trăm cho hồ sơ thứ i vay mượn càng tốt càng giỏi.+ Nếu làm hồ sơ máy i là cấm đoán vay mượn, tức = 0 thì ta ước muốn càng sát 0 càng giỏi tốt Model dự đân oán Tỷ Lệ mang đến làm hồ sơ thứ i vay mượn càng phải chăng càng xuất sắc.Với mỗi điểm (), ta hotline hàm loss function (Trong Machine learning, Deep leaning thì chúng ta hiểu log là ln nhé)Thử Review hàm L nhé. Nếu = 1
*
Nhận xét:+ Hàm L bớt từ bỏ 0 cho 1+ Khi mã sản phẩm dự đân oán = 1, tức cực hiếm dự đoán gần với giá trị thật thì L nhỏ dại, xấp xỉ 0.+ Lúc Mã Sản Phẩm dự đân oán = 0, tức giá trị dự đoán thù trở lại với cái giá trị thiệt thì L không hề nhỏ.Ngược lại, nếu như
*
, ta có vật dụng thị sau
*
Nhận xét:+ Hàm L tăng từ 0 đến 1+ Khi mã sản phẩm dự đoán thù ngay gần 0, tức quý hiếm dự đoán thù sát với cái giá trị thiệt thì L nhỏ, xê dịch 0.+ khi Mã Sản Phẩm dự đoán thù sát 1, tức quý hiếm dự đoán ngược chở lại với cái giá trị thật thì L vô cùng lớn=> Hàm L nhỏ dại Lúc giá trị mã sản phẩm ngay gần với giá trị thật và rất cao lúc model dự đân oán không nên, giỏi nói theo một cách khác L càng nhỏ tuổi thì Mã Sản Phẩm dự đoán thù càng ngay gần với cái giá trị thật. => Bài toán tân oán quy về tìm kiếm giá trị nhỏ độc nhất của L.Ta tất cả hàm mất non bên trên toàn bộ cỗ dữ liệu như sau:
*

4.3 Tính đạo hàm phức tạp bởi chuyên môn Chain Rule

Chain rule là gì? Nếu z = f(y) cùng y = g(x) giỏi z = f(g(x)) thì
*
Thử áp dụng tính đạo hàm của hàm sigmoid .
*

4.4 Áp dụng gradient descent

Với từng điểm (), Điện thoại tư vấn hàm mất đuối trong đó
*
là giá trị cơ mà Mã Sản Phẩm dự đoán, còn yi là quý hiếm thật của tài liệu.Áp dụng Chain rule ta có:
*
*
*
Từ vật dụng thị ta thấy:
*
Do đó:
*
Tương tự:
*
Đấy là trên 1 điều tài liệu, bám trên toàn bộ dữ liệu:
*
*
*

4.5 Biểu diễn bởi ma trận

*

Sau Lúc triển khai gradient descent ta tìm được w0, w1, w2. Với mỗi làm hồ sơ bắt đầu
*
thì cho vay, không thì quán triệt vay mượn.

Xem thêm: Cách Gấp Áo Sơ Mi Nam - 5 Cách Gấp Áo Sơ Mi Nhanh Và Đẹp Mà Không Bị Nhăn

4.6 Xây dựng mặt đường thẳng phân chia

Xét mặt đường thẳng y = ax + b, thì f = y - (ax + b), ta tất cả được 1 đường thẳng phân tách khía cạnh phẳng là 2 phần, một trong những phần f > 0, một trong những phần f
*
Giả sử mốc chính giữa là 0.5 thì >= 0.5 thì cho vay, ngược chở lại thì quán triệt vay mượn.
*
Tương tự
*
=> mặt đường trực tiếp
*
là con đường phân làn giữa những điểm cho vay vốn và phủ nhận.
*
Trong trường đúng theo tổng quát t bất kỳ,
*
*
Ta thấy khi t = 0.8 thì đường phân làn gần những điểm red color hơn so với t = 0.5, thậm chí là 2 điểm red color trước này được gật đầu thì hiện thời lại bị nockout vứt.5. Ứng dụngDự đoán gmail có yêu cầu spam xuất xắc khôngDự đoán thù thanh toán giao dịch bank là gian lận xuất xắc khôngDự đoán thù khối khối u lành xuất xắc ác tínhDự đoán khoản vay mượn gồm trả được khôngDự đoán khoản đầu tư vào start-up tất cả tăng lãi hay là không.

Nguồn Towards Datascience, Deep learning cơ bản