Video và phụ đề · Direct Media Downloader
Cấu trúc của URL: tại sao địa chỉ trang không phải là địa chỉ tệp có thể tải xuống
· Lý lịch
url lượt tải xuống web-basics
Mỗi URL đều có các phần giống nhau nhưng chỉ một số phần trỏ đến tệp có thể tải xuống. Bài đăng này chia nhỏ sơ đồ, máy chủ, đường dẫn, truy vấn và phân đoạn, đồng thời chỉ ra cách đọc liên kết trước khi bạn dán liên kết đó vào trình tải xuống.
Liên kết từ thanh địa chỉ không tải xuống bất cứ thứ gì - sự nhầm lẫn giữa vị trí của một trang và vị trí của một tệp
Thanh địa chỉ của trình duyệt thường đặt tên cho tài liệu đang được xem chứ không phải phản hồi phương tiện độc lập. Việc sao chép nó sẽ bảo toàn vị trí một cách chính xác nhưng vị trí đó có thể mô tả một ứng dụng trình phát chứ không phải các byte được ứng dụng đó hiển thị.
Địa chỉ tệp có thể tải xuống là tài nguyên HTTP có nội dung phản hồi là tệp dự kiến. URL bề ngoài có thể gợi ý mối quan hệ đó nhưng không thể thiết lập mối quan hệ đó nếu không có bằng chứng liên hệ và phản hồi. Do đó, câu hỏi hữu ích đầu tiên không phải là “cái này trông giống video phải không?” nhưng “nhà xuất bản nói rằng địa chỉ chính xác này đại diện cho nguồn tài nguyên nào?” Bắt đầu bằng cách hỏi nhà xuất bản dự định đại diện cho địa chỉ được sao chép đó, chứ không phải liệu một từ quen thuộc có xuất hiện ở đâu đó bên trong nó hay không.
Lược đồ và máy chủ - https, tên miền và lý do máy chủ là phần mà công cụ thông báo trước khi liên hệ với nó
Trong `https://cdn.example:8443/archive/cut.mp4`, HTTPS là lược đồ, cdn.example là tên máy chủ và 8443 là cổng rõ ràng. Nguồn gốc kết hợp các thành phần đó.
Direct Media Downloader chỉ chấp nhận HTTPS và thông báo tên máy chủ đã chuẩn hóa trước khi liên hệ. Nó từ chối thông tin xác thực được nhúng trước máy chủ và các điểm đến riêng tư hoặc nội bộ đã biết, bao gồm cả các biểu mẫu địa chỉ bị xáo trộn. Một cổng không mặc định rõ ràng có thể xác định một dịch vụ riêng biệt, do đó, đừng bỏ qua nó chỉ vì thông báo giao diện người dùng làm nổi bật tên máy chủ. Cổng rõ ràng vẫn là một phần của nguồn gốc và có thể xác định một dịch vụ riêng biệt mặc dù thông báo ngắn gọn nhấn mạnh tên máy chủ.
Đường dẫn - thư mục và phân đoạn cuối cùng, nơi thường xuất hiện tên tệp và phần mở rộng
Đường dẫn bắt đầu sau quyền và được chia bằng dấu gạch chéo. Phân đoạn cuối cùng của nó thường giống với tên tệp mà ToolAcre có thể sử dụng nếu Bố trí nội dung không cung cấp gợi ý nào tốt hơn.
“Thường xuyên” không phải là bằng chứng. `/watch/abc`, `/download/42` và `/asset.mp4` là các tuyến do máy chủ xác định. Bất kỳ ai cũng có thể trả về HTML, phương tiện, lỗi hoặc chuyển hướng tùy theo hành vi của máy chủ. Các ký tự được mã hóa phần trăm cũng có thể thay đổi đường dẫn hiển thị sau khi giải mã, giúp kiểm tra chế độ xem được phân tích cú pháp của trình duyệt an toàn hơn so với việc phân tách chuỗi thông thường. Mã hóa phần trăm có thể làm cho phân đoạn cuối cùng được hiển thị khác đi sau khi giải mã, một lý do khác để sử dụng phân tích cú pháp có cấu trúc thay vì phân tách bằng dấu gạch chéo.
Truy vấn và đoạn — tham số, mã thông báo và neo và tại sao truy vấn ?v=ID không trỏ đến tệp video
Truy vấn bắt đầu bằng dấu hỏi và có thể chọn tài nguyên, ủy quyền liên kết đã ký hoặc thực hiện phân tích. Đoạn bắt đầu bằng `#` và thường chọn trạng thái tài liệu phía máy khách thay vì được gửi trong yêu cầu HTTP.
Một tham số như `v=ID` thường xác định trạng thái trang; bản thân nó không có nghĩa là phản hồi là một tệp video. ToolAcre duy trì chữ ký chịu tải trong khi xóa danh sách giá trị theo dõi bảo thủ trong quá trình chuẩn hóa. Các đoạn vẫn có thể ảnh hưởng đến nội dung trang hiển thị sau khi điều hướng, đó là lý do tại sao bản sao thanh địa chỉ có thể duy trì trạng thái giao diện không liên quan đến phản hồi của máy chủ. Các mảnh vẫn có thể thay đổi trạng thái trang phía máy khách sau khi điều hướng mặc dù không có mặt trong yêu cầu gửi đến máy chủ.
Cách phát hiện liên kết tệp trực tiếp có thể xảy ra - tiện ích mở rộng, không có trang trình phát và máy chủ lưu trữ phục vụ tệp thay vì trang
Một liên kết trực tiếp có thể có máy chủ công cộng dự kiến và đường dẫn do nhà xuất bản cung cấp cho tệp. Tiện ích mở rộng quen thuộc là manh mối và hướng dẫn tải xuống chính thức có bối cảnh mạnh hơn địa chỉ người chơi được sao chép.
Kiểm tra liên kết sau đó có thể yêu cầu tiêu đề. Loại nội dung đa phương tiện hỗ trợ giả thuyết, trong khi `text/html` nhắc nhở cảnh báo. Phản hồi vẫn có thể bị gắn nhãn sai, do đó việc tải xuống và phát lại thành công vẫn là những quan sát sau này. Nút tải xuống trên trang riêng của nhà xuất bản là bằng chứng mạnh mẽ hơn về việc truy xuất có chủ đích so với các yêu cầu kỹ thuật đảo ngược chỉ được đưa ra để phát lại. Hướng dẫn tải xuống chính thức từ nhà xuất bản cung cấp bối cảnh rõ ràng hơn kỹ thuật đảo ngược một nội dung chỉ được quan sát trong quá trình phát lại được bảo vệ.
Ví dụ đã hoạt động: phân tích năm hình dạng liên kết — tệp CDN, trình rút gọn, trang xem, URL đã ký và một trang có một đoạn
So sánh năm hình: đường dẫn CDN kết thúc `.mp4`; một liên kết ngắn chuyển hướng; một trang xem có truy vấn ID; đường dẫn lưu trữ có chữ ký và thời hạn sử dụng; và một đoạn tài liệu.
Đoạn đầu tiên trông giống như tệp, đoạn thứ hai ẩn máy chủ cuối cùng của nó, đoạn thứ ba trông giống trang, đoạn thứ tư có thể chỉ hợp lệ tạm thời và đoạn thứ năm không được truyền đi. Chỉ những câu trả lời HTTP thực tế mới giải quyết được khả năng tiếp cận và nhãn. Trình rút ngắn nên được mở rộng thông qua một yêu cầu được ủy quyền, có thể quan sát được thay vì đoán; nhãn hiệu của nó không đưa ra kết luận gì về nguồn gốc lưu trữ cuối cùng. Chỉ mở rộng trình rút ngắn thông qua yêu cầu có thể quan sát được cho phép, vì chỉ riêng thương hiệu của nó không thể xác định được toán tử lưu trữ cuối cùng.
Điều này không bao gồm những gì - chỉ riêng URL không thể chứng minh tệp tồn tại hoặc loại tệp thực sự là gì
Phân tích cú pháp URL không thể chứng minh sự tồn tại, loại nội dung, độ dài, ủy quyền, an toàn hoặc sự cho phép hợp pháp. Nó cũng không thể dự đoán các điểm đến chuyển hướng nếu không đưa ra yêu cầu.
Kết quả an toàn cục bộ có nghĩa là sơ đồ vượt qua đích ban đầu và chính sách máy chủ. Hãy coi đó là quyền để ứng dụng cung cấp các điều khiển mạng chứ không phải như một phán quyết rằng máy chủ sẽ cung cấp phương tiện có thể phát được. Hành vi DNS và các chuyển hướng trong tương lai vẫn là các ranh giới bổ sung, vì vậy các tổ chức có danh sách cho phép nghiêm ngặt cần có các biện pháp kiểm soát mạng ngoài trình phân tích cú pháp phía máy khách này. Các tổ chức nghiêm ngặt nên kết hợp trình phân tích cú pháp này với DNS và các biện pháp kiểm soát đầu ra khi hành vi chuyển hướng hoặc giải pháp sau này phải đáp ứng danh sách cho phép.
Bài học rút ra: hãy đọc liên kết trước khi dán — cách kiểm tra URL của Direct Media Downloader thực hiện việc đọc tương tự cho bạn
Đọc địa chỉ theo lớp trước khi dán: giao thức, tên máy chủ, cổng, đường dẫn, truy vấn và phân đoạn. Giữ việc dọn dẹp theo dõi khác biệt với việc bảo quản chữ ký và không bao giờ suy ra các quyền từ một chuỗi công khai.
Direct Media Downloader áp dụng việc đọc cấu trúc đó cục bộ, sau đó chờ hành động. Yêu cầu HEAD tùy chọn của nó và GET tiếp theo sẽ trả lời các câu hỏi khác nhau mà chỉ riêng cú pháp thì không thể. Việc đọc theo lớp này ngăn chặn cả kết quả dương tính giả và đảm bảo sai trong khi vẫn lưu giữ thông tin truy vấn đã ký hữu ích cần thiết cho các hệ thống phân phối hợp pháp. Phương pháp phân lớp này bảo tồn các tham số đã ký hợp pháp đồng thời ngăn chặn sự quen thuộc về mặt hình ảnh bị nhầm lẫn với ủy quyền hoặc sự tồn tại.