Bên trong ConveyThis Tech: Xây dựng trình thu thập thông tin trang web của chúng tôi

Sự khởi đầu của đợt đóng cửa năm 2020 do đại dịch đã mang đến cho tôi cơ hội cuối cùng để học ngôn ngữ lập trình Golang đã bị loại bỏ do hạn chế về thời gian.

Được phát triển bởi Google, Golang hay Go đã trở nên phổ biến trong những năm gần đây. Một ngôn ngữ lập trình được biên dịch tĩnh, Golang được thiết kế để cho phép các nhà phát triển tạo mã hiệu quả, đáng tin cậy và đồng thời. Tính đơn giản của nó hỗ trợ viết và duy trì các chương trình mở rộng và phức tạp mà không làm giảm tốc độ.

Khi đang cân nhắc một dự án phụ tiềm năng để làm quen với Golang, một trình thu thập dữ liệu web đã nảy ra trong đầu tôi. Nó đáp ứng các tiêu chí được đề cập và có khả năng cung cấp giải pháp cho người dùng ConveyThis. Trình thu thập dữ liệu web hoặc 'bot' là chương trình truy cập trang web để trích xuất dữ liệu.

Đối với ConveyThis, mục tiêu của chúng tôi là phát triển một công cụ để người dùng quét trang web của họ và truy xuất tất cả các URL. Ngoài ra, chúng tôi muốn hợp lý hóa quá trình tạo bản dịch. Hiện tại, người dùng phải truy cập trang web của họ bằng ngôn ngữ đã dịch để tạo chúng, một nhiệm vụ trở nên khó khăn đối với các trang web lớn, đa ngôn ngữ.

Mặc dù nguyên mẫu ban đầu rất đơn giản – một chương trình lấy URL làm đầu vào và bắt đầu thu thập dữ liệu trang web – nhưng nó rất nhanh chóng và hiệu quả. Alex, ConveyThis' CTO, đã nhìn thấy tiềm năng của giải pháp này và đã cho phép nghiên cứu và phát triển để cải tiến ý tưởng cũng như dự tính cách tổ chức dịch vụ sản xuất trong tương lai.

Khi chúng tôi giải quyết được tình trạng tiến thoái lưỡng nan về việc đăng cai tổ chức, chúng tôi có một trở ngại khác cần vượt qua. Bây giờ chúng tôi đã có một bot chức năng, được lưu trữ theo cách hiệu quả, có thể mở rộng. Nhiệm vụ còn lại là chuyển tiếp dữ liệu do bot tạo ra cho người dùng của chúng tôi.

Nhằm đạt được khả năng tương tác tối đa, tôi quyết định giao tiếp theo thời gian thực giữa bot và trang tổng quan ConveyThis. Mặc dù thời gian thực không phải là yêu cầu bắt buộc đối với tính năng như vậy nhưng tôi muốn người dùng của chúng tôi nhận được phản hồi ngay lập tức ngay khi bot bắt đầu hoạt động.

Để đạt được điều này, chúng tôi đã phát triển một máy chủ ổ cắm web Node.js đơn giản, được lưu trữ trên một phiên bản AWS EC2. Điều này yêu cầu một số điều chỉnh đối với bot để liên lạc với máy chủ websocket và tự động triển khai. Sau khi kiểm tra kỹ lưỡng, chúng tôi đã sẵn sàng chuyển sang sản xuất.

Những gì bắt đầu như một dự án phụ cuối cùng đã tìm thấy vị trí của nó trong bảng điều khiển. Thông qua các thử thách, tôi đã có được kiến thức về cờ vây và trau dồi kỹ năng của mình trong môi trường AWS. Tôi nhận thấy Go đặc biệt hữu ích cho các tác vụ kết nối mạng, lập trình hợp tác và điện toán không có máy chủ, do dung lượng bộ nhớ thấp.

Chúng tôi có kế hoạch tương lai vì bot mang đến những cơ hội mới. Chúng tôi mong muốn viết lại công cụ đếm từ của mình để có hiệu quả tốt hơn và có khả năng sử dụng nó để làm ấm bộ đệm. Tôi hy vọng bạn thích thú với thế giới công nghệ của ConveyThis này cũng như tôi rất thích chia sẻ nó.