ConveyThis 技術の内部: ウェブサイト クローラーの構築

2020年にパンデミックによるロックダウンが始まったことで、時間の制約で遠ざかっていたプログラミング言語Golangをついに学ぶ機会が与えられた。

Google によって開発された Golang または Go は、近年人気が高まっています。静的にコンパイルされるプログラミング言語である Golang は、開発者が効率的で信頼性の高い同時実行コードを作成できるように設計されています。そのシンプルさにより、速度を犠牲にすることなく、大規模で複雑なプログラムの作成と保守がサポートされます。

Golang に慣れるための潜在的なサイド プロジェクトについて考えていたところ、Web クローラーが思い浮かびました。これは前述の基準を満たしており、ConveyThis ユーザーにとってソリューションとなる可能性があります。Web クローラーまたは「ボット」は、Web サイトにアクセスしてデータを抽出するプログラムです。

ConveyThis の場合、ユーザーがサイトをスキャンしてすべての URL を取得できるツールを開発することが目標でした。さらに、翻訳を生成するプロセスを効率化したいと考えていました。現在、ユーザーは翻訳された言語で Web サイトにアクセスして翻訳を生成する必要がありますが、これは大規模な多言語サイトでは困難な作業になります。

最初のプロトタイプは、URL を入力として受け取り、サイトのクロールを開始するプログラムという単純なものでしたが、迅速かつ効果的でした。CTO の Alex 氏は、このソリューションの可能性に気づき、コンセプトを洗練させ、将来の本番サービスのホスティング方法を検討するための研究開発にゴーサインを出しました。

ホスティングのジレンマを解決する一方で、乗り越えなければならないハードルがまた一つ増えました。これで、効率的かつスケーラブルな方法でホストされた、機能的なボットが完成しました。残りのタスクは、ボットが生成したデータをユーザーに中継することでした。

最大限のインタラクティブ性を実現するために、ボットと ConveyThis ダッシュボード間のリアルタイム通信を採用しました。リアルタイムはこのような機能の要件ではありませんが、ボットが動作を開始するとすぐにユーザーがフィードバックを得られるようしたいと考えました。

これを実現するために、AWS EC2 インスタンスでホストされるシンプルな Node.js WebSocket サーバーを開発しました。これには、WebSocket サーバーとの通信と展開の自動化のためにボットにいくつかの調整が必要でした。徹底的なテストを経て、本番環境に移行する準備が整いました。

サイド プロジェクトとして始まったものが、最終的にダッシュボードにその場所を見つけました。挑戦を通じて、Go の知識を獲得し、AWS 環境でのスキルを磨きました。 Go はメモリ使用量が少ないため、ネットワーク タスク、協調プログラミング、サーバーレス コンピューティングに特に有益であることがわかりました。

ボットが新しい機会をもたらすので、将来的にも計画があります。効率を上げるために単語カウント ツールを書き直し、キャッシュ ウォーミングに使用することも検討しています。私が共有して楽しんだのと同じくらい、ConveyThis の技術の世界を覗いて楽しんでいただければ幸いです。