【Backlog】一部のスペースでアクセスしづらい状態が発生していました

11月06日 (金) 16時50分頃 から 17時50分頃 まで、一部のスペースに対して、Backlogにアクセスしづらい、もしくはアクセスに非常に時間がかかる状態が発生しておりました。ご利用の皆様には、ご迷惑をおかけして大変申し訳ございませんでした。

[障害の概要]
DBに非常に負荷がかかるAPIがあり、レスポンスを返すのに時間がかかってるケースが発生していました。

[障害の影響範囲]
一部のスペースに対して、Backlogへのアクセスに非常に時間がかかる状態が発生しておりました。

[障害発生の経緯]

• 16:50 アプリケーションサーバからエラーメッセージを検知
• 17:14 アクセスに支障をきたす状態と判断し、Twitter で一次報告
• 17:40 特定APIへのアクセスで負荷が起きていたためリクエストを制限する
• 18:24 通常通りのアクセスができるようになってきたため、Twitter で復旧報告

[障害発生の原因]
データベースに非常に負荷がかかるAPIがあり、そのAPIのアクセス量が一時的に増えたため、データベース高負荷となった。

[対策]
0. [暫定対応]APIへのリクエスト上限制御
負荷がかかるAPIへのリクエスト上限数を、暫定的に制御しています。これにより、iPhone/Androidアプリを含んだ特定のリクエストで、通常時と同じ程度の利用においても上限数に引っかかる場合がございます。
ご迷惑をお掛けしますが、ご理解ご協力ください。

1. サーバー増強
データベースサーバーの増強を予定します。

2. APIの調整
負荷がかかるAPIの改善を進めています。データベースへのクエリを調整して負荷を軽減することや、キャッシュ制御・より効率的なデータ構造の検討などを進めます。

月初というお忙しい中、Backlog をご利用しづらい状態となってしまい、誠に申し訳ございませんでした。安心してBacklogをご利用いただけるよう、改善を進めてまいります。