はじめに

Amazon RDS(MySQL)で、監査ログ出力を有効にしました。一部マスクした出力例がこちら。

20190707 20:30:55,ip-172-23-2-48,root,10.100.xx.xx,1234567,0,DISCONNECT,,,0 

20190808 10:15:30,ip-10-7-1-52,testdbuser,172.16.xx.xx,2345678,23456789,QUERY,testdb02,'SET autocommit=1',0

20190909 05:25:25,ip-10-7-1-52,rdsadmin,localhost,3456789,98765432,QUERY,,'SELECT 1',0

なんとなく書いてあることは分かるものの、それぞれのフィールドについてきちんと公式のドキュメントで確認したいと思い、調べました。

結論

以下の通りです。

[timestamp],[serverhost],[username],[host],[connectionid],[queryid],[operation],[database],[object],[retcode]

以下のドキュメントに記載されている内容と一致しています。

[Amazon Aurora MySQL DB クラスターでの高度な監査の使用 – 監査ログの詳細]
https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/AuroraUserGuide/AuroraMySQL.Auditing.html#AuroraMySQL.Auditing.Logs

監査ログファイルの行には、次のカンマ区切りの情報が指定された順序で含まれています。

結果的には同じだったのですが、あくまで上記はAmazon Aurora(MySQL)のドキュメントなので、これを正式な情報源として終了、というのももやっとします。Amazon RDS(MySQL)のドキュメントに同じ記載があればよかったのですが、該当する記述は見当たりませんでした。

公式のソースにあたる

AWSドキュメント以外のソースを探すことにします。その取っ掛かりとしてMARIADB_AUDIT_PLUGINというキーワードを用います。MARIADB_AUDIT_PLUGINとは、Amazon RDS(MySQL)において監査ログの出力を有効にするために有効化が必要なオプションの名称です。

監査ログにアクセスするには、DB インスタンスは MARIADB_AUDIT_PLUGIN オプションを指定してカスタムオプショングループを使用する必要があります。

[MySQL データベースログファイル – MySQL 監査ログへのアクセス]
https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/UserGuide/USER_LogAccess.Concepts.MySQL.html#USER_LogAccess.MySQL.Auditlog

そして、MariaDBとは『MySQL派生として開発されている、オープンソースの関係データベース管理システム (RDBMS) 』です。（Wikipediaより。）

MariaDBの公式ソースにあたるものを調べたところ、Knowledge Baseというページが該当しそうです。その中の1ページとして、お目当てのものを見つけました。

[MariaDB Audit Plugin – Log Format]
https://mariadb.com/kb/en/library/mariadb-audit-plugin-log-format/

Amazon Aurora(MySQL)のドキュメントに記載されていた内容と概ね同じことが記載されています。

ログの出力例も記載されています。

[timestamp],[serverhost],[username],[host],[connectionid],0,CONNECT,[database],,0 
[timestamp],[serverhost],[username],[host],[connectionid],0,DISCONNECT,,,0 
[timestamp],[serverhost],[username],[host],[connectionid],0,FAILED_CONNECT,,,[retcode]

上記の表の『Recorded action type:』にはCONNECTとしか書かれていませんが、DISCONNECTやFAILED_CONNECTも記録されるようです。冒頭の例1でも、DISCONNECTが記録されたことが確認できています。¹

[timestamp],[serverhost],[username],[host],[connectionid],[queryid],QUERY,[database],[object], [retcode]

[timestamp],[serverhost],[username],[host],[connectionid],[queryid],CREATE,[database],[object], 
[timestamp],[serverhost],[username],[host],[connectionid],[queryid],READ,[database],[object], 
[timestamp],[serverhost],[username],[host],[connectionid],[queryid],WRITE,[database],[object], 
[timestamp],[serverhost],[username],[host],[connectionid],[queryid],ALTER,[database],[object], 
[timestamp],[serverhost],[username],[host],[connectionid],[queryid],RENAME,[database], [object_old]|[database_new].[object_new], 
[timestamp],[serverhost],[username],[host],[connectionid],[queryid],DROP,[database],[object],

純粋なMariaDB Audit Pluginとの違い

Amazon Aurora(MySQL)のドキュメントには記載が無く、MariaDBのドキュメントには記載が有るフィールドがあります。

syslog関連のフィールドです。ちなみにsyslogとは、Wikipediaによると以下の通り。

Syslog は、ログメッセージをIPネットワーク上で転送するための標準規格である。”Syslog” という用語は、その通信プロトコルを指すだけでなく、Syslog メッセージを送信するアプリケーションやライブラリに対しても使われる。

上記のフィールドは、MariaDB Audit Pluginの設定値の一つをデフォルトから変えることで出力が有効になるものです。

If the server_audit_output_type variable is set to syslog instead of the default, file, the audit log file format will be as follows:

どういった設定があるかについては、以下ページで確認できました。

https://mariadb.com/kb/en/library/mariadb-audit-plugin-options-and-system-variables/#server_audit_output_type

+-------------------------------+-----------------------+
| Variable_name                 | Value                 |
+-------------------------------+-----------------------+
| server_audit_events           | CONNECT,QUERY,TABLE   |
| server_audit_excl_users       |                       |
| server_audit_file_path        | server_audit.log      |
| server_audit_file_rotate_now  | OFF                   |
| server_audit_file_rotate_size | 1000000               |
| server_audit_file_rotations   | 9                     |
| server_audit_incl_users       |                       |
| server_audit_logging          | ON                    |
| server_audit_mode             | 0                     |
| server_audit_output_type      | file                  | # syslogに変えるのはここ
| server_audit_query_log_limit  | 1024                  |
| server_audit_syslog_facility  | LOG_USER              |
| server_audit_syslog_ident     | mysql-server_auditing |
| server_audit_syslog_info      |                       |
| server_audit_syslog_priority  | LOG_INFO              |
+-------------------------------+-----------------------+

一方で、Amazon RDS(MySQL)のMARIADB_AUDIT_PLUGINで設定可能なオプションについては以下ドキュメントに記載があります。MariaDB Audit Pluginで設定可能なパラメータと比較して、種類が少なくなっていることが分かります。

[MariaDB 監査プラグインのサポート]
https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/UserGuide/Appendix.MySQL.Options.AuditPlugin.html

RDS（Aurora含む）は、RDBMSを提供するPaaSであり、ユーザがOS相当の領域に変更を加えることができません。各種RDBMSにおけるconfファイルも触ることができないため、代わりにパラメータグループやオプショングループでの設定を通じ、それらに相当するような設定を行うことが可能です。とはいえconfの全量が触れるというわけではなく、飽くまでRDBMSの機能に必要な分だけが取捨選択されています。

上記の例のsyslogで言えば、サーバ・ネットワークレイヤが主戦場であり、AWSによってマネージされている領域であるため、ユーザーが意識する必要無し、ということでオプショングループの設定対象に含まれていないのだろうと考えます。

[timestamp][syslog_host][syslog_ident]:[syslog_info][serverhost],[username],[host],[connectionid],[queryid],[operation],[database],[object],[retcode]

Auroraの監査ログもきっとMariaDB Audit Plugin

Amazon Aurora(MySQL)では、オプショングループではなくパラメータグループで監査ログの出力設定を行います。

[Amazon Aurora MySQL DB クラスターでの高度な監査の使用 – 高度な監査の有効化]
https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/AuroraUserGuide/AuroraMySQL.Auditing.html#AuroraMySQL.Auditing.Enable

設定可能なパラメータは以下の通り。

• server_audit_logging
• server_audit_events
• server_audit_excl_users
• server_audit_incl_users

MariaDB Audit Pluginの設定項目と同じ名称です。ドキュメントに明確に記載は無いものの、恐らく裏側では利用しているのでしょう。Amazon RDS(MySQL)のMARIADB_AUDIT_PLUGINと比較すると、ログファイルの出力先、ローテートに関する項目が減っています。RDSとAuroraのアーキテクチャの違いにより、ユーザがどこまで触れる（指定できる）かが異なるんだなーと再認識させられます。

ログファイルは UTF-8 形式です。ログは、複数のファイルに書き込まれます。ファイル数は、インスタンスのサイズによって異なります。最新のイベントを表示するには、すべての監査ログファイルの確認が必要な場合があります。
ログファイルは、合計 100 MB に達するとローテーションされます。この制限は設定できません。

おわりに

本来はログのフォーマットを書いておしまいの予定だったのですが、どうやって正式なソースにあたるか、という話に波及しました。ついついなんでもAWSの公式ドキュメントを見てしまうのですが、Linuxのログ（例えば/var/log/messages）のログフォーマットをEC2のドキュメントで確認しないように、AWSが提供している範囲を意識して、適宜参照すべきソースをあたらなくてはなと思いました。

本当は冒頭のログ出力例1~3を見て「あれ？」と思ったことも書きたかったのですが、それはまた次回にでも。