27.97.240.25 - - [26/Feb/2018:08:05:35 -0800] "\xEF6\xF0\xF1p\xDC\xD8\x9A\xDE\xD6\xF6" 400 166 "-" "-" "-" - 0.710
И таких запросов очень много. И символы всегда разные. Из-за них забивались метрики вида http_request_count{status="400", method="\xEF6\xF0\xF1p\xDC\xD8\x9A\xDE\xD6\xF6"}.
Единственное что пришло мне в голову - что кто-то пытается на http порт подключаться с SSL хендшейком. Родился примерно такой тест:
$ curl https://app-lb1.domain.com:80/
curl: (35) Unknown SSL protocol error in connection to app-lb1.domain.com:-9847
Но в логах, естественно были одинаковые символы для всех запросов - SSL Handshake начинался одинаково, что логично.
x.x.x.x - - [26/Feb/2018:08:18:35 -0800] "\x16\x03\x01\x00\xC6\x01\x00\x00\xC2\x03\x03Z\x943[\x93\xDF\xA9R\xFD\x8Dg\xBDV/\xEBjY\x97L\xC0\xB5\xED\x5C\xB5\x18zd\x8BR\xA6\x8C\x0B\x00\x00D\x00\xFF\xC0,\xC0+\xC0$\xC0#\xC0" 400 166 "-" "-" "-" - 0.229
x.x.x.x - - [26/Feb/2018:08:18:42 -0800] "\x16\x03\x01\x00\xC6\x01\x00\x00\xC2\x03\x03Z\x943bor\xF1\xE3_t\xB3\x96\x9C\xB3\x5CZWW(~@j\xB8\x04\xD9\x8E\xA6\xB9\xBB\xAF\x14\x1D\x00\x00D\x00\xFF\xC0,\xC0+\xC0$\xC0#\xC0" 400 166 "-" "-" "-" - 0.215
Не знаю что это было, но в итоге просто начали возвращать 403 ошибку сразу, если метод не входил в whitelist (GET, POST, HEAD, PUT, DELETE, OPTIONS).