Использование jq для анализа вывода json инструментов AWS CLI

Я хотел бы использовать jq (http://stedolan.github.io/jq/) для анализа вывод json из aws ec2 description-instances и возвращает идентификатор экземпляра и теги только там, где теги содержат имя. владелец, затратный центр.

Вот частично отредактированный json, представляющий исходный вывод:

{
  "OwnerId":"121456789127",
  "ReservationId":"r-48465168",
  "Groups":[

  ],
  "Instances":[
    {
      "Monitoring":{
        "State":"disabled"
      },
      "PublicDnsName":null,
      "RootDeviceType":"ebs",
      "State":{
        "Code":16,
        "Name":"running"
      },
      "EbsOptimized":false,
      "LaunchTime":"2014-03-19T09:16:56.000Z",
      "PrivateIpAddress":"10.250.171.248",
      "ProductCodes":[
        {
          "ProductCodeId":"aacglxeowvn5hy8sznltowyqe",
          "ProductCodeType":"marketplace"
        }
      ],
      "VpcId":"vpc-86bab0e4",
      "StateTransitionReason":null,
      "InstanceId":"i-1234576",
      "ImageId":"ami-b7f6c5de",
      "PrivateDnsName":"ip-10-120-134-248.ec2.internal",
      "KeyName":"Test_Virginia",
      "SecurityGroups":[
        {
          "GroupName":"Test",
          "GroupId":"sg-12345b"
        }
      ],
      "ClientToken":"VYeFw1395220615808",
      "SubnetId":"subnet-12345314",
      "InstanceType":"t1.micro",
      "NetworkInterfaces":[
        {
          "Status":"in-use",
          "SourceDestCheck":true,
          "VpcId":"vpc-123456e4",
          "Description":"Primary network interface",
          "NetworkInterfaceId":"eni-3619f31d",
          "PrivateIpAddresses":[
            {
              "Primary":true,
              "PrivateIpAddress":"10.120.134.248"
            }
          ],
          "Attachment":{
            "Status":"attached",
            "DeviceIndex":0,
            "DeleteOnTermination":true,
            "AttachmentId":"eni-attach-9210dee8",
            "AttachTime":"2014-03-19T09:16:56.000Z"
          },
          "Groups":[
            {
              "GroupName":"Test",
              "GroupId":"sg-123456cb"
            }
          ],
          "SubnetId":"subnet-31236514",
          "OwnerId":"109030037527",
          "PrivateIpAddress":"10.120.134.248"
        }
      ],
      "SourceDestCheck":true,
      "Placement":{
        "Tenancy":"default",
        "GroupName":null,
        "AvailabilityZone":"us-east-1c"
      },
      "Hypervisor":"xen",
      "BlockDeviceMappings":[
        {
          "DeviceName":"/dev/sda",
          "Ebs":{
            "Status":"attached",
            "DeleteOnTermination":false,
            "VolumeId":"vol-37ff097b",
            "AttachTime":"2014-03-19T09:17:00.000Z"
          }
        }
      ],
      "Architecture":"x86_64",
      "KernelId":"aki-88aa75e1",
      "RootDeviceName":"/dev/sda1",
      "VirtualizationType":"paravirtual",
      "Tags":[
        {
          "Value":"Server for testing RDS feature in us-east-1c AZ",
          "Key":"Description"
        },
        {
          "Value":"RDS_Machine (us-east-1c)",
          "Key":"Name"
        },
          {
          "Value":"1234",
          "Key":"Cost.centre"
        },
        {
          "Value":"Jyoti Bhanot",
          "Key":"Owner"
        }
      ],
      "AmiLaunchIndex":0
    }
  ]
}

Я использую эту команду:

 aws ec2 describe-instances | jq '.Instances[] | select(.Tags==["Name","Owner","cost.centre") | .InstanceId, .Tags'

Но это выдает ошибку:

                                                           ^
   error: Invalid character
.Reservations[].Instances | map(select(has("Tags"))) |.Tags[].Key=="cost.centre")) | map(select(has("InstanceId"))) | .[].InstanceId,.[].Tags
                                                                                ^
error: Invalid character
.Reservations[].Instances | map(select(has("Tags"))) |.Tags[].Key=="cost.centre")) | map(select(has("InstanceId"))) | .[].InstanceId,.[].Tags
                                                                                 ^
2 compile errors

[Errno 32] Broken pipe

Пожалуйста, помогите мне решить эту ошибку


amazon-web-services json amazon-ec2 jq
person Megha Sharma    schedule 28.03.2014    source источник

Ответы (2)


arrow_upward
3
arrow_downward

Попробуй это:

$ aws ec2 describe-instances --output json | jq '.Reservations[].Instances[] | (.Tags | from_entries) as $tags | select($tags.Owner != null) | {InstanceID: .InstanceId, Name: $tags.Name, Owner: $tags.Owner, CostCenter: $tags."cost.center"}'

... который возвращает:

{
  "InstanceID": "i-734cbc51",
  "Name": "someserver001",
  "Owner": "john.smith@null",
  "CostCenter": "ABC001"
}
person phatypus    schedule 20.09.2015
comment
Это работает с текущим выводом экземпляров описания aws ec2, но я только что заметил, что его нужно настроить для вашего примера ввода; это работает для вашего образца: образец кошки | jq '.Экземпляры[] | (.Tags | from_entries) как $tags | select($tags.Owner!= null) | {InstanceID: .InstanceId, Имя: $tags.Name, Владелец: $tags.Owner, CostCenter: $tags.Cost.centre}' - person phatypus; 21.09.2015

arrow_upward
0
arrow_downward

Основная проблема заключается в том, что в вашем запросе отсутствует закрывающий ']', однако я думаю, что немного сложнее фильтровать экземпляры EC2, у которых есть эти теги.

Это может быть немного запутанным, но что-то вроде этого работает для меня:

aws ec2 describe-instances | jq '.Instances | map(select(has("Tags"))) | map(select(.Tags[].Key=="Name" and .Tags[].Key=="Owner" and .Tags[].Key=="Cost.centre")) | map(select(has("InstanceId"))) | .[].InstanceId,.[].Tags'
person sorohan    schedule 30.03.2014
comment
Извините, в моей команде aws есть элемент верхнего уровня Reservations, а cost.centre должен был быть Cost.centre. Я обновил команду, чтобы она соответствовала предоставленному вами JSON. - person sorohan; 31.03.2014
comment
Вы можете сделать это также для учета регистра? - person user3086014; 31.03.2014
comment
@user3086014 user3086014 Я не вижу поддержки в jq для нечувствительности к регистру. - person sorohan; 31.03.2014
comment
@MeghaSharma, можешь сказать мне об ошибке? У меня работает с предоставленным вами JSON. - person sorohan; 31.03.2014