RDMA/uverbs: Expand primary and alt AV port checks