]> git.itanic.dy.fi Git - linux-stable/commit
swiotlb: split up the global swiotlb lock
authorTianyu Lan <Tianyu.Lan@microsoft.com>
Fri, 8 Jul 2022 16:15:44 +0000 (12:15 -0400)
committerChristoph Hellwig <hch@lst.de>
Wed, 13 Jul 2022 11:23:10 +0000 (13:23 +0200)
commit20347fca71a387a3751f7bb270062616ddc5317a
tree202597625c17d2211fbd4f65abb65f4b55b0d2b5
parentc51ba246cb172c9e947dc6fb8868a1eaf0b2a913
swiotlb: split up the global swiotlb lock

Traditionally swiotlb was not performance critical because it was only
used for slow devices. But in some setups, like TDX/SEV confidential
guests, all IO has to go through swiotlb. Currently swiotlb only has a
single lock. Under high IO load with multiple CPUs this can lead to
significat lock contention on the swiotlb lock.

This patch splits the swiotlb bounce buffer pool into individual areas
which have their own lock. Each CPU tries to allocate in its own area
first. Only if that fails does it search other areas. On freeing the
allocation is freed into the area where the memory was originally
allocated from.

Area number can be set via swiotlb kernel parameter and is default
to be possible cpu number. If possible cpu number is not power of
2, area number will be round up to the next power of 2.

This idea from Andi Kleen patch(https://github.com/intel/tdx/commit/
4529b5784c141782c72ec9bd9a92df2b68cb7d45).

Based-on-idea-by: Andi Kleen <ak@linux.intel.com>
Signed-off-by: Tianyu Lan <Tianyu.Lan@microsoft.com>
Signed-off-by: Christoph Hellwig <hch@lst.de>
Documentation/admin-guide/kernel-parameters.txt
include/linux/swiotlb.h
kernel/dma/swiotlb.c