Collect APIC IDs in processor creator

Summary:
Closes T489. Update schema to latest version: The processor element now
lists the APIC IDs present in the system. Let processor creator collect
even APIC IDs.

Reviewers: ken

Reviewed By: ken

Tags: #mugenhwcfg

Maniphest Tasks: T489

Differential Revision: https://dev.codelabs.ch/D714

Collect APIC IDs in processor creator

Filter out HT threads by only appending even IDs.

Update hardware config schema

The processor element now lists the APIC IDs present in the system.

Improve collection of CPU core information

Summary:
Extend get_cpu_cores method to consider CPU packages. The CPU core count
is now determined by adding the number of CPU cores per physical
package.

Test Plan:
Verified that the correct number of CPUs is generated on the Fujitsu
Primergy server and that the count for Lenovo T430s remains the same.

Reviewers: reet

Reviewed By: reet

Differential Revision: https://dev.codelabs.ch/D692

Improve collection of CPU core information

Extend get_cpu_cores method to consider CPU packages. The CPU core count
is now determined by adding the number of CPU cores per physical
package.

Various minor fixes

Summary:
Reduce I/O ports of system board device as only port 0xcf9 is required
for reboot. Remove all other I/O port resources.

Also, fix pep8 warning by adding missing whitespace and update PCI IDs.

Test Plan:
Removed the system board device from Genode/base_hw policy and verified
that vbox4_win7_32 scenario runs correctly.

Reviewers: reet

Reviewed By: reet

Differential Revision: https://dev.codelabs.ch/D691

Update pci.ids to version 2018.03.21

Reduce I/O ports of system board device

Only port 0xcf9 is required for reboot. Remove all other I/O port
resources.

Minor: Add missing whitespace

Use size parameter when grabbing dmesg output

The effect is that the tool will collect all information contained in
the kernel log buffer not just the last 16392 bytes. This helps where
many log messages are generated during system boot and the kernel log
buffer is configured to a larger size (e.g. CONFIG_LOG_BUF_SHIFT=17 on
Debian).

Auditors: reet

Rework IRQ/MSI and add I/O APIC information extraction

Summary:
Ref T459, T452. Generate I/O APIC device based on information parsed
from the MADT/APIC table. For each I/O APIC present on the system a
<device> is created with capabilities specifying the base Global System
Interrupt (GSI) and the maximum redirection table entry index.

Use the legacy IRQ number extracted from the ACPI DSDT PCI Routing Table
(PRT). Selection of the PRT entry is done using the PCI device number
and interrupt pin number as defined by the PCI config space. For devices
behind PCI bridges, the pin number of the parent/bridge device connected
to the system bus is used.

The PRT itself is gathered from the DSDT using the acpiexec utility and
executing the _PRT method. The device interrupt pin is read from the PCI
config space while the supported MSI(-x) vector number is read from the
corresponding capability.

Also fix some PEP8 warnings and avoid using parentheses in combination
with assert. Assert is a keyword and not a function so using parentheses
in this context leads to the creation of a tuple and non-empty tuples
evaluate to True...

Finally, update URLs in the README to use https where possible.

Test Plan:
Checked that the generated IRQ information matches the values from the
lspci -vv output of a Linux system booted with "pci=nomsi" on the Lenovo
T430s, X260 and Intel NUC 6CAYH. Also verified that the I/O APIC
information is correctly extracted from a Fujitsu Primergy RX2530 M1
server system that sports 3 I/O APICs.

Reviewers: reet

Reviewed By: reet

Maniphest Tasks: T459, T452

Differential Revision: https://dev.codelabs.ch/D687

Reword error message on iasl execution failure

Extract I/O APIC max redirection entry from dmesg

The new max_redirection_entry capability value specifies the last I/O
APIC redirection entry index starting from 0. Thus the effective index
of the last valid redirection entry is gsi_base + max_redirection_entry.

README: Update URLs to use https where possible

Fix DMAR get_referenced_rmrr test

The function expects BDF parameters as integers and not strings.
Otherwise comparison may lead to unexpected mismatches because of
implicit string/int type conversions prior to equality check (i.e. hex
string does not match corresponding integer decimal value).

Do not use parentheses in combination with assert

Assert is a keyword and not a function. Using parentheses in this context
leads to the creation of a tuple and non-empty tuples evaluate to
True... *sigh* Notice that there is now a failing test.

Minor: Fix some PEP8 warnings

Drop obsolete getPci_MSI function

Do not set msi attribute of pci element

It has been superseded by the new MSI IRQ collection mechanism.

Update hardware config schema

The <pci> element no longer has a 'msi' attribute.

Drop obsolete getMsiIrq function

Use legacy IRQ number extracted from ACPI PCI Routing Table

Instead of using the IRQ number assigned to the device by Linux, use the
number extracted from the ACPI DSDT PCI Routing Table. Selection of the
PRT entry is done using the PCI device number and interrupt pin number
as defined by the PCI config space. For devices behind PCI bridges, the
pin number of the parent/bridge device connected to the system bus is
used.

Note: The tests have been refactored to favor Mock usage instead of
      additional test data files.

Read device interrupt pin & line from PCI config space

When parsing PCI config space capabilities, also read the interrupt pin
and line from the PCI config space header of the device. Cache the
per-device information in a map and implement getInterruptInfo function
that returns the interrupt information for a specified PCI device.

Refactor device capability file reading

Pass an opened file as parameter to _readCapFile and use in-memory byte
stream file in test.

Load PRT from DSDT in creator.createElements

Declare path to DSDT in paths.py

Minor: Adjust formatting of function comments

Simplify isBridge and isPciExpress functions

Generate <msi> child elements for device IRQs

A <msi> child element is generated for each MSI interrupt a PCI device
supports.

Update to latest hardware XML schema

The new schema extends the device IRQ type to enable improved handling
of MSI IRQs.

Extract MSI(-x) vector count from PCI config space

Let get_cap_msi[x] functions return the number of supported MSI
interrupt vectors by querying the respective PCI config space
capability, see PCI Local Bus Specification, Revision 3.0, section
6.8.1.3 and 6.8.2.3.

Implement DSDT _PRT parsing

Extract PCI Interrupt Routing Table from ACPI DSDT table using acpiexec.
This is required to determine the legacy IRQ for any given PCI device.

Implement ACPI AML execution using acpiexec utility

The new acpi.execute_aml function can be used to execute commands on a given
AML file. The acpiexec utility is invoked on a copy of the given AML file and
the output is returned as string.

Extract copying of ACPI table to separate function

Simplify getBit utility function

Util: Add find function

The function returns the first element in the list for which the given
predicate is True.

Generate I/O APIC devices based on MADT information

Create a <device> element with capability "ioapic" for each I/O APIC
present in the system.

Drop unneeded params from IommuDevicesCreator

Implement I/O APIC extraction from MADT

The MADT module provides functions to parse MADT/APIC tables and extract
I/O APIC information such as the memory address and global system
interrupt base number as specified by ACPI specification, section
5.2.12.3.

Add MADT/APIC table test data

Make reserved memory block detection more robust

Summary:
Closes T457. Newer Linux kernels (tested with 4.13) changed the casing
of the memory type from 'reserved' to 'Reserved'. Therefore convert to
lowercase before comparison in filterMemoryBlocks function.

Also fix some creator tests and perform minor (pep8) cleanup.

Reviewers: ken

Reviewed By: ken

Maniphest Tasks: T457

Differential Revision: https://dev.codelabs.ch/D647

Make reserved memory regions detection more robust

Newer Linux kernels (tested with 4.13) changed the casing of the memory
type from 'reserved' to 'Reserved'. Therefore convert to lowercase
before comparison in filterMemoryBlocks function.

Minor cleanup

Fix creator tests

Delete unneeded variable declarations and assert empty lists. Also fix
assertion of filterDevicePaths.

Fix log output on empty message queue

Auditors: ken

Add config space region to PCI devices

Summary:
Ref T450. Make getPciConfigAddress an utility function and implement
get_mmconf creator function which returns an mmconf XML memory region
specified by PCI base, bus, device and function values.

Append PCI device mmconf regions in createDeviceFromPath function.

Test Plan:
Verified that a format B policy has the same mmconf regions as before
this revision.

Reviewers: ken

Reviewed By: ken

Maniphest Tasks: T450

Differential Revision: https://dev.codelabs.ch/D646

Append mmconf region in createDeviceFromPath

Implement get_mmconf creator function

The function returns an mmconf XML memory region specified by base, bus,
device and function.

Make getPciConfigAddress an utility function

Properly handle invalid IRQs

Summary:
Closes T454. Append log messages to generated output.xml. This makes it
more evident that warnings/errors occurred during XML generation. Also
add a warning if the tool is called with the --force command line
option.

On some systems, Linux exposes IRQs which are not in our allowed range,
which results in an ugly schema validation exception. Catch this
exception and add proper warning that the resource has been skipped.

Test Plan:
Verified that invalid legacy/MSI IRQs are skipped on the Intel NUC
6CAYH. Also verified that nothing has changed on the Lenovo T440s.

Reviewers: ken

Reviewed By: ken

Maniphest Tasks: T454

Differential Revision: https://dev.codelabs.ch/D641

Append warning about invalid IRQ resources

On some systems, Linux exposes IRQs which are not in our allowed range,
which results in an ugly schema validation exception.

Catch this exception and add proper warning that the resource has been
skipped.

Add warning if --force option is active

Append error log to output header

This makes it more evident that warnings/errors occurred during XML
generation.

Make produceLine output function newline-aware

Wrap messages at width 80, not 70

Drop message display() functions in favor of to_str

Fix one pep8 style issue in mugenhwcfg.py

Make processor speed detection more reliable

Summary:
Closes T453. The refined TSC clocksource string is not always present in
dmesg (at least on newer kernels).

Therefore, also look for the 'tsc: Detected <speed> processor' string if
the refined TSC clocksource regex search fails.

Also drop test_genDmesg test because running dmesg requires root on
Debian stretch now.

Test Plan:
Verified that processor speed extraction works on a 4.10.0 kernel
running on NUC 6CAYH where the refined TSC clocksource message is not
present in dmesg.

Reviewers: ken

Reviewed By: ken

Maniphest Tasks: T453

Differential Revision: https://dev.codelabs.ch/D640

Shorten dmesg_nokey file

Add second TSC speed regular expression

Also look for the 'tsc: Detected <speed> processor' string if the
refined TSC clocksource regex search fails.

Use regular expression to find TSC speed

Drop test_genDmesg test

Running dmesg requires root on Debian stretch.

Append IOMMU group ID to PCI device element

Summary:
Closes T449. Linux partitions devices into IOMMU groups depending on
their isolation properties. Devices in the same IOMMU group cannot be
properly isolated from each other because they may perform inter-device
transactions directly, without going through the IOMMU.

NOTE: This is informative for now as Muen does not configure PCI access
      control services (ACS). Therefore the IOMMU groups provided by
      Linux cannot yet be used 1:1 in a Muen system.

Test Plan: Verified that IOMMU groups are properly appended on the Lenovo T440s.

Reviewers: ken

Reviewed By: ken

Maniphest Tasks: T449

Differential Revision: https://dev.codelabs.ch/D639

Append IOMMU group element in getPci function

Add iommugrp argument to getPci function

Add iommugrp argument to createDeviceFromPath

Display warning if IOMMU groups are not available

Add iommugrpdir argument to PCI dev creator createElems

Update hardware config schema

Besides minor changes, this update provides the IOMMU group ID child of
PCI device elements.

Declare PATH_IOMMUGRP in test/testpaths.py

Declare IOMMUGRPS constant in paths.py

Fix pep8 warnings in src/creator.py

Fix TSC clocksource error string

README: Use acpica-tools instead of iasl package

Auditors: reet

Filter out memory blocks with zero size

Summary:
This happens if the BIOS reports a memory block size below one page. It
is then rounded down to zero in the generateMemoryBlock function.

Extend the filterMemoryBlocks function to remove those blocks from the
generated memory block list.

Reviewers: ken

Reviewed By: ken

Differential Revision: https://dev.codelabs.ch/D577

Filter out memory blocks with zero size

This happens if the BIOS reports a memory block size below one page.
Extend the filter function to remove those blocks from the generated
memory block list.

Add new memory block to memorycreator test data

Assert len of block list in memmapextraction test

Update pci.ids to version 2017.01.28

Reviewers: reet

Reviewed By: reet

Differential Revision: https://dev.codelabs.ch/D547

Update pci.ids to version 2017.01.28

Add system board device to generated config

Summary:
The system board device specifies resources provided by the
motherboard/chipset. It declares the 32-bit wide Configuration Space
Address (16#0cf8#) and Configuration Space Data (16#0cfc#) I/O ports.
The 8-bit wide 16#0cf9# port in the same range specifies the Reset
Control Register of the I/O controller hub (ICH). It furthermore
declares the 8-bit wide ACPI poweroff I/O port extracted from the ACPI
FADT table using the new FADT table parser.

Only the 16#0cf9# and the poweroff ports are actually used by the SK but
for supporting the Genode base-hw scenario, the complete 16#0cf8# ..
16#0cff# range must be specified in order to avoid overlapping ports
with multiple devices.

Note: 16#0cf8# and 16#0cfc# will be removed from the system board device
as soon as the Genode base-hw kernel supports the Enhanced Configuration
Access Mechanism (ECAM) for PCI bus enumeration.

Reviewers: ken

Reviewed By: ken

Tags: #mugenhwcfg

Differential Revision: https://dev.codelabs.ch/D534

Add pm1a_cnt_slp_typ capability to system board

The cap specifies the value which must be written to the PM1A control
block address in order to put the system into S5 soft-off state. The
value is identical for all currently supported hardware and is therefore
specified as a constant value instead of extracted from the ACPI DSDT
_S5 object.

Rename poweroff port to 'pma1_cnt'

Append ACPI poweroff port to system board device

Declare path to FADT in paths.py

Implement ACPI FADT parser

The ACPI FADT parser reads an ACPI FADT table from a file in binary
format and decompiles it using acpi.decompile_table. For now, it only
provides a getter for the system shutdown port (PM1A Control Block
Address).

Drop unneeded DMAR_TEMP path from paths.py

Add system board device to generated config

The system board device specifies resources provided by the
motherboard/chipset. For now, it declares the 32-bit wide Configuration
Space Address (16#0cf8#) and Configuration Space Data (16#0cfc#) I/O
ports. The 8-bit wide 16#0cf9# port in the same range specifies the
Reset Control Register of the I/O controller hub (ICH).

Only the 16#0cf9# port is actually used by the SK but for supporting the
Genode base-hw scenario the complete range must be specified in order to
avoid overlapping ports with multiple devices.

Note: 16#0cf8# and 16#0cfc# will be removed from the system board device
as soon as the Genode base-hw kernel supports the Enhanced Configuration
Access Mechanism (ECAM) for PCI bus enumeration.

Factor out ACPI decompile_table function to acpi.py

Minor: Remove whitespace in README.md

Cleanup: Drop obsolete custom exceptions

Sort result of os.listdir

The list returned by os.listdir is in arbitrary order. Sort the list
prior to processing to get reproducible results.

Auditors: reet

Rework legacy serial device generation

Summary:
Parse serial device information provided by Linux sysfs instead of
/proc/ioports. This enables the inclusion of serial device IRQs.

Drop obsolete code and test files.

Test Plan:
Generated a platform config on Kontron hardware and checked that the IRQs of
serial devices have been correctly added.

Reviewers: reet

Reviewed By: reet

Differential Revision: https://dev.codelabs.ch/D529

Drop unneeded ioport test files

Drop unneded IOPORTS path

Drop obsolete serial device creator code

Switch to new serial devices extraction method

Use Linux sysfs serial information to determine serial devices of the
system.

Add getSerialDevices function

The function returns a list of serial devices found at the specified path.

Add parseSerialDeviceResources function

The function parses a serial device resource description string and returns
the extracted information. If the data cannot be parsed None is returned.

Add Linux sysfs path for serial devices