You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-16 - 18:32
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Sun Nov 16, 2025 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
174512312274,26sleep10-21swapper/11
176202295256,26sleep20-21swapper/22
176212254219,23sleep30-21swapper/33
1791799252246,3cyclictest550-21gpgv0
176132247187,47sleep00-21swapper/00
1792799216211,3cyclictest0-21swapper/33
1077521440,2sleep01791799cyclictest0
1792499108103,3cyclictest17748-1kworker/2:2H2
179199910298,2cyclictest0-21swapper/11
215642590,1sleep20-21swapper/22
39392570,2sleep10-21swapper/11
135422400,2sleep30-21swapper/33
310672370,1sleep30-21swapper/33
1792499345,18cyclictest0-21swapper/22
1791999341,10cyclictest16500-21date1
1792499337,10cyclictest1202-21expr2
1792499335,16cyclictest0-21swapper/22
1792499335,16cyclictest0-21swapper/22
17924993311,7cyclictest5554-21latency_hist2
1792499326,9cyclictest8970-21/usr/sbin/munin2
1792499326,9cyclictest8970-21/usr/sbin/munin2
1792499315,9cyclictest0-21swapper/22
1792499314,16cyclictest0-21swapper/22
1792499306,9cyclictest9088-21processes2
1792499306,10cyclictest14768-21irqstats2
1792499304,9cyclictest0-21swapper/22
1792499303,17cyclictest0-21swapper/22
1791999304,8cyclictest8951-21grep1
210132290,3sleep11791999cyclictest1
1792499299,17cyclictest16357-21lockfile-remove2
1792499297,19cyclictest224161munin-run2
1792499297,19cyclictest224161munin-run2
1792499294,9cyclictest0-21swapper/22
17924992911,15cyclictest32478-21latency_hist2
17924992910,3cyclictest505-21dbus-daemon2
1792499290,20cyclictest0-21swapper/22
1792499289,16cyclictest26114-21idleruntime-cro2
17919992825,2cyclictest201rcuc/11
257572270,4sleep01791799cyclictest0
1792499279,15cyclictest4488-21/usr/sbin/munin2
1792499277,18cyclictest29777-21awk2
1792499274,9cyclictest0-21swapper/22
1792499274,9cyclictest0-21swapper/22
1792499271,18cyclictest0-21swapper/22
1791999272,15cyclictest665-21runrttasks1
1792499264,9cyclictest0-21swapper/22
1792499264,8cyclictest0-21swapper/22
1792499264,8cyclictest0-21swapper/22
1791999264,7cyclictest31963-21acpi1
1791999261,9cyclictest24647-21cat1
1791999261,14cyclictest665-21runrttasks1
1792499254,8cyclictest0-21swapper/22
1792499254,8cyclictest0-21swapper/22
1792499253,8cyclictest0-21swapper/22
1792499253,8cyclictest0-21swapper/22
1792499251,12cyclictest0-21swapper/22
17924992510,12cyclictest23217-21grep2
17924992510,12cyclictest23217-21grep2
1791999253,7cyclictest26993-21irqstats1
1791999253,6cyclictest665-21runrttasks1
1791999251,6cyclictest9435-21dump-pmu-power1
1791999250,14cyclictest21-21ksoftirqd/11
1791999250,14cyclictest21-21ksoftirqd/11
1791999250,14cyclictest21-21ksoftirqd/11
1791999250,14cyclictest21-21ksoftirqd/11
158012250,4sleep31792799cyclictest3
95722240,2sleep1201rcuc/11
95722240,2sleep1201rcuc/11
1792499249,12cyclictest31801-21dump-pmu-power2
1792499244,8cyclictest0-21swapper/22
1792499244,18cyclictest0-21swapper/22
1792499243,8cyclictest0-21swapper/22
1792499243,8cyclictest0-21swapper/22
1791999247,10cyclictest12118-21taskset1
1791999241,7cyclictest21-21ksoftirqd/11
1791999241,7cyclictest21-21ksoftirqd/11
1791999241,7cyclictest21-21ksoftirqd/11
1791999241,5cyclictest0-21swapper/11
1791999240,6cyclictest0-21swapper/11
173612240,3sleep00-21swapper/00
1792499237,13cyclictest2082-21systemd-journal2
1792499234,7cyclictest13220-21runrttasks2
1792499234,17cyclictest0-21swapper/22
1791999232,6cyclictest201rcuc/11
1791999231,7cyclictest21-21ksoftirqd/11
1791999231,6cyclictest21-21ksoftirqd/11
1791999231,6cyclictest21-21ksoftirqd/11
1791999230,7cyclictest21-21ksoftirqd/11
1791999230,13cyclictest21-21ksoftirqd/11
1792499227,13cyclictest16941-21dpkg2
17924992216,4cyclictest23447-21sed2
1791999223,6cyclictest21-21ksoftirqd/11
1791999222,6cyclictest21-21ksoftirqd/11
1791999221,6cyclictest665-21runrttasks1
240292210,3sleep30-21swapper/33
17927992115,4cyclictest22042-21users3
17927992115,4cyclictest22042-21users3
17927992115,4cyclictest18642-21df3
17927992115,4cyclictest12910-21sed3
1792499219,10cyclictest100962chrt2
1792499218,10cyclictest665-21runrttasks2
1792499217,12cyclictest22523-21sendmail-msp2
1792499217,11cyclictest18672-21/usr/sbin/munin2
1792499216,12cyclictest20019-21cat2
1792499212,8cyclictest0-21swapper/22
17924992115,4cyclictest2199-21sed2
17924992114,4cyclictest28744-21expr2
1792499211,18cyclictest20387-21/usr/sbin/munin2
1792499211,18cyclictest12262-21idleruntime-cro2
17924992111,7cyclictest13859-21head2
1791999211,6cyclictest665-21runrttasks1
1791999211,6cyclictest665-21runrttasks1
1791999211,6cyclictest27394-21taskset1
1791999211,6cyclictest21-21ksoftirqd/11
17919992115,4cyclictest26374-21seq1
17919992115,4cyclictest26374-21seq1
17919992114,5cyclictest3407-21cron1
1791999210,6cyclictest21-21ksoftirqd/11
1791999210,6cyclictest21-21ksoftirqd/11
1791999210,6cyclictest21-21ksoftirqd/11
17917992116,3cyclictest9-21ksoftirqd/00
17917992115,4cyclictest30941-21cpuspeed_turbos0
17917992115,4cyclictest13239-21seq0
17917992114,4cyclictest24922-21cat0
1791799210,5cyclictest0-21swapper/00
1791799210,5cyclictest0-21swapper/00
17927992016,2cyclictest23569-21aten2_r9power_c3
17927992016,2cyclictest23569-21aten2_r9power_c3
17927992015,3cyclictest8439-21apt3
17927992015,3cyclictest6034-21cat3
17927992015,3cyclictest3684-21cat3
17927992015,3cyclictest30494-21if_enp3s03
17927992015,3cyclictest2079-21sed3
17927992015,3cyclictest20384-21sh3
17927992015,3cyclictest20251-21find3
17927992014,4cyclictest8723-21cron3
17927992014,4cyclictest2818-21cat3
17927992014,4cyclictest23251-21expr3
17927992014,4cyclictest21914-21df3
17927992014,3cyclictest4115-21idleruntime-cro3
17927992013,4cyclictest13776-21aten2.4-expect3
1792499206,12cyclictest12538-21diskstats2
1792499205,13cyclictest0-21swapper/22
17924992015,3cyclictest32184-21ls2
1792499201,18cyclictest0-21swapper/22
17924992011,6cyclictest26051-21unixbench-2d2
17924992011,6cyclictest26051-21unixbench-2d2
17924992010,6cyclictest6964-21taskset2
1791999202,6cyclictest21-21ksoftirqd/11
1791999202,6cyclictest21-21ksoftirqd/11
17919992017,2cyclictest201rcuc/11
17919992017,2cyclictest201rcuc/11
1791999201,6cyclictest21-21ksoftirqd/11
1791999201,6cyclictest0-21swapper/11
17919992015,3cyclictest32252-21seq1
17919992015,3cyclictest0-21swapper/11
17919992014,4cyclictest14175-21diskstats1
17919992013,4cyclictest19610-21grep1
1791999200,6cyclictest665-21runrttasks1
1791799209,6cyclictest852-21apt-get0
1791799208,10cyclictest9-21ksoftirqd/00
17917992017,2cyclictest0-21swapper/00
17917992015,3cyclictest25947-21/usr/sbin/munin0
17917992015,3cyclictest22381-21sh0
17917992015,3cyclictest19192-21unixbench_singl0
17917992015,3cyclictest15548-21vmstat0
17917992014,4cyclictest27767-21seq0
17917992014,4cyclictest17257-21seq0
17917992011,5cyclictest12115-21apt-get0
228492190,2sleep323019-21sed3
1792799193,14cyclictest20348-21tail3
17927991916,2cyclictest0-21swapper/33
17927991915,2cyclictest628-21cstates3
17927991915,2cyclictest25947-21/usr/sbin/munin3
17927991914,3cyclictest6022-21seq3
17927991914,3cyclictest5436-21swap3
17927991914,3cyclictest29122-21memory3
17927991914,3cyclictest28532-21idleruntime3
17927991914,3cyclictest28471-21if_enp2s03
17927991914,3cyclictest23547-21unixbench-2d3
17927991914,3cyclictest23547-21unixbench-2d3
17927991914,3cyclictest20717-21timerwakeupswit3
17927991914,3cyclictest16180-21/usr/sbin/munin3
17927991914,3cyclictest15776-21latency3
17927991914,3cyclictest11926-21wc3
17927991913,4cyclictest8373-21grep3
17927991913,4cyclictest3488-21date3
17927991913,4cyclictest27301-21expr3
17927991912,4cyclictest505-21dbus-daemon3
17927991912,4cyclictest31298-21grep3
17927991912,4cyclictest16177-21expr3
1792499198,9cyclictest883-21unixbench-2d2
1792499197,9cyclictest2126-21if_enp2s02
1792499197,9cyclictest18290-21fw_packets2
1792499195,5cyclictest20950irq/39-mmc02
17919991917,1cyclictest201rcuc/11
17919991917,1cyclictest201rcuc/11
1791999191,6cyclictest21-21ksoftirqd/11
17919991916,2cyclictest201rcuc/11
17919991916,2cyclictest201rcuc/11
17919991916,2cyclictest201rcuc/11
17919991916,2cyclictest201rcuc/11
17919991913,4cyclictest32735-21seq1
17919991912,4cyclictest32156-21aten2.4-expect1
17919991912,4cyclictest1572-21cut1
1791999190,7cyclictest21-21ksoftirqd/11
1791999190,16cyclictest11876-21ntpq1
1791799197,10cyclictest9-21ksoftirqd/00
17917991915,2cyclictest6370-21/usr/sbin/munin0
17917991915,2cyclictest5678-21/usr/sbin/munin0
17917991914,3cyclictest9-21ksoftirqd/00
17917991914,3cyclictest665-21runrttasks0
17917991914,3cyclictest4821-21find0
17917991914,3cyclictest31682-21seq0
17917991914,3cyclictest3076-21missed_timers0
17917991914,3cyclictest24981-21which0
17917991914,3cyclictest23072-21sed0
17917991914,3cyclictest23072-21sed0
17917991914,3cyclictest18861-21seq0
17917991914,3cyclictest18606-21/usr/sbin/munin0
17917991914,3cyclictest18050-21seq0
17917991914,3cyclictest13883-21ntpq0
17917991914,3cyclictest11592-21ls0
17917991913,4cyclictest14319-21date0
17927991816,1cyclictest0-21swapper/33
17927991814,2cyclictest24953-21cpuspeed3
17927991814,2cyclictest24953-21cpuspeed3
17927991813,3cyclictest9182-21ls3
17927991813,3cyclictest9094-21hostname3
17927991813,3cyclictest9094-21hostname3
17927991813,3cyclictest7684-21cut3
17927991813,3cyclictest7684-21cut3
17927991813,3cyclictest32349-21cat3
17927991813,3cyclictest29531-21ls3
17927991813,3cyclictest24272-21cat3
17927991813,3cyclictest12251-21grep3
17927991813,3cyclictest10584-21aten2_r9power_v3
17927991813,3cyclictest10095-21expr3
17927991812,4cyclictest25909-21seq3
17927991812,3cyclictest20300-21ls3
17927991812,3cyclictest18427-21cat3
1792799180,7cyclictest19632-21perf3
17924991816,1cyclictest0-21swapper/22
17924991810,6cyclictest3368-21gunzip2
1791999181,6cyclictest201rcuc/11
1791999181,5cyclictest21-21ksoftirqd/11
17919991813,3cyclictest29328-21expr1
17919991813,3cyclictest2082-21systemd-journal1
1791999180,6cyclictest21-21ksoftirqd/11
1791799182,9cyclictest26806-21apt-get0
17917991816,1cyclictest0-21swapper/00
17917991813,3cyclictest9865-21sh0
17917991813,3cyclictest9865-21sh0
17917991813,3cyclictest9119-21ls0
17917991813,3cyclictest665-21runrttasks0
17917991813,3cyclictest4758-21expr0
17917991813,3cyclictest30619-21latency0
17917991813,3cyclictest29149-21ls0
17917991813,3cyclictest24158-21vmstat0
17917991813,3cyclictest20983-21cstates0
17917991813,3cyclictest20983-21cstates0
17917991813,3cyclictest20659-21expr0
17917991813,3cyclictest18411-21cstates0
17917991813,3cyclictest18213-21/usr/sbin/munin0
17917991813,3cyclictest15638-21ls0
17917991813,3cyclictest12766-21seq0
17917991813,3cyclictest1026-21cat0
17917991812,4cyclictest6486-21ntpq0
17917991812,4cyclictest2554-21pmu-power0
17917991812,4cyclictest25393-21cat0
17917991812,4cyclictest25393-21cat0
17917991811,4cyclictest4926-21cut0
17917991811,4cyclictest13790-21cut0
17917991810,6cyclictest1302-21dump-pmu-power0
17927991713,2cyclictest11708-21/usr/sbin/munin3
17927991712,3cyclictest6082-21expr3
17927991712,3cyclictest24726-21ls3
17917991715,1cyclictest0-21swapper/00
17917991712,3cyclictest8096-21forks0
17917991712,3cyclictest8096-21forks0
17917991712,3cyclictest7361-21cat0
17917991712,3cyclictest665-21runrttasks0
17917991712,3cyclictest665-21runrttasks0
17917991712,3cyclictest3471-21date0
17917991712,3cyclictest23552-21apt0
17917991712,3cyclictest23552-21apt0
1792799163,11cyclictest16911-21wc3
17927991611,3cyclictest665-21runrttasks3
17927991611,3cyclictest32032-21date3
17927991611,3cyclictest17981-21basename3
17917991611,3cyclictest21243-21latency_hist0
17927991511,2cyclictest13377-21cstates3
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional