You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-28 - 19:18
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Fri Nov 28, 2025 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
286462299260,26sleep10-21swapper/11
2882299269264,3cyclictest13886-21idleruntime-cro3
285262266210,44sleep30-21swapper/33
284362261189,24sleep00-21swapper/00
2881499239232,4cyclictest13859-21munin-run1
284332228191,24sleep20-21swapper/22
2880999164157,5cyclictest13878-21perf0
2881799154141,11cyclictest0-21swapper/22
39982680,3sleep10-21swapper/11
81022540,2sleep30-21swapper/33
164932490,2sleep12881499cyclictest1
278182440,1sleep00-21swapper/00
147492430,1sleep00-21swapper/00
301262410,2sleep20-21swapper/22
299432390,2sleep10-21swapper/11
323942350,2sleep30-21swapper/33
2882299320,30cyclictest5220-21kworker/3:03
242762270,4sleep1201rcuc/11
78512260,4sleep27849-21cron2
28822992418,4cyclictest9512-21plymouth3
2881799240,12cyclictest310712timerandwakeup2
28814992419,3cyclictest16001-21idleruntime-cro1
2882299234,8cyclictest35-21ksoftirqd/33
28822992319,3cyclictest25507-21sh3
2881799233,17cyclictest0-21swapper/22
149522230,4sleep114951-21latency_hist1
41402220,2sleep20-21swapper/22
2882299227,12cyclictest12915-21cron3
28822992211,7cyclictest22251-21apt-get3
2881799223,17cyclictest529-21cat2
2881799223,17cyclictest3522-21latency_hist2
2881799222,17cyclictest22746-21cat2
2881799222,17cyclictest13951-21latency_hist2
2881799221,18cyclictest5814-21munin-run2
2881799221,18cyclictest5814-21munin-run2
28814992216,4cyclictest17418-21sed1
28809992216,3cyclictest14567-21uptime0
25412220,1sleep10-21swapper/11
28822992117,2cyclictest4491-21idleruntime-cro3
28822992116,3cyclictest35-21ksoftirqd/33
28822992115,4cyclictest21661-21cut3
28822992114,4cyclictest24842-21date3
2881799213,16cyclictest30849-21awk2
2881799213,16cyclictest29892-21latency_hist2
2881799212,17cyclictest17396-21awk2
28817992116,3cyclictest12631-21switchtime2
28817992116,3cyclictest10877-21sh2
28817992115,4cyclictest30041-21seq2
28817992114,4cyclictest6977-21sed2
2881799211,3cyclictest18104-1kworker/2:2H2
2881799211,18cyclictest18027-21lockfile-remove2
2881799211,18cyclictest11268-21munin-run2
2881799211,17cyclictest26828-21lockfile-remove2
2881799211,17cyclictest19181-21apt-config2
28817992111,5cyclictest22953-21apt-get2
28814992115,4cyclictest5188-21ls1
28809992116,3cyclictest20013-21diskstats0
28809992116,3cyclictest16232-21/usr/sbin/munin0
28809992114,5cyclictest7460-21apt-get0
28809992113,5cyclictest5038-21apt-get0
246192210,1sleep10-21swapper/11
59452200,3sleep30-21swapper/33
2882299202,15cyclictest14446-21cut3
28822992015,3cyclictest5394-21cat3
28822992015,3cyclictest3534-21acpi3
28822992015,3cyclictest2666-21threads3
28822992015,3cyclictest13090-21open_inodes3
2881799207,11cyclictest0-21swapper/22
28817992015,3cyclictest28134-21df2
28817992015,3cyclictest18641-21forks2
28817992015,3cyclictest18030-21apt-get2
28817992015,3cyclictest14221-21sh2
2881799201,4cyclictest9868-21munin-run2
28817992014,4cyclictest28-21ksoftirqd/22
28817992014,4cyclictest28-21ksoftirqd/22
28817992014,4cyclictest26013-21seq2
28817992014,4cyclictest12013-21date2
2881799201,3cyclictest28446-1kworker/2:0H2
2881799201,3cyclictest1762-21perf2
2881799201,17cyclictest3789-21latency_hist2
2881799201,17cyclictest18104-1kworker/2:2H2
2881799201,17cyclictest15395-1kworker/2:0H2
28814992016,2cyclictest8482-21ntp_states1
28814992015,3cyclictest8274-21cpu1
28814992015,3cyclictest7134-21seq1
28814992015,3cyclictest31708-21seq1
28814992015,3cyclictest27620-21sed1
28814992015,3cyclictest21055-21seq1
28814992014,4cyclictest5563-21/usr/sbin/munin1
28814992014,4cyclictest5563-21/usr/sbin/munin1
28814992014,4cyclictest22233-21cat1
28814992014,4cyclictest22233-21cat1
28814992014,4cyclictest21-21ksoftirqd/11
28814992014,4cyclictest12557-21cat1
28814992013,4cyclictest4724-21ls1
28814992013,4cyclictest4724-21ls1
2881499200,18cyclictest13307-21cron1
28809992015,3cyclictest7048-21/usr/sbin/munin0
28809992015,3cyclictest2691-21/usr/sbin/munin0
28809992015,3cyclictest26001-21ps0
28809992015,3cyclictest25719-21seq0
28809992015,3cyclictest19663-21/usr/sbin/munin0
28809992015,3cyclictest19663-21/usr/sbin/munin0
28809992015,3cyclictest1488-21cron0
28809992015,3cyclictest13545-21grep0
28809992015,3cyclictest11328-21cpu0
28809992015,3cyclictest10955-21sed0
28809992014,4cyclictest14337-21sed0
28809992014,3cyclictest22647-21rt-features0
28809992014,3cyclictest22647-21rt-features0
167902200,2sleep02880999cyclictest0
310702190,2sleep10-21swapper/11
2882299196,11cyclictest505-21dbus-daemon3
28822991916,2cyclictest0-21swapper/33
28822991916,2cyclictest0-21swapper/33
28822991915,2cyclictest11632-21aten2_r9power_p3
28822991915,2cyclictest10803-21irqstats3
28822991914,3cyclictest3784-21cron3
28822991914,3cyclictest29924-21pmu-power3
28822991914,3cyclictest26512-21ntp_kernel_pll_3
28822991914,3cyclictest24626-21cut3
28822991914,3cyclictest1984-21sed3
28822991914,3cyclictest1263-21sed3
28822991914,3cyclictest11277-21sh3
28822991913,4cyclictest8504-21sendmail_mailst3
28822991913,4cyclictest32545-21ls3
28822991913,4cyclictest25973-21seq3
28822991913,4cyclictest15648-21forks3
28822991913,4cyclictest10136-21cat3
28822991913,3cyclictest27001-21sshd3
28822991912,5cyclictest2036-21awk3
28822991912,4cyclictest22212-21date3
28817991915,2cyclictest32344-21cat2
28817991915,2cyclictest1543-21cat2
28817991915,2cyclictest0-21swapper/22
28817991914,3cyclictest7221-21awk2
28817991914,3cyclictest3849-21sed2
28817991914,3cyclictest1689-21seq2
28817991914,3cyclictest13971-21expr2
2881799191,3cyclictest19391-21cron2
28817991913,3cyclictest26730-21expr2
28817991912,5cyclictest16976-21cron2
2881799191,16cyclictest15548-1kworker/2:1H2
2881799190,4cyclictest27428-21cron2
2881799190,3cyclictest28446-1kworker/2:0H2
2881799190,17cyclictest0-21swapper/22
28814991916,2cyclictest0-21swapper/11
28814991914,3cyclictest7442-21/usr/sbin/munin1
28814991914,3cyclictest7048-21/usr/sbin/munin1
28814991914,3cyclictest6058-21/usr/sbin/munin1
28814991914,3cyclictest5018-21/usr/sbin/munin1
28814991914,3cyclictest4470-21cron1
28814991914,3cyclictest3803-21idleruntime-cro1
28814991914,3cyclictest32580-21needreboot1
28814991914,3cyclictest31316-21cat1
28814991914,3cyclictest30995-21munin-node1
28814991914,3cyclictest30372-21/usr/sbin/munin1
28814991914,3cyclictest2959-21seq1
28814991914,3cyclictest29039-21/usr/sbin/munin1
28814991914,3cyclictest23670-21seq1
28814991914,3cyclictest23623-21/usr/sbin/munin1
28814991914,3cyclictest1293-21awk1
28814991914,3cyclictest11963-21latency_hist1
28814991914,3cyclictest11134-21/usr/sbin/munin1
28814991913,4cyclictest28347-21apt1
28814991913,4cyclictest28284-21grep1
28814991913,4cyclictest23792-21aten2.4-expect1
28814991912,5cyclictest16989-21idleruntime-cro1
28814991912,4cyclictest10158-21expr1
28809991915,2cyclictest9110-21aten2_r9power_c0
28809991915,2cyclictest32111-21cstates0
28809991915,2cyclictest29418-21unixbench_multi0
28809991914,3cyclictest9240-21cat0
28809991914,3cyclictest4494-21awk0
28809991914,3cyclictest30624-21seq0
28809991914,3cyclictest22584-21sh0
28809991914,3cyclictest18187-21/usr/sbin/munin0
28809991914,3cyclictest15094-21sh0
28809991914,3cyclictest1335-21/usr/sbin/munin0
28809991913,4cyclictest31184-21cat0
28809991913,4cyclictest22657-21seq0
28809991913,4cyclictest18837-21seq0
28809991913,4cyclictest1509-21seq0
28809991912,4cyclictest5496-21seq0
28809991912,4cyclictest5496-21seq0
28822991816,1cyclictest0-21swapper/33
28822991816,1cyclictest0-21swapper/33
28822991814,2cyclictest32257-21timerandwakeup3
28822991814,2cyclictest1772-21df_inode3
28822991813,3cyclictest9969-21ntpq3
28822991813,3cyclictest8541-21fw_packets3
28822991813,3cyclictest6876-21uname3
28822991813,3cyclictest35-21ksoftirqd/33
28822991813,3cyclictest35-21ksoftirqd/33
28822991813,3cyclictest29092-21grep3
28822991813,3cyclictest20924-21aten2_r9power_c3
28822991812,4cyclictest30178-21cat3
28822991812,4cyclictest29649-21grep3
28822991812,3cyclictest25599-21interrupts3
28822991811,5cyclictest27549-21systemctl3
28822991810,5cyclictest10330-21polkitd3
2882299180,15cyclictest17721-21grep3
28817991814,2cyclictest3394-21/usr/sbin/munin2
28817991814,2cyclictest28789-21latency_hist2
28817991814,2cyclictest14054-21ntp_states2
28817991813,3cyclictest2614-21ls2
28817991813,3cyclictest25428-21idleruntime-cro2
28817991813,3cyclictest1918-21cat2
28817991812,4cyclictest24500-21wc2
28817991812,4cyclictest19696-21cut2
28817991812,4cyclictest19696-21cut2
2881499181,5cyclictest0-21swapper/11
28814991814,2cyclictest637-21/usr/sbin/munin1
28814991814,2cyclictest21688-21/usr/sbin/munin1
28814991814,2cyclictest18586-21/usr/sbin/munin1
28814991813,3cyclictest29731-21/usr/sbin/munin1
28814991813,3cyclictest19160-21awk1
28814991813,3cyclictest14806-21cat1
28814991813,3cyclictest10853-21seq1
28814991813,3cyclictest10082-21cat1
28814991812,4cyclictest29552-21seq1
28814991812,4cyclictest28750-21rt-features1
28814991812,4cyclictest20229-21seq1
28814991812,4cyclictest20061-21expr1
28814991812,4cyclictest20061-21expr1
28814991812,4cyclictest17738-21seq1
28814991811,4cyclictest14662-21basename1
2880999182,9cyclictest3412-21apt-get0
2880999182,4cyclictest31612-21apt-get0
28809991816,1cyclictest0-21swapper/00
28809991816,1cyclictest0-21swapper/00
28809991816,1cyclictest0-21swapper/00
28809991814,2cyclictest5417-21/usr/sbin/munin0
28809991814,2cyclictest22935-21/usr/sbin/munin0
28809991814,2cyclictest10087-21cstates0
28809991813,3cyclictest665-21runrttasks0
28809991813,3cyclictest31068-21/usr/sbin/munin0
28809991813,3cyclictest30175-21cat0
28809991813,3cyclictest28247-21expr0
28809991813,3cyclictest25057-21seq0
28809991813,3cyclictest21421-21sed0
28809991813,3cyclictest17010-21latency_hist0
28809991813,3cyclictest15625-21aten2_r9power_c0
28809991812,4cyclictest30441-21grep0
28809991812,4cyclictest26316-21basename0
28809991812,4cyclictest17599-21date0
28809991812,4cyclictest1540-21ntpq0
28809991812,3cyclictest3749-21sed0
28809991812,3cyclictest29416-21sh0
28809991811,4cyclictest665-21runrttasks0
2880999180,16cyclictest0-21swapper/00
28822991715,1cyclictest0-21swapper/33
28822991713,2cyclictest665-21runrttasks3
28822991713,2cyclictest6024-21if_enp3s03
28822991713,2cyclictest31257-21ntp_offset3
28822991712,3cyclictest6746-21cat3
28822991712,3cyclictest6746-21cat3
28822991712,3cyclictest2864-21wc3
28822991712,3cyclictest22755-21tr3
28822991712,3cyclictest21607-21find3
28822991712,3cyclictest21607-21find3
28822991712,3cyclictest20661-21processes3
28822991712,3cyclictest16218-21if_err_enp3s03
28822991712,3cyclictest14918-21ls3
28817991713,2cyclictest20127-21idleruntime2
28817991711,4cyclictest14289-21cut2
2881799170,1cyclictest0-21swapper/22
2881799170,1cyclictest0-21swapper/22
2881799170,15cyclictest0-21swapper/22
28814991713,2cyclictest25734-21/usr/sbin/munin1
28814991712,3cyclictest32721-21basename1
28814991712,3cyclictest27006-21/usr/sbin/munin1
28814991712,3cyclictest17925-21cpuspeed_turbos1
28809991713,2cyclictest604-21sendmail-mta0
28809991712,3cyclictest8447-21ntpq0
28809991712,3cyclictest6436-21expr0
28809991712,3cyclictest30101-21expr0
28809991712,3cyclictest2242-21cat0
28822991612,2cyclictest13749-21if_enp2s03
28817991614,1cyclictest0-21swapper/22
2881799160,15cyclictest0-21swapper/22
2880999169,4cyclictest2082-21systemd-journal0
28809991610,4cyclictest3877-21cat0
28809991510,3cyclictest665-21runrttasks0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional