You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-27 - 08:21
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Thu Nov 27, 2025 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
68082316280,24sleep00-21swapper/00
69922303220,68sleep30-21swapper/33
63402279241,24sleep20-21swapper/22
718599265261,2cyclictest0-21swapper/33
67272256186,26sleep10-21swapper/11
718299235231,2cyclictest0-21swapper/22
717699168164,2cyclictest0-21swapper/11
717099154149,3cyclictest18577-21strings0
73992550,3sleep30-21swapper/33
256872410,2sleep30-21swapper/33
7185993614,19cyclictest9791-21sed3
7185993612,21cyclictest20115-21wc3
718599352,9cyclictest4292-21apt-get3
157252350,2sleep20-21swapper/22
718599343,7cyclictest25878-21apt-get3
718599342,9cyclictest1933-21apt-get3
718599342,6cyclictest12055-21apt-get3
718599341,7cyclictest10421-21apt-get3
7185993412,3cyclictest10172-21if_enp2s03
7185993410,4cyclictest26643-21expr3
152442340,2sleep30-21swapper/33
718599329,4cyclictest10136-21cron3
718599322,5cyclictest0-21swapper/33
7185993210,4cyclictest16151-21fw_packets3
718599319,3cyclictest122942chrt3
718599312,8cyclictest13676-21apt-get3
718599312,6cyclictest6746-21apt-get3
718599312,6cyclictest637-21apt-get3
718599312,6cyclictest28311-21apt-get3
718599311,4cyclictest16111-21apt-get3
7185993111,3cyclictest4035-21latency_hist3
7185993111,3cyclictest24288-21cut3
7185993111,3cyclictest18490-21cstates3
7185993110,3cyclictest10696-21wc3
718599309,3cyclictest9546-21ls3
718599309,3cyclictest28143-21cat3
718599309,3cyclictest20422-21cpuspeed_turbos3
718599307,20cyclictest0-21swapper/33
718599302,9cyclictest21801-21sort3
718599302,9cyclictest21801-21sort3
718599301,6cyclictest19779-21apt-get3
718599301,5cyclictest22916-21apt-get3
7185993010,2cyclictest2798-21timerwakeupswit3
718599299,2cyclictest7117-21cpuspeed3
718599299,2cyclictest30778-21gltestperf3
718599298,3cyclictest28052-21latency_hist3
718599298,3cyclictest16645-21basename3
718599296,4cyclictest26742-21readlink3
718599295,5cyclictest2022-21sendmail3
718599295,4cyclictest509-21systemd-logind3
718599292,7cyclictest16811-21apt-get3
718599292,6cyclictest8788-21apt-get3
718599292,5cyclictest12050-21apt-get3
718599292,4cyclictest20183-21apt-get3
718599292,4cyclictest20183-21apt-get3
718599289,2cyclictest4805-21basename3
718599283,8cyclictest665-21runrttasks3
718599283,5cyclictest7363-21apt-get3
718599283,5cyclictest7363-21apt-get3
718599282,6cyclictest3591-21apt-get3
718599282,5cyclictest31962-21apt-get3
718599282,5cyclictest27903-21apt-get3
718599282,4cyclictest32358-21apt-get3
718599281,5cyclictest30068-21cron3
68452280,13sleep228-21ksoftirqd/22
718599273,7cyclictest665-21runrttasks3
718599273,7cyclictest665-21runrttasks3
718599272,6cyclictest14069-21apt-get3
218572270,12sleep09-21ksoftirqd/00
718599262,5cyclictest24234-21apt-get3
718599262,5cyclictest24234-21apt-get3
718599261,5cyclictest30338-21unixbench_multi3
718299268,9cyclictest28-21ksoftirqd/22
718299268,9cyclictest28-21ksoftirqd/22
718599258,2cyclictest665-21runrttasks3
718599253,4cyclictest3987-21apt-get3
718299254,6cyclictest28314-21taskset2
718299252,7cyclictest12125-21taskset2
275202250,2sleep00-21swapper/00
718599241,5cyclictest5759-21apt-get3
718299232,6cyclictest27708-21taskset2
718299232,18cyclictest19173-21grep2
718299232,18cyclictest19173-21grep2
718299231,8cyclictest0-21swapper/22
718299231,6cyclictest23852-21taskset2
718299231,6cyclictest0-21swapper/22
717699230,7cyclictest21403-21sed1
7170992317,4cyclictest24676-21cron0
87422220,2sleep20-21swapper/22
7185992215,4cyclictest2082-21systemd-journal3
718299223,17cyclictest30789-21cat2
718299221,18cyclictest25997-21munin-run2
718299221,18cyclictest25997-21munin-run2
718299220,9cyclictest32437-21apt-config2
717699229,7cyclictest4720-21apt-get1
7176992216,4cyclictest505-21dbus-daemon1
7176992216,4cyclictest20641-21basename1
7176992216,4cyclictest20641-21basename1
7176992213,5cyclictest505-21dbus-daemon1
7170992215,4cyclictest3525-21sed0
718599212,15cyclictest3218-21gltestperf3
7185992114,4cyclictest31650-21grep3
7182992118,2cyclictest271rcuc/22
718299211,6cyclictest28-21ksoftirqd/22
7182992116,3cyclictest4596-21sed2
7182992116,3cyclictest27411-21ls2
7182992116,3cyclictest24733-21tail2
7182992115,4cyclictest30775-21ntpq2
7182992115,4cyclictest2958-21users2
7182992115,4cyclictest29181-21uname2
7182992115,4cyclictest14219-21munin-run2
7182992115,3cyclictest5369-21kernelversion2
7182992114,4cyclictest28317-21df2
7182992114,4cyclictest20800-21cat2
7182992114,4cyclictest17702-21awk2
718299211,3cyclictest11812-21perf2
718299211,17cyclictest23477-21grep2
7182992110,10cyclictest271rcuc/22
717699217,3cyclictest111rcu_preempt1
717699213,15cyclictest7695-21sed1
7176992115,4cyclictest9275-21munin-node1
7176992115,4cyclictest16093-21/usr/sbin/munin1
7176992115,4cyclictest13657-21/usr/sbin/munin1
7176992114,4cyclictest28389-21grep1
7176992114,4cyclictest26918-21which1
7176992111,5cyclictest10333-21gdbus1
7170992115,4cyclictest6728-21/usr/sbin/munin0
7170992115,4cyclictest505-21dbus-daemon0
106552210,1sleep00-21swapper/00
7185992015,3cyclictest14721-21sed3
718299202,6cyclictest28-21ksoftirqd/22
718299202,16cyclictest19782-1kworker/2:1H2
718299201,6cyclictest3499-21taskset2
7182992016,3cyclictest271rcuc/22
7182992015,3cyclictest665-21runrttasks2
7182992015,3cyclictest6482-21ntpq2
7182992015,3cyclictest24192-21sed2
7182992014,4cyclictest9843-21tr2
7182992014,4cyclictest954-21seq2
7182992014,4cyclictest3146-21uname2
7182992014,3cyclictest26762-21open_files2
718299201,3cyclictest25980-1kworker/2:0H2
718299201,3cyclictest2082-21systemd-journal2
718299201,3cyclictest1004-1kworker/2:2H2
718299201,3cyclictest1004-1kworker/2:2H2
718299201,16cyclictest9345-21munin-run2
718299200,17cyclictest9701-21cmp2
717699201,5cyclictest0-21swapper/11
7176992015,3cyclictest17875-21latency_hist1
7176992015,3cyclictest13882-21sed1
7176992015,2cyclictest15686-21/usr/sbin/munin1
7176992014,4cyclictest8340-21/usr/sbin/munin1
7176992014,4cyclictest6911-21/usr/sbin/munin1
7176992014,4cyclictest29918-21/usr/sbin/munin1
7176992014,4cyclictest26152-21cat1
7176992013,4cyclictest28843-21ls1
7176992013,4cyclictest28032-21idleruntime-cro1
7176992013,4cyclictest15659-21ntpq1
7176992013,4cyclictest11400-21idleruntime-cro1
7176992012,5cyclictest27642-21grep1
7170992015,3cyclictest8397-21seq0
7170992015,3cyclictest26262-21/usr/sbin/munin0
7170992015,3cyclictest21658-21seq0
7170992015,3cyclictest21658-21seq0
7170992015,3cyclictest12864-21sh0
7170992014,4cyclictest505-21dbus-daemon0
7170992014,4cyclictest24023-21date0
7170992014,4cyclictest23463-21seq0
7170992014,4cyclictest23463-21seq0
7170992014,4cyclictest2082-21systemd-journal0
7170992014,4cyclictest12531-21expr0
718299198,2cyclictest45592/usr/sbin/munin2
718299193,6cyclictest28-21ksoftirqd/22
7182991916,2cyclictest271rcuc/22
7182991915,2cyclictest25583-21kernelversion2
7182991914,3cyclictest22083-21cut2
7182991914,3cyclictest22083-21cut2
718299191,3cyclictest28016-21cron2
7182991913,3cyclictest8746-21date2
7182991913,3cyclictest25062-21wc2
718299191,2cyclictest25980-1kworker/2:0H2
7182991912,4cyclictest20091-21cat2
718299191,16cyclictest19782-1kworker/2:1H2
718299191,16cyclictest11389-21cron2
718299190,7cyclictest31825-21taskset2
7176991916,2cyclictest0-21swapper/11
7176991915,2cyclictest32640-21/usr/sbin/munin1
7176991915,2cyclictest30312-21/usr/sbin/munin1
7176991914,3cyclictest8770-21/usr/sbin/munin1
7176991914,3cyclictest7637-21/usr/sbin/munin1
7176991914,3cyclictest5604-21/usr/sbin/munin1
7176991914,3cyclictest3969-21/usr/sbin/munin1
7176991914,3cyclictest31944-21/usr/sbin/munin1
7176991914,3cyclictest29506-21sed1
7176991914,3cyclictest2677-21/usr/sbin/munin1
7176991914,3cyclictest24216-21/usr/sbin/munin1
7176991914,3cyclictest24216-21/usr/sbin/munin1
7176991914,3cyclictest23053-21ntpq1
7176991914,3cyclictest22898-21/usr/sbin/munin1
7176991914,3cyclictest19760-21/usr/sbin/munin1
7176991914,3cyclictest18118-21/usr/sbin/munin1
7176991914,3cyclictest1776-21sed1
7176991913,4cyclictest1922-21expr1
7176991913,3cyclictest12035-21/usr/sbin/munin1
7176991912,4cyclictest11845-21date1
7176991911,5cyclictest23530-21unixbench_multi1
717699190,16cyclictest18599-21awk1
7170991915,2cyclictest9-21ksoftirqd/00
7170991914,3cyclictest9133-21seq0
7170991914,3cyclictest5198-21expr0
7170991914,3cyclictest3570-21seq0
7170991914,3cyclictest28290-21seq0
7170991914,3cyclictest2205-21seq0
7170991914,3cyclictest19828-21which0
7170991914,3cyclictest19828-21which0
7170991914,3cyclictest18159-21apt-get0
7170991914,3cyclictest1633-21seq0
7170991914,3cyclictest15770-21seq0
7170991914,3cyclictest15686-21/usr/sbin/munin0
7170991914,3cyclictest15673-21seq0
7170991914,3cyclictest11885-21seq0
7170991914,3cyclictest10386-21seq0
7170991913,4cyclictest9092-21seq0
7170991913,4cyclictest30236-21cat0
7170991913,4cyclictest3020-21seq0
7170991913,4cyclictest27092-21expr0
7170991913,4cyclictest1104-21cat0
7170991913,4cyclictest10333-21gdbus0
7170991913,3cyclictest12981-21pmu-power0
7170991912,4cyclictest23934-21hostname0
7170991912,4cyclictest16089-21/usr/sbin/munin0
120572190,2sleep00-21swapper/00
718299188,2cyclictest111rcu_preempt2
7182991813,3cyclictest32532-21cpu2
7182991813,3cyclictest31278-21ls2
7182991813,3cyclictest12934-21sh2
7182991812,3cyclictest12301-21expr2
7182991810,5cyclictest9931-21ntp_kernel_err2
717699183,9cyclictest11651-21apt-get1
7176991816,1cyclictest0-21swapper/11
7176991813,3cyclictest22896-21cat1
7176991813,3cyclictest22896-21cat1
7176991813,3cyclictest1914-21/usr/sbin/munin1
7176991813,3cyclictest13833-21dump-pmu-power1
7176991813,3cyclictest10402-21/usr/sbin/munin1
7176991812,4cyclictest5438-21wc1
7176991812,3cyclictest21-21ksoftirqd/11
7176991811,5cyclictest17299-21grep1
7176991811,4cyclictest6702-21idleruntime-cro1
7176991811,4cyclictest505-21dbus-daemon1
717699180,16cyclictest0-21swapper/11
717699180,16cyclictest0-21swapper/11
7170991814,2cyclictest7345-21/usr/sbin/munin0
7170991814,2cyclictest7345-21/usr/sbin/munin0
7170991813,3cyclictest9544-21ntp_offset0
7170991813,3cyclictest6336-21cat0
7170991813,3cyclictest32387-21entropy0
7170991813,3cyclictest31864-21seq0
7170991813,3cyclictest28267-21expr0
7170991813,3cyclictest23683-21seq0
7170991813,3cyclictest21366-21cat0
7170991813,3cyclictest13740-21sh0
7170991812,4cyclictest7423-21cat0
7170991812,4cyclictest4209-21seq0
7170991812,4cyclictest28705-21expr0
7170991811,4cyclictest4290-21apt0
320112180,2sleep10-21swapper/11
105952181,5sleep10-21swapper/11
7185991713,2cyclictest665-21runrttasks3
7176991712,3cyclictest665-21runrttasks1
7176991712,3cyclictest665-21runrttasks1
7176991712,3cyclictest30416-21aten2_r9power_p1
717699170,4cyclictest0-21swapper/11
7170991715,1cyclictest0-21swapper/00
7170991713,2cyclictest2082-21systemd-journal0
7170991712,3cyclictest665-21runrttasks0
7170991712,3cyclictest30371-21forks0
7170991712,3cyclictest2873-21awk0
7170991712,3cyclictest26607-21expr0
7170991712,3cyclictest25946-21seq0
7170991712,3cyclictest25616-21uptime0
7170991712,3cyclictest25616-21uptime0
7170991712,3cyclictest17889-21wc0
7170991712,3cyclictest14722-21gpgv0
7170991712,3cyclictest10352-21cat0
718599161,13cyclictest0-21swapper/33
717699168,4cyclictest22702chrt1
7170991612,2cyclictest359-21latency_hist0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional