You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-28 - 06:41
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Fri Nov 28, 2025 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
171962312197,95sleep20-21swapper/22
157632272187,66sleep30-21swapper/33
1769699268264,2cyclictest0-21swapper/33
173512262204,46sleep00-21swapper/00
172562258220,25sleep10-21swapper/11
1769299254250,2cyclictest0-21swapper/22
2139621560,4sleep11768899cyclictest1
1768899148143,3cyclictest0-21swapper/11
1768399146140,4cyclictest9498-21strings0
189532540,1sleep00-21swapper/00
133232540,1sleep30-21swapper/33
64022530,2sleep26364-21munin-run2
27532530,2sleep20-21swapper/22
174952520,1sleep20-21swapper/22
241572420,3sleep00-21swapper/00
171382400,2sleep20-21swapper/22
93002390,1sleep20-21swapper/22
220312390,1sleep30-21swapper/33
1769699299,16cyclictest8896-40gzip3
1769299271,5cyclictest22650-21munin-run2
1769299244,17cyclictest23403-21latency_hist2
1768399243,19cyclictest0-21swapper/00
1769699231,20cyclictest6664-21kworker/3:13
1769299231,4cyclictest10333-21gdbus2
1768399232,14cyclictest9-21ksoftirqd/00
17683992311,2cyclictest24346-21latency_hist0
1769699222,13cyclictest26591-21chrt3
17696992215,4cyclictest28447-21idleruntime-cro3
17696992214,4cyclictest1-21systemd3
17692992217,3cyclictest28357-21cron2
1769299221,4cyclictest6782-1kworker/2:0H2
1769299221,18cyclictest4348-21munin-run2
1769299220,20cyclictest6433-21kworker/2:02
1768899221,9cyclictest23411-21apt1
17683992216,3cyclictest25441-21sh0
1768399220,12cyclictest4984-21find0
17696992113,4cyclictest505-21dbus-daemon3
17696992113,4cyclictest12875-21sh3
1769299213,16cyclictest2682-21latency_hist2
17692992116,3cyclictest27027-21munin-run2
17692992115,4cyclictest505-21dbus-daemon2
17692992115,4cyclictest20303-21systemctl2
17692992115,4cyclictest10618-21seq2
1769299210,3cyclictest2707-21/usr/sbin/munin2
1769299210,3cyclictest2707-21/usr/sbin/munin2
17688992118,2cyclictest0-21swapper/11
17688992116,3cyclictest3885-21ls1
17688992116,3cyclictest29983-21/usr/sbin/munin1
17688992116,3cyclictest26713-21tail1
17688992115,4cyclictest28874-21seq1
17688992115,4cyclictest2799-21sed1
17688992115,4cyclictest23643-21/usr/sbin/munin1
17688992113,4cyclictest21835-21pmu-power1
1768399219,3cyclictest290802cat0
17683992115,4cyclictest2333-21basename0
17683992111,6cyclictest22544-21apt-get0
1768399210,19cyclictest16855-21seq0
1769699202,15cyclictest28437-21grep3
17696992014,4cyclictest29896-21cat3
17696992014,4cyclictest14806-21sed3
17696992013,3cyclictest505-21dbus-daemon3
17696992012,5cyclictest505-21dbus-daemon3
17696992012,5cyclictest16995-21sendmail-mta3
17696992010,6cyclictest17869-21apt-get3
17692992016,2cyclictest25465-21pmu-power2
17692992015,3cyclictest9293-21cpuspeed_turbos2
17692992015,3cyclictest6580-21open_inodes2
17692992015,3cyclictest31179-21cpuspeed2
17692992015,3cyclictest304-21vmstat2
17692992015,3cyclictest22362-21sed2
17692992015,3cyclictest15822-21ps2
1769299201,4cyclictest1-21systemd2
17692992014,4cyclictest5368-21seq2
17692992014,4cyclictest31675-21expr2
17692992014,4cyclictest2939-21date2
17692992014,4cyclictest25089-21seq2
17692992014,4cyclictest22994-21diskstats2
17692992014,4cyclictest18261-21ls2
17692992014,4cyclictest10493-21df_inode2
1769299201,17cyclictest8765-40mandb2
1769299201,17cyclictest14501-21latency_hist2
1769299200,3cyclictest2343-21awk2
1769299200,2cyclictest0-21swapper/22
1769299200,2cyclictest0-21swapper/22
1769299200,18cyclictest28967-21aten2_r9power_e2
1768899205,12cyclictest665-21runrttasks1
17688992015,3cyclictest8024-21/usr/sbin/munin1
17688992015,3cyclictest32271-21cpuspeed_turbos1
17688992015,3cyclictest24852-21sed1
17688992015,3cyclictest2262-21grep1
17688992015,3cyclictest2262-21grep1
17688992015,3cyclictest22308-21cron1
17688992015,3cyclictest12939-21sed1
17688992014,4cyclictest12650-21sed1
17688992013,5cyclictest28413-21cron1
17688992012,6cyclictest4580-21/usr/sbin/munin1
17683992015,3cyclictest24630-21aten2_r9power_c0
17683992015,3cyclictest2439-21seq0
17683992015,3cyclictest2439-21seq0
17683992015,3cyclictest15163-21/usr/sbin/munin0
17683992014,4cyclictest7346-21seq0
17683992014,4cyclictest4687-21seq0
17683992014,4cyclictest4580-21/usr/sbin/munin0
17683992014,4cyclictest3585-21sed0
17683992014,4cyclictest14361-21cat0
17683992014,3cyclictest19963-21processes0
17683992014,3cyclictest13166-21mailstats0
17696991916,2cyclictest0-21swapper/33
17696991916,2cyclictest0-21swapper/33
17696991914,3cyclictest968-21sh3
17696991914,3cyclictest17195-21/usr/sbin/munin3
17696991913,4cyclictest6649-21apt-get3
17696991913,4cyclictest25524-21wc3
17696991913,4cyclictest1585-21cut3
17696991913,4cyclictest10333-21gdbus3
17696991912,4cyclictest8070-21aten2.4-expect3
17696991912,4cyclictest26391-21cron3
1769699191,16cyclictest13250-21cut3
17696991910,5cyclictest505-21dbus-daemon3
1769299192,14cyclictest14574-21head2
17692991915,3cyclictest0-21swapper/22
17692991915,2cyclictest6748-21aten2_r9power_v2
17692991915,2cyclictest18537-21aten2_r9power_c2
17692991914,3cyclictest5447-21gltestperf2
17692991914,3cyclictest3252-21cat2
17692991914,3cyclictest30404-21cat2
17692991914,3cyclictest30350-21sendmail_mailst2
17692991914,3cyclictest29306-21seq2
17692991914,3cyclictest26433-21head2
17692991914,3cyclictest25255-21interrupts2
17692991914,3cyclictest24546-21awk2
17692991914,3cyclictest23423-21cat2
17692991914,3cyclictest22316-21sendmail_mailst2
17692991914,3cyclictest1468-21cut2
17692991914,3cyclictest11174-21sh2
17692991912,5cyclictest11546-21nfs4_client2
1769299190,17cyclictest21514-21latency_hist2
17688991917,1cyclictest0-21swapper/11
17688991917,1cyclictest0-21swapper/11
17688991916,2cyclictest0-21swapper/11
17688991915,3cyclictest21-21ksoftirqd/11
17688991915,2cyclictest10345-21grep1
17688991914,3cyclictest20055-21sed1
17688991914,3cyclictest20055-21sed1
17688991914,3cyclictest19240-21/usr/sbin/munin1
17688991914,3cyclictest16146-21grep1
17688991914,3cyclictest1611-21/usr/sbin/munin1
17688991914,3cyclictest1483-21pmu-power1
17688991913,4cyclictest8918-21date1
17688991913,4cyclictest29742-21latency_hist1
17688991913,4cyclictest27723-21idleruntime-cro1
17688991913,4cyclictest19636-21dump-pmu-power1
1768399199,6cyclictest27292-21apt-get0
1768399195,3cyclictest9-21ksoftirqd/00
17683991914,3cyclictest9893-21cat0
17683991914,3cyclictest31949-21if_enp3s00
17683991914,3cyclictest29294-21/usr/sbin/munin0
17683991914,3cyclictest23339-21seq0
17683991914,3cyclictest22609-21seq0
17683991914,3cyclictest20641-21rt-features0
17683991914,3cyclictest20208-21awk0
17683991914,3cyclictest17456-21cat0
17683991914,3cyclictest17456-21cat0
17683991914,3cyclictest14649-21seq0
17683991914,3cyclictest13940-21wc0
17683991914,3cyclictest10911-21cat0
17683991913,4cyclictest6971-21/usr/sbin/munin0
17683991913,4cyclictest6110-21wc0
17683991913,4cyclictest23641-21hostname0
17683991913,4cyclictest19288-21entropy0
17683991913,4cyclictest19288-21entropy0
17683991913,4cyclictest11151-21cut0
17683991913,3cyclictest30124-21aten2.4-expect0
17683991912,4cyclictest16800-21/usr/sbin/munin0
1768399190,1cyclictest0-21swapper/00
1769699189,7cyclictest22631-21aten2_r9power_e3
1769699189,5cyclictest25258-21apt-get3
1769699184,11cyclictest3420-21ls3
1769699182,10cyclictest665-21runrttasks3
17696991816,1cyclictest0-21swapper/33
17696991816,1cyclictest0-21swapper/33
17696991816,1cyclictest0-21swapper/33
17696991816,1cyclictest0-21swapper/33
17696991813,3cyclictest665-21runrttasks3
17696991813,3cyclictest35-21ksoftirqd/33
17696991813,3cyclictest21691-21cut3
17696991813,3cyclictest19560-21expr3
17696991813,3cyclictest14770-21/usr/sbin/munin3
17696991813,3cyclictest10842-21latency_hist3
17696991812,4cyclictest9260-21ls3
17696991812,4cyclictest30443-21fw_packets3
17696991812,4cyclictest30268-21grep3
17696991812,4cyclictest20608-21seq3
17696991812,4cyclictest20608-21seq3
17696991812,4cyclictest15255-21cut3
1769699181,13cyclictest0-21swapper/33
17696991810,5cyclictest22112-21gltestperf3
1769699180,16cyclictest0-21swapper/33
1769299187,10cyclictest27360-21aten2_r9power_p2
17692991814,2cyclictest4975-21/usr/sbin/munin2
17692991814,2cyclictest12992-21open_files2
17692991813,3cyclictest20903-21sh2
17692991813,3cyclictest19701-21ntpq2
17692991813,3cyclictest19701-21ntpq2
17692991812,4cyclictest11711-21if_err_enp3s02
1769299180,16cyclictest16976-21perf2
17688991816,1cyclictest0-21swapper/11
17688991815,2cyclictest0-21swapper/11
17688991814,2cyclictest32646-21sed1
17688991814,2cyclictest2561-21/usr/sbin/munin1
17688991814,2cyclictest13115-21/usr/sbin/munin1
17688991813,3cyclictest665-21runrttasks1
17688991813,3cyclictest3966-21gzip1
17688991813,3cyclictest25226-21latency1
17688991813,3cyclictest18503-21/usr/sbin/munin1
17688991813,3cyclictest18001-21cat1
17688991813,3cyclictest17195-21/usr/sbin/munin1
17688991813,3cyclictest16025-21awk1
1768899181,14cyclictest3740-21cut1
1768399185,6cyclictest9-21ksoftirqd/00
17683991814,2cyclictest28962-21/usr/sbin/munin0
17683991814,2cyclictest18591-21aten2_r9power_p0
17683991813,3cyclictest9832-21cat0
17683991813,3cyclictest7635-21cat0
17683991813,3cyclictest665-21runrttasks0
17683991813,3cyclictest30379-21seq0
17683991813,3cyclictest2936-21expr0
17683991813,3cyclictest27304-21cut0
17683991813,3cyclictest26965-21expr0
17683991813,3cyclictest24914-21ls0
17683991813,3cyclictest21638-21expr0
17683991813,3cyclictest20911-21expr0
17683991813,3cyclictest14507-21cat0
17683991813,3cyclictest1364-21grep0
17683991813,3cyclictest11554-21grep0
17683991813,3cyclictest1139-21seq0
17683991812,4cyclictest27131-21date0
1769699172,9cyclictest31298-21apt-get3
1769699172,8cyclictest943-21apt-get3
1769699172,8cyclictest943-21apt-get3
17696991715,1cyclictest0-21swapper/33
17696991712,3cyclictest8232-21ls3
17696991712,3cyclictest5113-21cut3
17696991712,3cyclictest23651-21cut3
17696991712,3cyclictest17309-21cut3
17696991712,3cyclictest17309-21cut3
17696991711,4cyclictest32013-21cut3
17696991711,4cyclictest29062-21latency_hist3
17696991710,5cyclictest13944-21needreboot3
1769699170,16cyclictest0-21swapper/33
17692991712,3cyclictest665-21runrttasks2
17692991710,5cyclictest18111-21awk2
1768899174,8cyclictest9077-21apt-get1
1768899174,11cyclictest11744-21irqstats1
17688991713,2cyclictest22552-21/usr/sbin/munin1
17688991712,3cyclictest30064-21grep1
17688991712,3cyclictest28962-21/usr/sbin/munin1
17688991712,3cyclictest24483-21cut1
17688991712,3cyclictest18503-21grep1
17688991712,3cyclictest18503-21grep1
17688991712,3cyclictest12180-21aten2_r9power_p1
17688991711,4cyclictest14984-21ntpq1
17688991710,4cyclictest6155-21sed1
17688991710,4cyclictest505-21dbus-daemon1
1768899170,1cyclictest0-21swapper/11
1768899170,16cyclictest0-21swapper/11
17683991713,2cyclictest2955-21/usr/sbin/munin0
17683991712,3cyclictest665-21runrttasks0
17683991712,3cyclictest4011-21expr0
17683991712,3cyclictest18883-21seq0
17683991712,3cyclictest17006-21expr0
17696991614,1cyclictest0-21swapper/33
17696991610,4cyclictest19944-21cstates3
1769699160,1cyclictest0-21swapper/33
1769699160,1cyclictest0-21swapper/33
1768899169,4cyclictest20165-21df1
1768899169,4cyclictest12913-21cpuspeed1
17688991610,3cyclictest15138-21/usr/sbin/munin1
1768899152,9cyclictest2082-21systemd-journal1
17688991510,3cyclictest14365-21timerwakeupswit1
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional