You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-06-16 - 15:35
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Mon Jun 16, 2025 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
170132310273,24sleep30-21swapper/33
169422297260,24sleep20-21swapper/22
168892256205,38sleep00-21swapper/00
1734199241237,2cyclictest0-21swapper/22
169562241172,56sleep10-21swapper/11
1733699183178,3cyclictest0-21swapper/11
1733399143138,3cyclictest7101-21apt-get0
1734699123119,2cyclictest0-21swapper/33
235912840,2sleep10-21swapper/11
212082630,2sleep30-21swapper/33
48032610,4sleep01733399cyclictest0
35042490,4sleep2271rcuc/22
95192440,2sleep00-21swapper/00
1733699444,10cyclictest505-21dbus-daemon1
76542360,1sleep17652-21telnet1
1733699340,9cyclictest2931-21cat1
1733699340,9cyclictest2931-21cat1
1733699340,10cyclictest10530-21sed1
1733699331,7cyclictest0-21swapper/11
1733699330,9cyclictest26967-21cat1
191492320,2sleep10-21swapper/11
1733699311,9cyclictest18845-21cat1
1733699310,10cyclictest17607-21sed1
1733699303,9cyclictest5318-21ls1
1733699292,7cyclictest28290-21latency_hist1
1733699292,10cyclictest12937-21dump-pmu-power1
1733699280,10cyclictest19455-21stty1
1733699273,6cyclictest16056-21sed1
1733699272,7cyclictest1390-21latency_hist1
1733699270,10cyclictest6373-21awk1
13972270,2sleep20-21swapper/22
105152270,5sleep0101rcuc/00
1733699260,9cyclictest496-21date1
1733699253,6cyclictest17897-21expr1
1733699252,10cyclictest665-21runrttasks1
17336992519,4cyclictest23130-21sendmail1
1733699241,7cyclictest21-21ksoftirqd/11
17336992410,12cyclictest505-21dbus-daemon1
1733699240,9cyclictest31217-21expr1
1733699240,7cyclictest21-21ksoftirqd/11
17341992317,3cyclictest505-21dbus-daemon2
1733699232,7cyclictest1272-21processes1
1733699231,6cyclictest201rcuc/11
17333992313,6cyclictest5570-21apt-get0
1734699221,8cyclictest6093-21munin-run3
17346992216,4cyclictest19857-21df_inode3
1734199223,17cyclictest23657-21sendmail-mta2
1734199223,17cyclictest16747-21cat2
1734199221,4cyclictest26280-21apt2
1734199221,4cyclictest23629-21/usr/sbin/munin2
1734199221,18cyclictest19660-1kworker/2:1H2
1733699222,7cyclictest665-21runrttasks1
1733699222,6cyclictest21-21ksoftirqd/11
1733699221,6cyclictest29296-21taskset1
1733699221,6cyclictest21-21ksoftirqd/11
1733699220,8cyclictest21-21ksoftirqd/11
1733699220,8cyclictest21-21ksoftirqd/11
17333992216,3cyclictest13801-21if_err_enp2s00
17333992215,4cyclictest20467-21seq0
1734699219,3cyclictest35672entropy3
1734699212,18cyclictest0-21swapper/33
17346992115,4cyclictest32057-21aten2_r9power_v3
1734699211,16cyclictest15775-21apt-get3
1734199218,4cyclictest31423-21cat2
1734199213,16cyclictest6091-21latency_hist2
1734199213,16cyclictest21192-21latency_hist2
1734199213,16cyclictest14964-21latency_hist2
1734199212,16cyclictest15064-21latency_hist2
17341992116,3cyclictest16652-21ntp_states2
17341992116,3cyclictest10480-21munin-run2
1734199211,3cyclictest10539-1kworker/2:0H2
1734199210,3cyclictest19062-21munin-run2
1734199210,3cyclictest19062-21munin-run2
17336992118,2cyclictest201rcuc/11
17336992118,2cyclictest201rcuc/11
17336992117,3cyclictest201rcuc/11
17336992116,4cyclictest201rcuc/11
1733699210,8cyclictest21-21ksoftirqd/11
1733699210,8cyclictest21-21ksoftirqd/11
1733699210,8cyclictest21-21ksoftirqd/11
17333992116,3cyclictest7652-21aten2.4-expect0
17346992018,1cyclictest0-21swapper/33
17346992015,3cyclictest23485-21hostname3
17346992015,3cyclictest22895-21rt-features3
17346992015,3cyclictest12135-21fw_packets3
17346992014,4cyclictest22544-21cat3
1734699200,17cyclictest14680-21wc3
1734199202,16cyclictest4068-21latency_hist2
17341992017,2cyclictest0-21swapper/22
17341992015,3cyclictest409-21munin-run2
17341992015,3cyclictest32395-21ntp_states2
17341992015,3cyclictest24782-21proc_pri2
17341992015,3cyclictest2394-21unixbench_multi2
17341992015,3cyclictest2394-21unixbench_multi2
17341992015,3cyclictest11692-21apt2
17341992015,3cyclictest10203-21swap2
17341992014,4cyclictest29748-21tr2
17341992014,4cyclictest12874-21seq2
1734199201,3cyclictest30329-1kworker/2:1H2
1734199201,3cyclictest29653-1kworker/2:2H2
1734199201,17cyclictest28290-21latency_hist2
1734199201,17cyclictest17089-21cat2
1734199201,16cyclictest2082-21systemd-journal2
1734199201,16cyclictest19660-1kworker/2:1H2
17336992017,2cyclictest201rcuc/11
17336992017,2cyclictest201rcuc/11
17336992014,4cyclictest6003-21ntpq1
17336992014,4cyclictest26544-21ls1
17336992014,3cyclictest5821-21tr1
17336992013,4cyclictest505-21dbus-daemon1
17336992013,4cyclictest22725-21tr1
1733699200,8cyclictest21-21ksoftirqd/11
1733699200,8cyclictest21-21ksoftirqd/11
1733699200,6cyclictest665-21runrttasks1
1733699200,6cyclictest21-21ksoftirqd/11
1733399209,6cyclictest30699-21apt-get0
1733399201,6cyclictest13716-21apt-get0
17333992016,2cyclictest22283-21df0
17333992015,3cyclictest20097-21/usr/sbin/munin0
17333992015,3cyclictest20074-21irqstats0
17333992015,3cyclictest12806-21sh0
17333992014,4cyclictest29076-21seq0
17333992014,3cyclictest14831-21apt-get0
1734699198,7cyclictest5162-21apt-get3
1734699191,4cyclictest0-21swapper/33
17346991914,3cyclictest7633-21ls3
17346991914,3cyclictest2392-21ntp_states3
17346991914,3cyclictest22548-21hostname3
17346991914,3cyclictest17746-21ntp_states3
17346991914,3cyclictest15655-21sed3
17346991914,3cyclictest12316-21threads3
17346991913,4cyclictest9864-21memory3
17346991913,4cyclictest29334-21date3
17346991913,4cyclictest1118-21diskstats3
17346991913,4cyclictest10023-21cat3
1734699191,15cyclictest14517-21sed3
1734199192,15cyclictest30887-21wc2
17341991914,3cyclictest665-21runrttasks2
17341991914,3cyclictest30489-21sed2
17341991914,3cyclictest19881-21sh2
17341991914,3cyclictest10293-21kernelversion2
1734199191,3cyclictest27180-21cron2
17341991913,4cyclictest12518-21pluginstate2
1734199190,3cyclictest5133-1kworker/2:0H2
1734199190,3cyclictest2653-21apt-key2
1734199190,3cyclictest19660-1kworker/2:1H2
1733699193,13cyclictest3128-21strings1
17336991916,2cyclictest201rcuc/11
17336991916,2cyclictest201rcuc/11
17336991915,3cyclictest201rcuc/11
17336991915,2cyclictest201rcuc/11
17336991913,4cyclictest23529-21sendmail1
17336991913,3cyclictest3444-21grep1
1733699190,7cyclictest21-21ksoftirqd/11
1733399193,10cyclictest694-21apt-get0
17333991916,2cyclictest0-21swapper/00
17333991915,2cyclictest28528-21/usr/sbin/munin0
17333991915,2cyclictest24993-21/usr/sbin/munin0
17333991914,3cyclictest9-21ksoftirqd/00
17333991914,3cyclictest6358-21/usr/sbin/munin0
17333991914,3cyclictest32003-21expr0
17333991914,3cyclictest21513-21gpgv0
17333991914,3cyclictest17480-21acpi0
17333991914,3cyclictest17480-21acpi0
17333991914,3cyclictest15594-21ls0
17333991914,3cyclictest10902-21latency_hist0
17333991913,4cyclictest9-21ksoftirqd/00
17333991913,4cyclictest8375-21sed0
17333991913,4cyclictest5810-21cat0
17333991913,4cyclictest505-21dbus-daemon0
17333991913,4cyclictest30089-21cat0
17333991913,4cyclictest27847-21seq0
17333991913,4cyclictest24367-21basename0
17333991913,4cyclictest21688-21cat0
17333991913,4cyclictest21478-21seq0
17333991913,4cyclictest2082-21systemd-journal0
17333991913,4cyclictest17285-21apt0
17333991913,4cyclictest17285-21apt0
17333991913,4cyclictest13949-21kernelversion0
17333991913,4cyclictest13235-21ls0
17333991913,3cyclictest19047-21timerwakeupswit0
17333991913,3cyclictest17120-21unixbench_singl0
17333991912,4cyclictest4902-21cat0
17333991912,4cyclictest17263-21cat0
17333991912,4cyclictest10475-21cron0
17333991910,5cyclictest27044-21apt-get0
17346991814,2cyclictest26506-21/usr/sbin/munin3
17346991814,2cyclictest17761-21expr3
17346991814,2cyclictest17761-21expr3
17346991813,3cyclictest5996-21diskstats3
17346991813,3cyclictest3408-21sed3
17346991813,3cyclictest31753-21sort3
17346991813,3cyclictest27672-21date3
17346991813,3cyclictest24285-21expr3
17346991813,3cyclictest19820-21ls3
17346991813,3cyclictest17847-21telnet3
17346991813,3cyclictest1127-21ntp_kernel_pll_3
17346991812,4cyclictest28942-21cat3
17346991812,4cyclictest10694-21sed3
1734699181,10cyclictest17498-21sshd3
1734699181,10cyclictest17498-21sshd3
1734199182,5cyclictest20937-21apt-get2
17341991816,1cyclictest0-21swapper/22
17341991816,1cyclictest0-21swapper/22
17341991815,2cyclictest0-21swapper/22
17341991814,2cyclictest6608-21sendmail_mailst2
17341991814,2cyclictest5243-21aten2_r9power_p2
17341991814,2cyclictest28089-21irqstats2
17341991814,2cyclictest27026-21/usr/sbin/munin2
17341991814,2cyclictest24322-21cat2
17341991814,2cyclictest19307-21/usr/sbin/munin2
17341991813,3cyclictest8915-21unixbench_multi2
17341991813,3cyclictest3618-21sh2
17341991813,3cyclictest27086-21cat2
17341991813,3cyclictest18688-21sh2
17341991813,3cyclictest1551-21sh2
17341991813,3cyclictest14764-21systemctl2
1734199180,16cyclictest19321-21latency_hist2
1734199180,16cyclictest19321-21latency_hist2
1734199180,16cyclictest0-21swapper/22
17336991815,2cyclictest201rcuc/11
17336991813,4cyclictest201rcuc/11
17336991813,3cyclictest665-21runrttasks1
17336991812,4cyclictest12543-21ntpq1
17336991812,3cyclictest0-21swapper/11
17336991812,3cyclictest0-21swapper/11
17333991816,1cyclictest0-21swapper/00
17333991814,2cyclictest522-21sendmail_mailst0
17333991813,3cyclictest9-21ksoftirqd/00
17333991813,3cyclictest665-21runrttasks0
17333991813,3cyclictest665-21runrttasks0
17333991813,3cyclictest31942-21needreboot0
17333991813,3cyclictest25537-21systemctl0
17333991813,3cyclictest23380-21pluginstate0
17333991813,2cyclictest10740-21acpi0
17333991812,4cyclictest4738-21seq0
17333991812,4cyclictest23679-21cat0
17333991812,4cyclictest1458-21expr0
17333991812,4cyclictest1458-21expr0
17333991812,3cyclictest24138-21wc0
17333991811,4cyclictest26730-21cat0
17333991811,4cyclictest25416-21apt0
1734699172,13cyclictest15341-21cut3
17346991715,1cyclictest0-21swapper/33
17346991715,1cyclictest0-21swapper/33
17346991713,2cyclictest31989-21ntp_states3
17346991713,2cyclictest30591-21latency3
17346991712,3cyclictest3758-21cat3
17346991712,3cyclictest3008-21/usr/sbin/munin3
17346991712,3cyclictest29759-21grep3
17346991712,3cyclictest29655-21cat3
17346991712,3cyclictest23894-21pmu-power3
17346991712,3cyclictest21577-21cat3
17346991712,3cyclictest19778-21cat3
17346991712,3cyclictest16732-21grep3
17346991712,3cyclictest1522-21df3
17346991712,3cyclictest1522-21df3
17346991711,4cyclictest28801-21expr3
17346991711,4cyclictest2082-21systemd-journal3
1734699170,15cyclictest17063-21cat3
1734699170,15cyclictest0-21swapper/33
17341991712,2cyclictest17513-21aten2_r9power_v2
17341991711,4cyclictest21951-21cat2
17341991711,4cyclictest16315-21awk2
17336991711,4cyclictest18464-21cat1
17336991711,4cyclictest18464-21cat1
1733399173,8cyclictest19327-21apt-get0
17333991712,3cyclictest29968-21cut0
17333991712,3cyclictest2082-21systemd-journal0
17333991711,4cyclictest13167-21seq0
1734699163,8cyclictest7204-21apt-get3
1734699162,9cyclictest27870-21apt-get3
17346991612,2cyclictest19642-21expr3
17346991611,3cyclictest25804-21expr3
1734199160,1cyclictest0-21swapper/22
1733399160,5cyclictest0-21swapper/00
17346991511,2cyclictest10163-21head3
17346991510,3cyclictest5180-21cpu3
17346991510,3cyclictest22890-21latency_hist3
17346991510,3cyclictest17621-21cpuspeed_turbos3
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional