You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2025-12-14 - 06:40
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack9slot2.osadl.org (updated Sun Dec 14, 2025 00:43:24)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
211002318236,69sleep30-21swapper/33
219242291202,76sleep00-21swapper/00
2212799273269,2cyclictest0-21swapper/11
217722265199,36sleep10-21swapper/11
218762258185,24sleep20-21swapper/22
2213099231224,4cyclictest27120-21sendmail2
2213399172165,4cyclictest27109-21munin-run3
2212299121116,3cyclictest27138-21idleruntime-cro0
123732700,2sleep20-21swapper/22
284752480,3sleep32213399cyclictest3
2212799391,21cyclictest22406-21df1
2212799380,23cyclictest593-21cut1
2212799370,25cyclictest27542-21seq1
2212799370,21cyclictest30168-21systemctl1
22130993616,6cyclictest28-21ksoftirqd/22
2212799331,29cyclictest517-21dbus-daemon1
2212799331,17cyclictest4282-21ntp_states1
2212799331,17cyclictest0-21swapper/11
2212799330,19cyclictest740-21/usr/sbin/munin1
22127993216,14cyclictest27375-21find1
2213399301,26cyclictest0-21swapper/33
2212799300,27cyclictest32229-21cat1
22127992914,13cyclictest4142-21sed1
22127992914,13cyclictest17926-21basename1
2212799291,25cyclictest566-21polkitd1
2212799290,16cyclictest22572-21/usr/sbin/munin1
265322280,5sleep22213099cyclictest2
22127992815,11cyclictest662-21runrttasks1
22127992815,11cyclictest10909-21/usr/sbin/munin1
22127992814,12cyclictest20750-21apt-config1
2212799280,26cyclictest340-21systemd-journal1
2212799280,15cyclictest0-21swapper/11
22130992715,3cyclictest28-21ksoftirqd/22
2212799279,15cyclictest15621-21grep1
22127992712,12cyclictest662-21runrttasks1
22127992711,13cyclictest517-21dbus-daemon1
22127992711,13cyclictest12723-21cat1
2212799270,25cyclictest27072-21cat1
2212799270,15cyclictest3062-21telnet1
22122992721,4cyclictest7705-21awk0
2213099267,11cyclictest28-21ksoftirqd/22
2212799269,14cyclictest5841-21seq1
2212799269,14cyclictest1263-21ls1
2212799268,15cyclictest26107-21/usr/sbin/munin1
2212799262,20cyclictest25051-21apt-get1
2212799261,22cyclictest20670-21cat1
22127992612,11cyclictest30197-21open_inodes1
22127992611,12cyclictest21009-21sh1
22127992610,14cyclictest3955-21seq1
22127992610,13cyclictest19729-21cstates1
2212799260,14cyclictest634-21snmpd1
2212799259,14cyclictest9232-21expr1
2212799259,14cyclictest20014-21expr1
2212799259,13cyclictest5667-21cat1
2212799259,13cyclictest31370-21awk1
2212799253,17cyclictest12561-21apt-get1
2212799251,22cyclictest12893-21munin-run1
22127992511,12cyclictest17199-21aten2_r9power_c1
78972240,3sleep22213099cyclictest2
2213399246,17cyclictest35-21ksoftirqd/33
2212799249,13cyclictest10584-21cat1
2212799249,12cyclictest25253-21aten2_r9power_c1
2212799249,12cyclictest25253-21aten2_r9power_c1
2212799248,14cyclictest8050-21cat1
2212799248,14cyclictest30020-21sendmail-mta1
2212799248,14cyclictest23188-21date1
2212799248,13cyclictest7600-21cpu1
2212799248,13cyclictest32217-21open_files1
2212799247,14cyclictest8791-21expr1
2212799247,14cyclictest8791-21expr1
2212799241,20cyclictest517-21dbus-daemon1
2212799241,20cyclictest28897-21sshd1
22122992418,4cyclictest11535-21apt-get0
214392240,1sleep10-21swapper/11
2213399235,1cyclictest0-21swapper/33
2213399234,17cyclictest15320-21latency_hist3
22130992315,5cyclictest517-21dbus-daemon2
2212799236,15cyclictest24141-21sed1
2212799236,15cyclictest24141-21sed1
2212799234,16cyclictest16618-21hostname1
2212799231,20cyclictest14962-21cstates1
2212799231,19cyclictest7725-21grep1
2212799231,19cyclictest30555-21find1
2212799231,19cyclictest1077-21cpu1
22127992310,11cyclictest18455-21ntp_kernel_pll_1
22122992317,4cyclictest14341-21turbostat.cron0
22122992314,5cyclictest340-21systemd-journal0
257942220,7sleep228-21ksoftirqd/22
2213399224,16cyclictest6040-21sendmail-mta3
2213399224,16cyclictest5016-21sendmail-mta3
2213399224,10cyclictest111rcu_preempt3
2213399223,17cyclictest620-21sendmail-mta3
2213399223,17cyclictest30735-21sendmail-mta3
2213399223,17cyclictest24215-21sendmail-mta3
2213399222,18cyclictest2904-21apt-key3
2213399221,4cyclictest340-21systemd-journal3
2213399221,4cyclictest25210-1kworker/3:1H3
2212799227,13cyclictest9284-21cpuspeed_turbos1
2212799221,18cyclictest9012-21latency_hist1
2212799221,17cyclictest0-21swapper/11
2212799220,19cyclictest28017-21head1
2212299223,14cyclictest21988-21apt-get0
22122992216,4cyclictest16978-21users0
2213399214,15cyclictest18217-21sendmail-mta3
2213399213,16cyclictest10514-21sendmail-mta3
22133992115,4cyclictest12383-21sed3
2213399211,3cyclictest25210-1kworker/3:1H3
2213399211,3cyclictest25210-1kworker/3:1H3
2213399211,3cyclictest22778-21perf3
2213399211,18cyclictest12722-21perf3
2213399211,18cyclictest11251-21munin-run3
2213399210,4cyclictest21542-21apt-config3
2213399210,4cyclictest19141-21munin-run3
2213399210,3cyclictest8214-21latency_hist3
2213399210,19cyclictest488-21sendmail-mta3
22130992116,3cyclictest20639-21processes2
22130992116,3cyclictest12898-21sh2
2212799211,18cyclictest32632-21apt-config1
22122992114,4cyclictest571-21gdbus0
21142210,3sleep0101rcuc/00
113712210,2sleep00-21swapper/00
2213399207,3cyclictest35-21ksoftirqd/33
2213399207,11cyclictest0-21swapper/33
2213399202,16cyclictest0-21swapper/33
22133992016,2cyclictest17611-21df_inode3
22133992015,3cyclictest24166-21timerandwakeup3
22133992015,3cyclictest24166-21timerandwakeup3
22133992015,3cyclictest23396-21aten2_r9power_p3
22133992014,4cyclictest7952-21pluginstate3
22133992014,4cyclictest1543-21if_err_enp2s03
2213399200,4cyclictest12613-1kworker/3:0H3
2213399200,3cyclictest3974-1kworker/3:2H3
2213399200,3cyclictest25863-21date3
2213399200,3cyclictest17136-21perf3
2213399200,18cyclictest29047-21munin-run3
2213399200,17cyclictest14578-21apt-get3
2213099209,2cyclictest23649-21cstates2
2213099207,2cyclictest111rcu_preempt2
22130992015,3cyclictest14086-21idleruntime2
22130992015,3cyclictest13309-21ls2
22130992014,4cyclictest517-21dbus-daemon2
22130992014,4cyclictest485-21basename2
22130992014,4cyclictest1933-21cut2
22130992013,4cyclictest340-21systemd-journal2
22130992012,3cyclictest28-21ksoftirqd/22
2213099200,18cyclictest5097-21hostname2
2212299202,16cyclictest31932-21cut0
22122992015,3cyclictest9599-21sed0
22122992015,3cyclictest9599-21sed0
22122992015,3cyclictest12291-21idleruntime-cro0
22122992014,4cyclictest25998-21sed0
22122992014,4cyclictest25998-21sed0
22122992014,4cyclictest21849-21cat0
22122992013,4cyclictest662-21runrttasks0
22133991917,1cyclictest0-21swapper/33
22133991916,2cyclictest0-21swapper/33
22133991916,2cyclictest0-21swapper/33
22133991915,2cyclictest14939-21awk3
22133991914,3cyclictest29415-21apt-get3
22133991914,3cyclictest27236-21open_files3
22133991914,3cyclictest19484-21ntp_kernel_pll_3
22133991914,3cyclictest18686-21switchtime3
22133991913,4cyclictest4636-21sed3
22133991913,4cyclictest24648-21cat3
22133991913,4cyclictest24648-21cat3
2213399191,2cyclictest23780-21sendmail3
2213399191,16cyclictest31246-21cat3
2213399191,16cyclictest0-21swapper/33
2213399190,3cyclictest25210-1kworker/3:1H3
2213399190,17cyclictest6682-21ls3
2213099199,3cyclictest111rcu_preempt2
2213099194,4cyclictest28-21ksoftirqd/22
2213099192,6cyclictest23487-21apt-get2
22130991916,2cyclictest0-21swapper/22
22130991916,2cyclictest0-21swapper/22
22130991916,2cyclictest0-21swapper/22
22130991915,2cyclictest23016-21apt2
22130991915,2cyclictest23016-21apt2
22130991914,3cyclictest29692-21cat2
22130991914,3cyclictest22099-21aten2_r9power_v2
22130991914,3cyclictest20831-21sed2
22130991914,3cyclictest19261-21interrupts2
22130991914,3cyclictest18412-21which2
22130991914,3cyclictest15701-21idleruntime2
22130991913,4cyclictest4825-21seq2
22130991913,4cyclictest27823-21forks2
22130991913,4cyclictest20018-21cat2
22130991913,4cyclictest16337-21cron2
2213099190,16cyclictest29042-21cron2
2212299194,9cyclictest9067-21apt-get0
2212299192,14cyclictest17720-21sed0
22122991916,2cyclictest3213-21df_inode0
22122991915,2cyclictest27050-21/usr/sbin/munin0
22122991915,2cyclictest19381-21/usr/sbin/munin0
22122991915,2cyclictest15153-21/usr/sbin/munin0
22122991914,3cyclictest634-21snmpd0
22122991914,3cyclictest4043-21systemctl0
22122991914,3cyclictest30173-21munin-plugin-st0
22122991914,3cyclictest23312-21sed0
22122991914,3cyclictest22323-21awk0
22122991914,3cyclictest14991-21df0
22122991913,4cyclictest4801-21expr0
22122991913,4cyclictest27711-21grep0
22122991913,4cyclictest2552-21ls0
22122991912,5cyclictest17312-21sort0
22122991912,4cyclictest9567-21latency0
22122991910,6cyclictest517-21dbus-daemon0
22133991816,1cyclictest0-21swapper/33
22133991814,2cyclictest7560-21latency3
22133991814,2cyclictest28414-21ntp_states3
22133991814,2cyclictest11108-21if_err_enp2s03
22133991813,3cyclictest8912-21forks3
22133991813,3cyclictest8912-21forks3
22133991813,3cyclictest607-21cat3
22133991813,3cyclictest3439-21fw_packets3
22133991813,3cyclictest19756-21expr3
2213099184,9cyclictest19248-21apt-get2
2213099182,14cyclictest2809-21cron2
22130991816,1cyclictest0-21swapper/22
22130991816,1cyclictest0-21swapper/22
22130991816,1cyclictest0-21swapper/22
22130991816,1cyclictest0-21swapper/22
22130991816,1cyclictest0-21swapper/22
22130991815,2cyclictest0-21swapper/22
22130991813,3cyclictest9362-21open_files2
22130991813,3cyclictest9362-21open_files2
22130991813,3cyclictest6038-21if_err_enp3s02
22130991813,3cyclictest31831-21expr2
22130991813,3cyclictest28-21ksoftirqd/22
22130991813,3cyclictest2759-21expr2
22130991813,3cyclictest17415-21wc2
22130991812,4cyclictest517-21dbus-daemon2
22130991812,4cyclictest3283-21grep2
22130991812,4cyclictest26044-21cut2
2213099181,13cyclictest7557-21sed2
22130991810,5cyclictest0-21swapper/22
2213099180,1cyclictest0-21swapper/22
22122991814,2cyclictest31759-21entropy0
22122991814,2cyclictest2436-21aten2.4-expect0
22122991813,3cyclictest732-21ls0
22122991813,3cyclictest6694-21sed0
22122991813,3cyclictest4282-21ntp_states0
22122991813,3cyclictest31548-21expr0
22122991813,3cyclictest28117-21awk0
22122991813,3cyclictest249232sleep00
22122991813,3cyclictest20082-21diskstats0
22122991813,3cyclictest19322-21sed0
22122991813,3cyclictest18112-21sed0
22122991812,4cyclictest517-21dbus-daemon0
22122991812,4cyclictest19658-21df0
22122991812,3cyclictest24056-21memory0
22122991812,3cyclictest23766-21grep0
22122991811,4cyclictest6451-21apt-get0
22122991810,5cyclictest517-21dbus-daemon0
22133991712,3cyclictest23928-21fw_packets3
22133991712,3cyclictest19231-21acpi3
2213099178,2cyclictest111rcu_preempt2
22130991712,3cyclictest662-21runrttasks2
22130991712,3cyclictest30565-21sed2
22130991712,3cyclictest23124-21date2
22130991711,4cyclictest517-21dbus-daemon2
2213099170,1cyclictest0-21swapper/22
2212299179,6cyclictest29304-21idleruntime-cro0
22122991713,2cyclictest25499-21/usr/sbin/munin0
22122991713,2cyclictest22999-21/usr/sbin/munin0
22122991713,2cyclictest22999-21/usr/sbin/munin0
22122991712,3cyclictest662-21runrttasks0
22122991712,3cyclictest634-21snmpd0
22122991712,3cyclictest31212-21sed0
22122991712,3cyclictest29975-21ntpq0
22122991712,3cyclictest29346-21cut0
22122991712,3cyclictest13019-21apt-key0
22122991711,4cyclictest25991-21grep0
2212299171,14cyclictest12692-21munin-run0
22122991710,5cyclictest21547-21cpuspeed_turbos0
22130991614,1cyclictest0-21swapper/22
22130991611,3cyclictest10167-21sed2
2212299163,8cyclictest5021-21apt-get0
22122991611,3cyclictest6014-21if_enp3s00
2212299152,8cyclictest16606-21apt-get0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional