You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-08-06 - 04:34

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #4

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack7slot4s.osadl.org (updated Thu Aug 06, 2026 00:45:14)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
6094995837,14cyclictest35966irq/58-eth023:15:123
6094995837,14cyclictest35966irq/58-eth023:15:123
6082995534,16cyclictest0-21swapper/219:45:112
6082994932,14cyclictest23062-21apt-get21:45:132
6082994837,7cyclictest13619-21apt-get20:25:142
6004994638,4cyclictest20645-21apt-get19:25:130
6082994533,8cyclictest3123-21apt-get23:40:122
600499455,36cyclictest6554-21ssh00:00:130
6082994431,9cyclictest17579-21apt-get23:30:142
6082994324,15cyclictest24493-21ssh00:10:112
6004994335,3cyclictest4796-21apt-get00:35:130
6004994315,11cyclictest8097-21ssh23:40:330
6004994315,10cyclictest21761-21ssh21:44:020
6004994315,10cyclictest21761-21ssh21:44:020
6082994232,8cyclictest12339-21apt-get22:15:122
6082994231,7cyclictest19538-21apt-get22:55:142
600499422,37cyclictest10547-21ssh22:50:130
6004994217,10cyclictest4894-21ssh21:50:470
6004994215,8cyclictest1299-21ntp_states23:55:260
6004994215,8cyclictest1299-21ntp_states23:55:260
6004994215,10cyclictest11649-21ssh22:14:380
6004994214,10cyclictest2249-21ssh23:39:270
6082994132,5cyclictest7038-21apt-get22:30:132
6082994128,10cyclictest21154-21apt-get23:50:122
6082994121,11cyclictest0-21swapper/219:30:112
6082994114,11cyclictest29959-21sed20:05:262
6004994130,8cyclictest28389-21apt-get21:30:130
6004994125,13cyclictest17585-21ssh23:30:130
6004994120,17cyclictest0-21swapper/023:45:120
6004994117,11cyclictest28197-21ssh21:45:490
6004994116,8cyclictest24816-21apt-get21:10:110
6004994116,11cyclictest30412-21fschecks_time19:35:150
6004994114,9cyclictest20758-21ssh00:05:560
6094994024,11cyclictest321rcuc/320:15:113
6082994035,2cyclictest19767-21apt-get21:05:152
6082994033,3cyclictest24947-21apt-get22:40:132
6082994012,13cyclictest21296-21ssh00:06:352
6004994024,13cyclictest0-21swapper/021:20:170
6004994016,10cyclictest26721-21/usr/sbin/munin20:35:260
6004994015,10cyclictest13973-21ssh23:26:050
6004994014,10cyclictest14446-21/usr/sbin/munin23:10:180
608299398,16cyclictest30567-21timerandwakeup23:35:302
608299398,13cyclictest22364-21sh21:44:452
608299398,13cyclictest22364-21sh21:44:452
6082993933,3cyclictest5226-21apt-get20:50:122
6082993912,12cyclictest9835-21ssh21:19:482
600499399,9cyclictest9702-21cat21:35:320
6004993914,9cyclictest5607-21ssh23:21:470
6004993913,9cyclictest13338-21cut19:50:220
6004993912,11cyclictest17809-21ssh22:00:130
6004993910,11cyclictest6358-21fschecks_time19:10:160
6082993815,20cyclictest0-21swapper/221:35:122
6082993810,12cyclictest10489-21sh21:20:172
6082993810,12cyclictest0-21swapper/223:27:202
6004993831,4cyclictest14953-21apt-get21:00:110
6004993830,4cyclictest3968-21apt-get20:15:130
6004993824,10cyclictest0-21swapper/023:00:130
6004993821,13cyclictest24344-21diskmemload21:15:130
6004993816,9cyclictest29387-21/usr/sbin/munin00:10:300
6004993816,8cyclictest13734-21ssh21:55:380
6004993815,9cyclictest8846-21sh23:05:260
6004993815,10cyclictest17547-21uptime20:25:290
6004993814,9cyclictest6902-21ssh22:46:050
6004993814,9cyclictest2862-21ssh00:33:110
6004993814,7cyclictest26737-21sh22:58:190
6004993814,10cyclictest19799-21ssh22:18:360
6004993813,9cyclictest9184-21cat20:50:290
6004993813,8cyclictest1835-21irqstats00:15:190
6004993813,13cyclictest6010-21netstat19:40:270
6004993813,10cyclictest22844-21ntp_192.168.11400:25:240
6004993812,11cyclictest22094-21hostname20:00:170
608299378,14cyclictest2786-21ssh00:33:062
608299378,13cyclictest12962-21ssh00:39:292
6082993724,9cyclictest15986-21apt-get22:35:122
6082993715,18cyclictest22993-21proc_pri00:25:272
6082993713,19cyclictest0-21swapper/221:30:132
6004993716,4cyclictest21849-21ntp_192.168.11420:30:240
6004993715,9cyclictest24344-21diskmemload22:44:460
6004993714,9cyclictest32366-21rm22:06:200
6004993714,9cyclictest24344-21diskmemload22:21:390
6004993714,9cyclictest14497-21awk19:15:280
6004993714,8cyclictest25726-21/usr/sbin/munin19:30:160
6004993713,8cyclictest0-21swapper/021:25:120
6004993712,10cyclictest2477-21memory20:10:220
609499366,18cyclictest35966irq/58-eth023:05:113
608299369,15cyclictest3091-21ps19:40:222
608299369,12cyclictest6909-21ssh00:16:392
608299368,12cyclictest0-21swapper/223:24:262
608299365,12cyclictest0-21swapper/220:10:272
6082993627,6cyclictest30394-21apt-get22:25:112
6082993626,5cyclictest0-21swapper/223:45:122
6082993613,7cyclictest31800-21ssh22:05:402
6082993612,8cyclictest24344-21diskmemload00:04:172
6082993612,11cyclictest10775-21ssh22:13:342
604499361,27cyclictest5107-21ssh23:05:111
600499369,10cyclictest7419-21interrupts22:30:180
6004993615,7cyclictest28172-21ssh23:53:110
6004993614,8cyclictest31375-21memory20:40:220
6004993614,7cyclictest24344-21diskmemload22:39:520
6004993613,10cyclictest23187-21/usr/sbin/munin23:15:140
6004993613,10cyclictest23187-21/usr/sbin/munin23:15:140
6004993613,10cyclictest18871-21kthreadcore19:20:210
6004993613,10cyclictest18871-21kthreadcore19:20:210
6004993612,10cyclictest9451-21/usr/sbin/munin20:20:180
6004993612,10cyclictest9451-21/usr/sbin/munin20:20:170
6004993611,10cyclictest15920-21ssh00:21:380
608299358,12cyclictest11573-21ssh23:07:262
608299357,12cyclictest13738-21kthreadcore22:50:212
6082993512,8cyclictest25602-21ssh21:27:122
6082993511,7cyclictest30628-21ssh21:11:422
6082993510,10cyclictest0-21swapper/221:50:562
6004993514,6cyclictest24344-21diskmemload22:25:030
608299348,10cyclictest0-21swapper/200:22:292
6004993415,7cyclictest3968-21sendmail_mailqu20:45:260
6004993413,8cyclictest11209-21awk19:45:280
6004993413,8cyclictest0-21swapper/019:55:260
6004993413,7cyclictest6111-21latency_hist19:10:010
6004993411,7cyclictest0-21swapper/020:55:160
6004993411,7cyclictest0-21swapper/020:55:160
609499332,24cyclictest35966irq/58-eth000:25:123
6094993321,5cyclictest0-21swapper/300:35:133
608299338,12cyclictest0-21swapper/222:24:042
608299333,13cyclictest0-21swapper/222:00:132
608299332,19cyclictest30069-21ssh23:55:132
608299332,19cyclictest30069-21ssh23:55:132
6082993316,13cyclictest24022-21ntp_192.168.11419:25:232
6082993312,7cyclictest4030-21ssh23:04:122
6082993312,6cyclictest27-21ksoftirqd/219:50:172
6082993311,8cyclictest8376-21ssh22:47:512
6082993310,6cyclictest0-21swapper/219:20:242
6082993310,6cyclictest0-21swapper/219:20:242
604499334,8cyclictest21-21ksoftirqd/119:40:171
609499321,19cyclictest35966irq/58-eth021:50:143
608299323,11cyclictest27-21ksoftirqd/220:35:122
6082993217,7cyclictest18453-21/usr/sbin/munin21:00:252
6082993216,9cyclictest13597-21ntp_states20:55:272
6082993216,9cyclictest13597-21ntp_states20:55:272
6082993215,9cyclictest22030-21tune2fs20:00:162
6082993211,8cyclictest9565-21kernelversion21:55:232
6004993217,11cyclictest0-21swapper/021:05:150
609499313,18cyclictest35966irq/58-eth020:55:143
609499313,18cyclictest35966irq/58-eth020:55:143
609499313,16cyclictest35966irq/58-eth019:20:123
609499313,16cyclictest35966irq/58-eth019:20:123
609499312,13cyclictest35966irq/58-eth021:30:123
6082993121,5cyclictest14076-21ssh23:10:142
6082993111,7cyclictest0-21swapper/219:35:242
604499312,26cyclictest26594-21ssh23:35:131
6044993113,13cyclictest14033-21sh21:40:151
6044993113,13cyclictest14033-21sh21:40:151
604499311,21cyclictest21175-21ssh23:50:131
604499311,20cyclictest24820-21ssh21:10:121
604499310,20cyclictest1107-21sh00:15:131
600499319,8cyclictest26844-21tune2fs20:05:190
6082993020,6cyclictest0-21swapper/219:55:122
6082993017,10cyclictest3951-21/usr/sbin/munin20:15:122
6082993016,11cyclictest14484-21ntp_states19:15:262
6082993014,13cyclictest10889-21sed19:15:012
604499306,4cyclictest131rcu_preempt00:25:121
604499306,20cyclictest21-21ksoftirqd/122:15:111
6044993024,4cyclictest630-21Async09:36:311
604499302,22cyclictest17928-21ssh21:23:461
6094992916,8cyclictest35966irq/58-eth023:20:133
6082992918,8cyclictest23593-21irqcore23:15:172
6082992918,8cyclictest23593-21irqcore23:15:162
6082992916,11cyclictest376-21/usr/sbin/munin20:45:112
604499292,20cyclictest5875-21apt-get19:10:031
604499292,20cyclictest23065-21ssh23:15:121
604499292,20cyclictest23065-21ssh23:15:121
604499291,8cyclictest24575-21cut22:40:011
609499281,19cyclictest0-21swapper/320:05:173
6082992821,3cyclictest27346irq/40-dwc2_hso20:30:132
6082992812,13cyclictest6149-21sort19:10:012
6082992812,13cyclictest29101-21cut20:40:182
604499282,20cyclictest1-21systemd20:15:141
609499279,14cyclictest35966irq/58-eth021:10:123
608299279,8cyclictest13113-21cat20:20:302
608299279,8cyclictest13113-21cat20:20:302
604499279,5cyclictest21-21ksoftirqd/123:25:011
604499272,19cyclictest7072-21ssh22:30:141
604499271,22cyclictest19568-21ssh22:55:141
6044992611,3cyclictest131rcu_preempt21:35:011
609499253,12cyclictest35966irq/58-eth022:20:133
604499259,9cyclictest10119-21diskmemload00:20:151
604499258,8cyclictest21-21ksoftirqd/122:04:541
604499251,11cyclictest30408-21ssh22:25:111
609499249,9cyclictest35966irq/58-eth022:45:163
604499249,6cyclictest21-21ksoftirqd/121:15:331
604499241,5cyclictest8806-21apt-get20:20:121
604499241,5cyclictest8806-21apt-get20:20:121
604499241,20cyclictest4941-21ssh21:35:141
604499241,19cyclictest1571-21ssh22:45:151
604499241,18cyclictest23094-21ssh21:45:151
6044992411,3cyclictest131rcu_preempt22:05:181
604499240,4cyclictest131rcu_preempt20:55:141
604499240,4cyclictest131rcu_preempt20:55:141
609499232,11cyclictest0-21swapper/320:25:133
609499230,12cyclictest35966irq/58-eth023:50:133
604499237,3cyclictest131rcu_preempt21:00:121
604499232,16cyclictest12477-21rm00:38:531
604499230,15cyclictest3133-21ssh23:40:121
609499226,9cyclictest35966irq/58-eth023:35:133
609499223,13cyclictest0-21swapper/321:23:463
6094992215,5cyclictest0-21swapper/322:41:563
6094992213,7cyclictest0-21swapper/322:00:213
604499229,7cyclictest21-21ksoftirqd/119:45:261
604499227,11cyclictest131rcu_preempt19:35:111
604499225,9cyclictest21-21ksoftirqd/123:04:351
604499225,2cyclictest131rcu_preempt20:50:131
604499223,4cyclictest131rcu_preempt23:10:171
604499223,12cyclictest32169-21ssh21:50:141
604499221,7cyclictest53646usb-storage19:55:041
6044992211,9cyclictest0-21swapper/123:59:501
6044992211,9cyclictest0-21swapper/123:59:501
604499221,18cyclictest28228-21apt-get00:30:141
604499221,18cyclictest11272-21ls19:15:191
6044992210,9cyclictest8759-21diskstats23:25:151
6044992210,4cyclictest21-21ksoftirqd/120:05:261
6044992210,3cyclictest131rcu_preempt22:51:001
604499220,7cyclictest17556-21/usr/sbin/munin23:30:121
609499219,9cyclictest0-21swapper/300:19:353
6094992114,4cyclictest0-21swapper/321:55:163
604499219,9cyclictest21-21ksoftirqd/120:40:131
604499216,6cyclictest131rcu_preempt00:12:461
604499213,4cyclictest21-21ksoftirqd/121:05:251
604499213,13cyclictest21389-21ssh22:20:131
604499211,4cyclictest0-21swapper/119:55:011
604499211,13cyclictest31767-21cut20:10:161
604499211,13cyclictest13774-21cut20:25:161
6044992110,3cyclictest21-21ksoftirqd/123:45:241
6044992110,3cyclictest21-21ksoftirqd/120:00:131
609499209,9cyclictest0-21swapper/322:30:473
609499203,12cyclictest0-21swapper/321:27:463
6094992014,4cyclictest0-21swapper/323:55:253
6094992014,4cyclictest0-21swapper/323:55:253
6094992014,4cyclictest0-21swapper/323:25:153
6094992014,4cyclictest0-21swapper/322:13:513
6094992014,4cyclictest0-21swapper/321:35:193
6094992014,4cyclictest0-21swapper/321:18:473
6094992014,4cyclictest0-21swapper/300:00:293
6094992013,5cyclictest0-21swapper/322:35:253
6094992012,5cyclictest0-21swapper/323:11:593
609499201,11cyclictest35966irq/58-eth023:45:123
6094992010,8cyclictest0-21swapper/323:04:303
6094992010,8cyclictest0-21swapper/322:53:553
604499209,3cyclictest21-21ksoftirqd/122:12:151
604499208,6cyclictest21-21ksoftirqd/122:40:121
604499208,3cyclictest21-21ksoftirqd/121:55:091
604499207,3cyclictest131rcu_preempt19:30:141
604499206,7cyclictest21-21ksoftirqd/120:35:141
604499201,3cyclictest0-21swapper/100:05:331
6044992012,6cyclictest21-21ksoftirqd/121:25:141
609499197,9cyclictest0-21swapper/300:10:193
6094991913,4cyclictest0-21swapper/322:15:213
6094991913,4cyclictest0-21swapper/321:45:143
6094991913,4cyclictest0-21swapper/321:42:123
6094991913,4cyclictest0-21swapper/321:42:123
6094991913,4cyclictest0-21swapper/300:20:243
6094991913,4cyclictest0-21swapper/300:07:273
6094991911,5cyclictest0-21swapper/322:55:213
6094991910,7cyclictest0-21swapper/300:30:113
604499194,8cyclictest21-21ksoftirqd/119:25:121
6044991914,3cyclictest0-21swapper/119:20:151
6044991914,3cyclictest0-21swapper/119:20:151
609499188,7cyclictest0-21swapper/323:40:203
6094991812,4cyclictest0-21swapper/322:25:133
6094991812,4cyclictest0-21swapper/322:05:233
6094991812,4cyclictest0-21swapper/319:50:323
609499181,12cyclictest0-21swapper/323:30:303
6094991810,5cyclictest35966irq/58-eth020:10:143
604499183,12cyclictest21998-21sendmail_mailst20:30:271
604499181,13cyclictest394-21apt-get20:45:121
609499172,10cyclictest0-21swapper/321:00:133
609499172,10cyclictest0-21swapper/320:50:133
6094991711,4cyclictest0-21swapper/320:30:303
609499171,12cyclictest0-21swapper/321:10:023
609499161,12cyclictest0-21swapper/320:20:163
609499161,12cyclictest0-21swapper/320:20:163
609499161,11cyclictest0-21swapper/320:00:143
6094991610,4cyclictest0-21swapper/319:55:193
6094991610,4cyclictest0-21swapper/319:45:183
609499158,4cyclictest0-21swapper/319:25:123
609499151,8cyclictest0-21swapper/320:45:163
604499151,10cyclictest5875-21apt-get19:10:011
609499149,3cyclictest0-21swapper/320:40:313
609499149,3cyclictest0-21swapper/319:10:293
609499148,4cyclictest0-21swapper/320:35:203
609499141,8cyclictest0-21swapper/319:45:013
609499141,7cyclictest0-21swapper/319:15:183
609499126,4cyclictest0-21swapper/319:35:253
609499111,7cyclictest0-21swapper/319:10:013
609499111,3cyclictest0-21swapper/319:30:133
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional