You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-07-12 - 09:49

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #4

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack7slot4s.osadl.org (updated Sun Jul 12, 2026 00:45:10)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2169199761,15cyclictest21-21ksoftirqd/120:40:121
2169199756,58cyclictest31399-21ssh00:05:131
2170299593,37cyclictest29487-21ssh23:10:122
2170299581,2cyclictest0-21swapper/223:55:152
2169199563,7cyclictest131rcu_preempt20:20:141
21702995510,21cyclictest27-21ksoftirqd/221:15:152
2169199534,41cyclictest2601-21ssh00:25:141
2168499532,43cyclictest1379-21apt-get20:30:130
2170299523,12cyclictest27346irq/40-dwc2_hso20:50:132
2170299522,31cyclictest0-21swapper/222:55:142
2168499522,2cyclictest0-21swapper/019:30:140
2170299502,44cyclictest930-21snmpd19:15:132
2170299501,5cyclictest0-21swapper/220:25:142
21684995036,12cyclictest12-21ksoftirqd/023:25:130
2168499502,2cyclictest0-21swapper/020:10:100
2169199491,37cyclictest2165-21ssh21:25:101
2168499492,2cyclictest0-21swapper/020:25:130
2169199485,6cyclictest21-21ksoftirqd/100:20:131
2171099474,26cyclictest35966irq/58-eth022:55:143
2170299471,13cyclictest0-21swapper/223:05:132
2168499461,41cyclictest0-21swapper/023:55:150
2168499461,3cyclictest19395-21apt-get20:15:110
2168499461,39cyclictest0-21swapper/023:50:130
2168499452,35cyclictest442-21ssh22:00:140
2170299441,35cyclictest0-21swapper/221:30:122
2168499441,2cyclictest0-21swapper/019:10:120
2168499432,3cyclictest0-21swapper/019:25:140
2168499431,3cyclictest22344-21apt-get00:00:130
2168499430,4cyclictest29266-21apt-get21:40:110
2169199420,33cyclictest15009-21sh23:20:131
2171099419,22cyclictest35966irq/58-eth022:00:153
21710994116,17cyclictest35966irq/58-eth023:25:133
2168499411,36cyclictest0-21swapper/021:45:130
2170299401,11cyclictest18117-21ssh22:10:022
2169199401,32cyclictest22235-21rm22:30:111
2168499406,23cyclictest9358-21ssh22:58:010
2168499402,34cyclictest2589-21apt-get00:25:140
2168499402,31cyclictest0-21swapper/023:10:110
2168499401,35cyclictest0-21swapper/020:55:130
2170299393,26cyclictest24125-21ssh23:25:122
2170299391,8cyclictest3655-21latency_hist19:25:022
2169199392,25cyclictest31242-21apt-get22:35:131
2168499391,8cyclictest31081-21rm21:21:130
2168499391,4cyclictest0-21swapper/020:00:150
2168499391,3cyclictest0-21swapper/022:35:130
2168499391,2cyclictest25885-21apt-get22:50:130
2170299382,8cyclictest0-21swapper/221:25:102
2170299381,26cyclictest432-21ssh22:00:152
2170299381,14cyclictest31674-21grep19:50:292
2170299381,11cyclictest9305-21/usr/sbin/munin21:45:232
2169199386,29cyclictest9444-21ssh22:05:131
2168499383,2cyclictest10986-21apt-get20:40:130
2168499382,6cyclictest0-21swapper/019:45:130
2168499382,6cyclictest0-21swapper/019:45:120
2168499382,3cyclictest11255-21apt-get21:30:130
2168499382,32cyclictest0-21swapper/000:35:150
2168499382,31cyclictest11600-21apt-get00:30:130
2168499381,6cyclictest2555-21proc_pri19:20:280
2168499381,4cyclictest7873-21ssh22:40:130
2168499381,3cyclictest0-21swapper/021:00:120
2170299371,9cyclictest6243-21cat21:05:302
2170299371,9cyclictest11639-21grep23:00:152
2170299371,7cyclictest17065-21fschecks_count22:45:172
2168499371,7cyclictest28988-21ssh23:45:200
2168499371,7cyclictest12089-21timerandwakeup00:10:300
2168499371,4cyclictest0-21swapper/020:05:120
2168499371,3cyclictest0-21swapper/022:05:130
2168499371,3cyclictest0-21swapper/019:50:140
2168499370,8cyclictest23902-21apt-get21:55:170
2171099365,19cyclictest0-21swapper/323:10:113
2170299361,9cyclictest24097-21kthreadcore19:45:192
2170299361,9cyclictest24097-21kthreadcore19:45:182
2170299361,10cyclictest24137-21cut21:55:192
2170299360,9cyclictest28507-21cut00:20:222
2170299360,9cyclictest15146-21kthreadcore22:25:212
2169199362,27cyclictest11281-21ssh21:30:141
2168499361,7cyclictest24785-21sed20:20:190
2168499361,3cyclictest0-21swapper/023:15:140
2168499360,5cyclictest26010-21apt-get00:20:130
2168499360,4cyclictest22231-21apt-get22:30:130
2168499360,4cyclictest10962-21kthreadcore23:35:210
2171099358,16cyclictest0-21swapper/323:55:133
2171099353,19cyclictest35966irq/58-eth021:30:123
2171099351,19cyclictest35966irq/58-eth000:25:143
2170299352,12cyclictest2400-21munin-run21:05:022
2170299351,7cyclictest5248-21unixbench_singl20:30:302
2170299351,6cyclictest17915-21sort20:10:212
2170299351,20cyclictest7613-21sh21:10:142
2170299351,12cyclictest11419-21irqcore20:40:182
2170299351,10cyclictest22257-21ssh22:30:142
2170299350,9cyclictest4502-21usage_EthcTask19:55:322
21691993513,9cyclictest29019-21apt-get20:25:141
2168499351,6cyclictest21333-21ssh21:52:310
2168499351,6cyclictest21333-21ssh21:52:300
2168499351,3cyclictest17036-21apt-get00:15:110
2171099341,19cyclictest35966irq/58-eth019:20:143
2170299348,4cyclictest28095-21tr22:15:182
2170299348,4cyclictest28095-21tr22:15:172
2170299344,10cyclictest29396-21df_inode21:40:152
2170299342,27cyclictest6089-21ssh23:15:152
2170299342,16cyclictest0-21swapper/200:32:372
2170299342,11cyclictest13595-21fschecks_count19:35:152
2170299341,9cyclictest29772-21unixbench_singl21:20:312
2170299341,9cyclictest11610-21grep22:40:272
2170299341,7cyclictest21910-21rm00:15:322
2170299340,14cyclictest25619-21tune2fs20:55:172
2169199344,7cyclictest21-21ksoftirqd/119:45:121
2169199344,7cyclictest21-21ksoftirqd/119:45:111
2168499342,2cyclictest14983-21apt-get23:20:110
2168499341,9cyclictest18444-21/usr/sbin/munin22:10:250
2168499341,6cyclictest23608-21cut23:05:240
2168499341,3cyclictest13452-21apt-get19:35:130
2168499341,10cyclictest7916-21ssh22:20:260
2170299337,8cyclictest22631-21/usr/sbin/munin00:00:172
2170299332,12cyclictest20441-21kthreadcore19:40:212
2170299331,9cyclictest3354-21kthreadcore00:25:202
2170299331,13cyclictest16763-21kthreadcore23:20:202
2170299331,11cyclictest13967-21cat23:35:312
21702993310,3cyclictest12731-21ssh22:24:542
2169199332,20cyclictest21-21ksoftirqd/100:30:121
2169199331,24cyclictest21-21ksoftirqd/121:55:161
2168499331,9cyclictest20343-21/usr/sbin/munin20:45:310
2168499331,5cyclictest30079-21kthreadcore22:15:210
2168499331,5cyclictest30079-21kthreadcore22:15:200
2168499331,5cyclictest15522-21sed23:00:270
2168499331,23cyclictest16635-21ssh21:15:160
2168499331,10cyclictest2493-21load00:05:220
2168499330,7cyclictest30033-21ntp_192.168.11419:15:250
2171099325,21cyclictest35966irq/58-eth020:45:133
2170299321,8cyclictest8777-21ssh23:50:312
2170299321,8cyclictest32690-21kthreadcore22:35:192
2170299321,6cyclictest30904-21ssh22:50:452
2169199324,9cyclictest21-21ksoftirqd/123:25:131
2169199322,17cyclictest21-21ksoftirqd/122:50:131
21691993215,11cyclictest201rcuc/123:05:131
2168499321,9cyclictest3532-21ntp_192.168.11419:55:240
2168499321,9cyclictest24084-21ntp_states20:50:270
2168499321,4cyclictest6035-21ntp_192.168.11421:05:270
2168499321,2cyclictest0-21swapper/023:40:140
2168499321,10cyclictest4250-21/usr/sbin/munin23:30:210
2168499320,7cyclictest12334-21usage_EthcTask21:10:330
2170299312,8cyclictest7598-21kthreadcore20:00:212
2170299312,8cyclictest10366-21kthreadcore00:10:212
2170299311,9cyclictest0-21swapper/223:32:292
2170299311,6cyclictest24629-21wc00:35:322
2170299311,6cyclictest19349-21sendmail_mailqu20:45:272
2170299311,11cyclictest25030-21ssh22:12:292
2170299310,14cyclictest21305-21kthreadcore23:40:222
2170299310,10cyclictest21986-21grep19:10:152
2169199311,23cyclictest4193-21ssh22:20:131
2168499316,23cyclictest20238-21/usr/sbin/munin21:35:330
2168499311,5cyclictest6538-21irqcore20:35:170
2168499311,5cyclictest18774-21sed19:40:180
2168499311,5cyclictest13247-21apt-get22:25:140
2168499311,11cyclictest23517-21ssh22:47:390
2168499310,8cyclictest5923-21proc_pri21:25:270
21702993019,7cyclictest261rcuc/219:30:142
2170299301,14cyclictest224666ssh23:47:562
21702993010,3cyclictest26258-21ssh21:36:542
2169199304,16cyclictest8047-21ssh00:10:121
2171099296,14cyclictest35966irq/58-eth020:35:123
2170299295,6cyclictest10143-21tail20:05:172
2170299291,10cyclictest31377-21apt-get00:05:132
2169199291,20cyclictest20288-21ssh21:35:121
2171099284,12cyclictest0-21swapper/319:35:133
2171099283,17cyclictest0-21swapper/300:05:123
21710992812,11cyclictest35966irq/58-eth000:20:143
2170299281,9cyclictest4779-21kthreadcore19:25:212
2169199287,3cyclictest131rcu_preempt19:15:141
2169199282,20cyclictest6427-21ssh23:31:341
2169199282,18cyclictest18291-1kworker/u9:223:40:131
2171099272,12cyclictest35966irq/58-eth022:25:143
2170299274,9cyclictest22305-21diskmemload21:53:392
2170299274,9cyclictest22305-21diskmemload21:53:382
2169199279,11cyclictest13259-21sh22:25:151
21691992710,4cyclictest131rcu_preempt22:45:161
2168499271,8cyclictest21589-21latency_hist19:10:010
2171099262,16cyclictest0-21swapper/319:30:143
2169199263,20cyclictest6069-21ssh23:15:131
2171099255,11cyclictest35966irq/58-eth019:25:143
2171099250,18cyclictest35966irq/58-eth023:50:143
2170299251,5cyclictest22628-21latency20:15:212
2169199252,19cyclictest466-21ssh21:40:251
2169199251,21cyclictest7883-21ssh22:40:131
2169199251,14cyclictest201rcuc/122:15:121
2169199251,14cyclictest201rcuc/122:15:111
2171099247,12cyclictest0-21swapper/323:20:123
2171099245,9cyclictest35966irq/58-eth023:05:153
2171099244,12cyclictest35966irq/58-eth022:45:153
21710992416,4cyclictest0-21swapper/322:20:263
21710992414,6cyclictest0-21swapper/323:30:113
2171099241,16cyclictest35966irq/58-eth023:40:123
2169199242,4cyclictest21-21ksoftirqd/122:00:161
21691992414,2cyclictest21-21ksoftirqd/100:38:591
2171099231,15cyclictest0-21swapper/321:10:153
2169199239,8cyclictest21-21ksoftirqd/122:57:251
2171099221,15cyclictest0-21swapper/300:35:143
21710992210,9cyclictest0-21swapper/323:49:563
2169199227,7cyclictest131rcu_preempt21:15:161
2169199223,4cyclictest131rcu_preempt23:50:221
2169199221,17cyclictest29478-21ssh23:10:121
2171099213,12cyclictest35966irq/58-eth000:00:143
21710992112,6cyclictest35966irq/58-eth000:15:113
2170299211,11cyclictest9667-21wc20:35:262
2169199218,7cyclictest21-21ksoftirqd/119:55:311
2169199215,3cyclictest131rcu_preempt21:10:131
2169199212,14cyclictest0-21swapper/121:45:351
2169199211,16cyclictest18483-21ssh22:10:111
2169199211,16cyclictest11438-21ssh23:00:121
2169199211,15cyclictest31710-21ssh23:45:281
2171099209,8cyclictest0-21swapper/322:54:303
2171099209,8cyclictest0-21swapper/322:18:463
2171099209,8cyclictest0-21swapper/322:18:453
2171099203,12cyclictest0-21swapper/321:50:143
2171099203,12cyclictest0-21swapper/321:50:133
2171099203,11cyclictest0-21swapper/323:02:353
2171099202,12cyclictest35966irq/58-eth022:40:123
21710992012,5cyclictest35966irq/58-eth022:35:143
21710992012,5cyclictest35966irq/58-eth022:30:123
21710992011,7cyclictest0-21swapper/321:15:303
2170299201,11cyclictest28067-21head20:20:312
2169199209,9cyclictest21-21ksoftirqd/121:20:441
2169199208,3cyclictest21-21ksoftirqd/120:00:231
2169199207,4cyclictest21-21ksoftirqd/123:55:271
2169199204,4cyclictest21-21ksoftirqd/123:35:301
21691992012,5cyclictest0-21swapper/100:15:291
21691992012,4cyclictest21-21ksoftirqd/120:10:261
2169199201,15cyclictest15821-21apt-get20:45:121
21691992010,7cyclictest23503-21cat21:55:011
21691992010,7cyclictest23503-21cat21:55:001
2171099198,9cyclictest0-21swapper/321:25:233
2171099198,8cyclictest0-21swapper/321:57:293
2171099198,8cyclictest0-21swapper/321:20:093
2171099194,9cyclictest35966irq/58-eth000:30:133
2171099193,11cyclictest0-21swapper/321:48:363
2171099192,11cyclictest0-21swapper/320:05:043
2171099192,11cyclictest0-21swapper/300:10:053
2171099192,10cyclictest0-21swapper/319:40:143
2171099191,13cyclictest0-21swapper/321:05:253
21710991910,7cyclictest0-21swapper/323:36:303
21710991910,6cyclictest0-21swapper/321:44:033
2169199199,3cyclictest21-21ksoftirqd/119:25:281
2169199199,2cyclictest21-21ksoftirqd/120:35:271
2169199191,9cyclictest31624-21kthreadcore21:00:201
2169199191,9cyclictest24461-21cut00:00:221
2169199191,8cyclictest11714-21kthreadcore20:05:211
21691991914,3cyclictest21-21ksoftirqd/120:50:191
2169199191,16cyclictest1510-21cut20:30:151
2169199191,10cyclictest135-21systemd-journal19:45:001
2171099189,6cyclictest0-21swapper/322:07:113
2171099186,8cyclictest35966irq/58-eth023:15:153
2171099182,11cyclictest0-21swapper/322:10:353
2171099182,10cyclictest0-21swapper/320:55:153
2171099182,10cyclictest0-21swapper/320:40:133
2169199183,3cyclictest131rcu_preempt20:55:231
2169199182,4cyclictest131rcu_preempt20:15:201
2169199181,9cyclictest9931-21tr19:30:211
2169199181,9cyclictest23852-21kthreadcore19:10:201
2169199181,9cyclictest13434-21/usr/sbin/munin19:35:161
21691991813,3cyclictest21-21ksoftirqd/121:05:311
2169199181,14cyclictest32448-21kthreadcore19:20:201
2171099179,6cyclictest0-21swapper/321:35:033
2171099172,10cyclictest0-21swapper/320:50:133
2171099172,10cyclictest0-21swapper/320:30:133
2171099172,10cyclictest0-21swapper/320:10:123
2171099172,10cyclictest0-21swapper/319:50:153
2171099172,10cyclictest0-21swapper/319:45:143
2171099172,10cyclictest0-21swapper/319:45:133
2171099171,8cyclictest0-21swapper/319:15:023
2171099171,12cyclictest0-21swapper/321:00:163
2170299172,12cyclictest21707-21latency_hist19:10:022
2171099162,10cyclictest0-21swapper/320:15:133
2169199166,2cyclictest21-21ksoftirqd/119:10:021
2169199162,11cyclictest28844-21kthreadcore19:50:201
2171099151,11cyclictest0-21swapper/319:10:023
2171099149,3cyclictest0-21swapper/320:25:303
2171099141,8cyclictest0-21swapper/320:00:173
2171099138,3cyclictest0-21swapper/319:15:423
2171099131,6cyclictest0-21swapper/320:20:193
2171099127,3cyclictest33-21ksoftirqd/319:55:283
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional